Tym razem zabrałem się za robots.txt
– niby niepozorny plik, ale bardzo ważny wśród crawlerów. Parser tego pliku jest przepisany od nowa, myślę, że trochę lepiej spełnia swoje zadanie, niż jego odpowiednik w Pythonie.
1 Like
Jak przechowujesz dane o zebranych danych z robots.txt
?
Sam plik robots.txt
jest przetwarzany w locie – jedyne, co jest z nich zapisywane, to nowe mapy stron w XMLu.
1 Like