Crawler do zbierania linków zewnętrznych

Zlecenie zamknięte
no avatar
klienci
Zleceniodawca

Opis zlecenia

Potrzebujemy na szybko crawlera, który zbierać będzie linki zewnętrzne ze stron internetowych.

Żeby można było ustawić: maksymalna ilość skanowanych podstron z danej domeny,

co ile czasu skanuje podstronę w sekundach, głębokość pobierania i jednoczesnie skanowanie wielu domen. Pobiera domeny do skanowania z mysql i wyniki do mysql.

Po udanym pierwszym skrypcie będziemy chcieli zlecić kolejne.