Crawler

Do zrobienia Crawler do pobierania danych z różnych stron internetowych.

Aplikacja ma pobierać adresy do crawlowania z pliku .csv pobierać wyznaczone dane i zapisywać do bazy danych.

Wymagania:

- Aplikacja działająca na serwerze (AWS, OVH, Digitalocean itp…)

- Możliwość konfiguracji i dodawania kolejnych stron

- Zapisywanie wyników do bazy danych (aktualizacja rekordów przy ponownym pobieraniu)

- Proxy i inne metody mechanizmów wykrywania

- Statystyki i logi

- Możliwość pobierania danych jako zalogowany użytkowników, przechowywania plików cookies

- Możliwość ustawienia harmonogramu uruchamiania pobierania

Przykład działania:

- Dodaje lub zmieniam w pliku .csv listę adresów URL

- W aplikacji wprowadzam elementy do pobierania

- Ustawiam harmonogram pobierania danych

- Aplikacja rozpoczyna pracę zgodnie z harmonogramem ( godzina/dzień/tydzień/miesiąc )

Strona 1, Strona 2 (dane dostępne po zalogowaniu - hurtownia)

- Harmonogram uruchamiania 2 razy dziennie.

- Pobierane dane

- Nazwa

- Cena

- Breadcrumps

- Warianty

- Opis

- Zdjęcia

- Powiązane produkty

Strona 3

- Harmonogram uruchamiania 1 razy dziennie.

- Pobierane dane

- Nazwa

- Cena

- Breadcrumps

- Warianty

- Opis

- Zdjęcia

- Powiązane produkty

Strona 4

- Harmonogram uruchamiania 1 razy dziennie.

- Pobierane dane

- Nazwa

- Cena

- Breadcrumps

- Warianty

- Opis

- Zdjęcia

- Powiązane produkty

Potrzebuję instrukcji do samodzielnej obsługi aplikacji.