Opis zlecenia
Do zrobienia Crawler do pobierania danych z różnych stron internetowych.
Aplikacja ma pobierać adresy do crawlowania z pliku .csv pobierać wyznaczone dane i zapisywać do bazy danych.
Wymagania:
- Aplikacja działająca na serwerze (AWS, OVH, Digitalocean itp…)
- Możliwość konfiguracji i dodawania kolejnych stron
- Zapisywanie wyników do bazy danych (aktualizacja rekordów przy ponownym pobieraniu)
- Proxy i inne metody mechanizmów wykrywania
- Statystyki i logi
- Możliwość pobierania danych jako zalogowany użytkowników, przechowywania plików cookies
- Możliwość ustawienia harmonogramu uruchamiania pobierania
Przykład działania:
- Dodaje lub zmieniam w pliku .csv listę adresów URL
- W aplikacji wprowadzam elementy do pobierania
- Ustawiam harmonogram pobierania danych
- Aplikacja rozpoczyna pracę zgodnie z harmonogramem ( godzina/dzień/tydzień/miesiąc )
Strona 1, Strona 2 (dane dostępne po zalogowaniu - hurtownia)
- Harmonogram uruchamiania 2 razy dziennie.
- Pobierane dane
- Nazwa
- Cena
- Breadcrumps
- Warianty
- Opis
- Zdjęcia
- Powiązane produkty
Strona 3
- Harmonogram uruchamiania 1 razy dziennie.
- Pobierane dane
- Nazwa
- Cena
- Breadcrumps
- Warianty
- Opis
- Zdjęcia
- Powiązane produkty
Strona 4
- Harmonogram uruchamiania 1 razy dziennie.
- Pobierane dane
- Nazwa
- Cena
- Breadcrumps
- Warianty
- Opis
- Zdjęcia
- Powiązane produkty
Potrzebuję instrukcji do samodzielnej obsługi aplikacji.