Program do scrapingu danych z otwartych źródeł
Zlecę opracowanie softu do importowania/scrapingu danych z www (domena publiczna, otwarte źródła - pozwalające na pobieranie danych) oraz zapisania w bazie danych:
1 - rozwiazanie na zewnętrznym wskazanym hostingu, zabezpieczenie przez banem. Jeśli koszty hostingu będą wysokie to zakładam lokalnie Intel NUC + dyski SSD +światłowód
2 - możliwy długi czas pobierania całej bazy zgodny z limitami - do 1-2-3 miesiące Zapytania do stron w losowych odstępach czasu i kolejności
3 - pobranie bazowe wszystkich rekordów + cykliczne pobieranie w interwałach nowych wpisów (po rosnącym ID lub innym parametrze). Zestaw danych: nick, miejscowość, nazwa i cena produktu/usługi, tel./email,
4 - zapis w bazie danych SQL/postgres
5 - możliwość oparcia całości projektu o gotowe rozwiązania opensource
6 - prezentacja statusu pracy/błędów
Proszę o podanie ceny za realizację.