Crawler do zbierania ofert

Zlece wykonanie crawlera do zbierania ofert nieruchomosci.

Zalozenia logiki:

• crawler dodaje oferty do bazy danych

• crawler nie dubluje ofert - rozpoznaje juz dodane

• crawler normalizuje dane z oferty w zakresie

• podzial administracyjny (wojewodztwo, powiat, gmina, miasto)

• adres

• typ nieruchomosci - dom/mieszkanie/dzialka (rolna, budowlana, lesna etc)

• typ ogloszenia (sprzedaz, wynajem)

• rodzaj ogloszenia (prywatne, posrednik)

• link do strony

• zdjecia

• data utworzenia ogloszenia

• Identyfikator ogloszenia

• cena

• powierzchnia

• dane dodatkowe (liczba pokoi, pieter)

• opis

• crawler dotyczy 2 stron z ogloszeniami (strony do uzgodnienia podczas nawiazania kontaktu)

• crawler wykrywa blokade stron lub blad serwera

Zalozenia techniczne:

• crawler posiada implementacje page object pattern

• crawler jest uruchamiany w ramach pipelines (azure lub aws)

• crawler jest uruchamiany 2x dziennie