Job description
Zlece wykonanie crawlera do zbierania ofert nieruchomosci.
Zalozenia logiki:
- crawler dodaje oferty do bazy danych
- crawler nie dubluje ofert - rozpoznaje juz dodane
- crawler normalizuje dane z oferty w zakresie
- podzial administracyjny (wojewodztwo, powiat, gmina, miasto)
- adres
- typ nieruchomosci - dom/mieszkanie/dzialka (rolna, budowlana, lesna etc)
- typ ogloszenia (sprzedaz, wynajem)
- rodzaj ogloszenia (prywatne, posrednik)
- link do strony
- zdjecia
- data utworzenia ogloszenia
- Identyfikator ogloszenia
- cena
- powierzchnia
- dane dodatkowe (liczba pokoi, pieter)
- opis
- crawler dotyczy 2 stron z ogloszeniami (strony do uzgodnienia podczas nawiazania kontaktu)
- crawler wykrywa blokade stron lub blad serwera
Zalozenia techniczne:
- crawler posiada implementacje page object pattern
- crawler jest uruchamiany w ramach pipelines (azure lub aws)
- crawler jest uruchamiany 2x dziennie
