Index finger pointing up icon

Kraj: Polska

Lokalizacja: Katowice, PL

Na Useme od 15 czerwca 2020

Business bag icon

Umowy 6

ZAKOŃCZONYCH: 6

SPORNYCH: 0

ZERWANYCH: 0

O mnie

Jestem programistą Python z wieloletnim doświadczeniem. Oferuje budowę botów do pobierania danych ze stron internetowych, statycznych jak i dynamicznych. W szczególnych przypadkach nawet za bariera logowania. Ponadto zajmuje się operacjami na plikach tekstowych, od oczyszczania plików z duplikatów / zbędnych danych po konwersję rozszerzeń plików, między innymi wspieram te rozszerzenia plików: .json, .csv, .xlsx, .txt, .log, oraz wiele więcej, o specjalne zapotrzebowania proszę o kontakt.

Portfolio

Portfolio item
Web scrapper olx.pl, gumtree.pl, otodom.pl

Zasada działania - jako pierwszy etap prac, aplikacja przeszukuje ogłoszenia, które pojawiły się od czasu poprzedniego scrapu. Ogłoszenia są wyszukiwane za pomocą domyślnych danych lokalizacyjnych obsługiwanych poprzez strony. Następnie po...

Portfolio item
Transformacja pliku txt do formatu excel

Założeniem projektu było wyodrębnienie danych z pliku tekstowego i znormalizowanie ich do postaci Excel.

Portfolio item
Web scraper gratka.pl, sprzedajemy.pl, licytacje.k

Budowa bota do pobierania danych ze stron gratka.pl, sprzedajemy.pl, licytacje.komornik.pl. Całość połączona z bazą danych PostgreSQL oraz mechanizmami optymalizacji wprowadzanych danych.

Portfolio item
Integracja scrapera z rejestrem teryt

Integracja scrapera z rejestrem teryt, co umożliwia normalizacje lokalizacji do ujednoliconych danych.

Zrealizowane zlecenia 1

  • Zlece wykonanie crawlera do zbierania ofert nieruchomosci. Zalozenia logiki: * crawler dodaje oferty do bazy danych * crawler nie dubluje ofert - rozpoznaje juz dodane * crawler normalizuje dane z oferty w zakresie * podzial administracyjny (wojewodztwo, powiat, gmina, miasto) * adres * typ nieruchomosci - dom/mieszkanie/dzialka (rolna, budowlana, lesna etc) * typ ogloszenia (sprzedaz, wynajem) * rodzaj ogloszenia (prywatne, posrednik) * link do strony * zdjecia * data utworzenia ogloszenia * Identyfikator ogloszenia * cena * powierzchnia * dane dodatkowe (liczba pokoi, pieter) * opis * crawler dotyczy 2 stron z ogloszeniami (strony do uzgodnienia podczas nawiazania kontaktu) * crawler wykrywa blokade stron lub blad serwera Zalozenia techniczne: * crawler posiada implementacje page object pattern * crawler jest uruchamiany w ramach pipelines (azure lub aws) * crawler jest uruchamiany 2x dziennie