Programista – Specjalista ds. Web Scraping

Poszukujemy doświadczonego programisty, który dołączy do naszego zespołu badawczego i stworzy narzędzie do automatycznego monitorowania rynku pracy na potrzeby dedykowanego projektu. Twoim zadaniem będzie opracowanie i wdrożenie webscrapera, który będzie regularnie zbierał i przetwarzał dane o ofertach pracy z różnych źródeł internetowych, takich jak portale rekrutacyjne i media społecznościowe.

Zakres obowiązków:

Tworzenie narzędzia do web scrapingu do automatycznego zbierania danych z wybranych stron internetowych (np. pracuj.pl, oferty.praca.gov.pl).

Implementacja skryptów i algorytmów do przeszukiwania stron internetowych i ekstrakcji danych (np. nazwa zawodu, lokalizacja, wymagania).

Wstępne przetwarzanie danych (scalanie, czyszczenie, usuwanie duplikatów).

Implementacja algorytmów do przetwarzania i klasyfikacji danych z ogłoszeń za pomocą narzędzi AI (np. klasyfikacja zawodów, oczekiwanych kompetencji).

Automatyzacja procesów pozyskiwania i przetwarzania danych w celu ich regularnego aktualizowania.

Współpraca z zespołem badawczym w zakresie wyboru i dostosowania metod web scrapingu oraz technik przetwarzania danych.

Dostarczanie zebranych danych w określonym formacie do dalszej analizy.