Opis zlecenia
Poszukujemy doświadczonego programisty, który dołączy do naszego zespołu badawczego i stworzy narzędzie do automatycznego monitorowania rynku pracy na potrzeby dedykowanego projektu. Twoim zadaniem będzie opracowanie i wdrożenie webscrapera, który będzie regularnie zbierał i przetwarzał dane o ofertach pracy z różnych źródeł internetowych, takich jak portale rekrutacyjne i media społecznościowe.
Zakres obowiązków:
Tworzenie narzędzia do web scrapingu do automatycznego zbierania danych z wybranych stron internetowych (np. pracuj.pl, oferty.praca.gov.pl).
Implementacja skryptów i algorytmów do przeszukiwania stron internetowych i ekstrakcji danych (np. nazwa zawodu, lokalizacja, wymagania).
Wstępne przetwarzanie danych (scalanie, czyszczenie, usuwanie duplikatów).
Implementacja algorytmów do przetwarzania i klasyfikacji danych z ogłoszeń za pomocą narzędzi AI (np. klasyfikacja zawodów, oczekiwanych kompetencji).
Automatyzacja procesów pozyskiwania i przetwarzania danych w celu ich regularnego aktualizowania.
Współpraca z zespołem badawczym w zakresie wyboru i dostosowania metod web scrapingu oraz technik przetwarzania danych.
Dostarczanie zebranych danych w określonym formacie do dalszej analizy.