Skrypty pozwalające na automatyczne pobierającego danych z oficjalnych baz (API)

Opis:

Zlecę wykonanie zespołu skryptów pozwalających na automatyczne pobierającego danych z oficjalnych baz przedsiębiorców:

1. Hurtownia danych CEIDG

2. KRS API

3. REGON

Oraz zapisanie tych danych w lokalnej, zintegrowanej strukturze.

Choć zlecenie może wydawać się duże, to mamy tu do zrealizowania tylko następujące działania:

a) 3 skrypty do pobierania danych po API

b) Panel tabelkowy (np. filament) do wybierania które dane pobrać

c) Panel do wyszukiwania i sortowania pobranych danych, a także ich eksportu do csv

Preferowane technologie:

- pyton do skryptów obsługujących API

- laravel + filament do paneli

Choć otwarty jestem na inne sugestie.

W ramach zlecenia konieczne będzie:

a) Opracowanie skryptów realizujących pobieranie oraz zwracających do bazy dane, raportujących stan pracy (np. pyton?)

b) Opracowanie mechanizmu definiowania zadań dla skryptów wyszukujących (czyli operatora określa na podstawie kryteriów które dane mają zostać pobrane) w 2 etapach – określenie listy firm, następnie dopiero pobranie danych, dla każdego ze skryptu będą to osobne zadania

c) Stworzenie panelu do zarządzania zadaniami oraz do przeglądania danych (opis poniżej), preferowana technologia Laravel + Filament

Inne prace w ramach zlecenia:

1. Wykonanie projektu relacyjnej bazy danych na podstawie specyfikacji poszczególnych baz, tak aby istniała możliwość zapisywania w jednej bazie danych z różnych źródeł (np. stona www może być zapisana z REGON, może też być zapisana z KRS, podobnie jak nr telefonu) w szczególności do osobnych tabel wrzucamy właścicieli / dane kontaktowe / PKD / adres / itd..

Projekt struktury wymaga akceptacji zleceniodawcy przed realizacją.

2. Zaimportowanie bazy PKD, adresów, innych baz słownikowych z regon, ułatwiających dalsze wyszukiwanie.

3. Wykonanie panelu generowania zapytań w którym (choćby dla bazy Hurtownia danych) można określić kryteria (np. PKD, miejscowość, wojewódzdtwo, itd…) tak aby w pierwszej kolejności odpytywać o rekordy które mają największą wartość.

4. priorytety zapytań