Stworzenie crowlera monitorującego ceny

1. Opis projektu

Zleceniobiorca ma stworzyć crawler internetowy, który będzie monitorował ceny produktów w sklepach internetowych, bazując na nazwie produktu lub numerze GTIN (EAN/UPC). Crawler ma automatycznie wyszukiwać oferty w Google oraz generować tabelę z wynikami.

2. Wymagania funkcjonalne

Wejście danych

Użytkownik wprowadza nazwę produktu lub numer GTIN.

Skrypt wysyła zapytanie do Google, przeszukując pierwsze 100 organicznych wyników wyszukiwania.

Proces zbierania danych

Crawler odwiedza strony z wyników wyszukiwania, sprawdza dostępność produktu oraz wydobywa następujące informacje:

Nazwa sklepu

Link do strony produktu

Cena produktu (bez i z VAT, jeśli dostępne)

Skrypt pomija strony niebędące sklepami internetowymi (fora, blogi, recenzje itp.).

Wyjście danych

Wyniki są prezentowane w formie tabeli CSV, JSON lub XLSX.

Kolumny tabeli:

Nazwa sklepu

Link do produktu

Cena produktu

3. Wymagania techniczne

Język programowania: Python (preferowany), Node.js lub PHP.

Biblioteki/web scraping:

Selenium / Playwright (do dynamicznych stron)

BeautifulSoup4 / Scrapy (do statycznych stron)

SerpAPI / Google Search API (jeśli używane)

Przechowywanie wyników:

CSV / JSON / XLSX (eksport)

Możliwość zapisu do bazy danych SQL lub NoSQL (opcjonalnie).

Obsługa proxy i rotating user-agents:

Używanie User-Agent Rotation i proxy, aby unikać blokad ze strony Google.

Obsługa Captcha (opcjonalne):

Możliwość automatycznego rozwiązywania Captcha (np. przez 2Captcha API lub Anticaptcha).

4. Sposób działania

Użytkownik uruchamia skrypt → podaje nazwę produktu lub numer GTIN.

Crawler wyszukuje wyniki w Google i odwiedza pierwsze 100 organicznych wyników.

Zbiera dane o produkcie (nazwa sklepu, link do produktu, cena).

Eksportuje dane do pliku XLSX.

Zapisuje historię wyszukiwania (opcjonalnie).

5. Dodatkowe wymagania

Łatwość w instalacji i konfiguracji – dokumentacja instalacji oraz krótkie instrukcje użytkowania.

Kod dobrze udokumentowany – komentarze i czytelna struktura kodu.