Zaloguj się

Zlecę naprawę bota w Pythonie do scrapowania ogłoszeń z tajskiego portalu

Zleceniodawca
WebMiami
WebMiami
Opis

Poszukuję specjalisty, który podejmie się naprawy istniejącego bota napisanego w Pythonie. Bot służy do scrapowania danych z tajskiego portalu ogłoszeniowego, ale obecnie nie działa poprawnie i wymaga poprawek.

Zakres prac:

Naprawa funkcji scrapowania:

Aktualizacja botów do obsługi najnowszej wersji portalu (problemy z selektorami HTML, obsługą AJAX, itp.).

Zoptymalizowanie działania scrapera, w tym poprawa wydajności.

Poprawa zapisu danych:

Usprawnienie dodawania ogłoszeń do bazy danych (aktualnie dane są zapisywane niepoprawnie).

Poprawa generowania unikalnych identyfikatorów (slug) na podstawie tytułów ogłoszeń.

Dodanie obsługi zdjęć:

Funkcja pobierania zdjęć z ogłoszeń i zapisywania ich na serwerze w odpowiednich katalogach.

Dodanie koordynatów GPS do metadanych zdjęć (jeśli dostępne w EXIF).

Obsługa proxy:

Usprawnienie obsługi proxy, w tym automatyczne odświeżanie i rotacja.

Wymagania:

Bardzo dobra znajomość Pythona (m.in. biblioteki: requests, BeautifulSoup, Selenium, undetected_chromedriver).

Doświadczenie w scrapowaniu danych i omijaniu zabezpieczeń , blokady IP.

Znajomość baz danych MySQL.

Umiejętność pracy z plikami JSON i obsługi API.

Mile widziane:

Doświadczenie w pracy z portalami azjatyckimi, w szczególności tajskimi.

Znajomość formatów EXIF i obsługa zdjęć w Pythonie (Pillow).

Dodatkowe informacje:

Kod bota oraz szczegóły dotyczące portalu dostarczę osobie ktora podejmie sie lecenia.

Opublikowano
2025-01-20
Kategoria
Oprogramowanie
Wymagane funkcje:
import tkinter as tk from tkinter import ttk, scrolledtext, messagebox, filedialog import threading import time import mysql.connector from mysql.connector import Error import requests from bs4 import BeautifulSoup import json import os import random from concurrent.futures import ThreadPoolExecutor, as_completed import re import undetected_chromedriver as uc from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC
Umiejętności
java mysql PHP python
Plik 1
Screenshot_9.png

Wysłane oferty (7)

Budżet
Do negocjacji
Prawa autorskie
-
Ważne przez
30 dni

Najnowsze zlecenia z kategorii