Analiza kodu scrapera i optymalizacja wydajności

Employer
Paweł Kubacki
Paweł Kubacki
Description

Mam napisany dość prosty scraper w python (Ok 1400 linii kodu w 4 plikach. Załóżmy, że pobiera dane z amazona), który działa, ale pracuje stosunkowo wolno i mam pewność, że jest w stanie działać sprawniej.

Program stoi na tanim VPSie - Hetzner.

Wykorzystywane jest proxy z oxylab.

Celem zlecenia jest diagnoza.

Jako laik mogę tylko zgadywać czy chodzi o:

- brak mocy w VPS

- problem z kodem

- problem z obsługą proxy

- konieczność dodania dodatkowych workerów

Published
on 2025-02-18
Category

Offers sent (11)

no avatar
kd
0 deals
on 2025-02-18
angular
API
apps
+ 9 more
Budget
Negotiable
Copyright
-
Expires in
30 days

Recent jobs from category

  • no avatar
    Marcus 0 deals
    Software Developer
    We are looking for a skilled Software Developer to join our growing team. The ideal candidate is...
    Negotiable
    26 offers
    Expires in 56 days
  • no avatar
    Piotr Chabros 5 deals
    szukam młodych gniewnych programistów fullstacków - złotą rączkę
    wraz ze wspólnikiem prowadzimy kilka projektów/firm i brakuje nam rąk do pracy szukamy...
    Negotiable
    82 offers
    Expires in 23 days
  • no avatar
    NoneForNow 0 deals
    java springboot development
    I have an unfinished java springboot application there a multiple (small) things that need to be...
    Negotiable
    32 offers
    Expires in 15 days
  • no avatar
    Maxman 0 deals
    Data Scientist
    We are looking for a Data Scientist to join our Revenue Operations team. You will be responsible...
    Negotiable
    33 offers
    Expires in 1 day