C# .NET Selenium HtmlAgilityPack- poprawki scrapera

Zlecenie zamknięte

Najnowsze zlecenia z kategorii Programowanie i IT

  • no avatar
    Fundacja IWP
    mso 365 forms sherpoint
    300.00 PLN
    1
    30d
    Proszę o wycenę zlecenia dot. dorażnego tutaj wsparcia z poglądem, chodzi o identyfikację błędnie wypełnionych wniosków merytorycznych wolontariuszy w mso 365 forms (o jednym wiemy), skopiowanie go z poprawnym numerem, aby generował inny dokument raport finansowy z zaciągniętymi danymi w umowie darowizny. Najlepiej dziś do uzg., jutro 14+.
  • no avatar
    SG
    Dodatek do PrestaShop
    Do negocjacji
    8
    30d
    Zlecę napisanie dodatku do PrestaShop. Dodatek polega na obliczaniu kosztu transportu. W ramach obliczeń brane są pod uwagę parametry: - Wymiar; - Waga; - Odległość na podstawie Google Maps; - Pojazd, który może dostarczyć odpowiedni towar. Cena za transport pokazuje się dynamicznie na stronie produktu po wprowadzeniu ilości oraz lokalizacji klienta (wybór z select - API Google Maps). Szczegółową specyfikację prześlę do wybranych wykonawców. Możliwa stała współpraca przy dalszym rozwoju. Bardzo proszę o przedstawienie przykładowych realizacji dodatków dla PrestaShop.
  • no avatar
    Gourmet Foods
    Cel: Celem tego projektu jest stworzenie bazy sparowanych sklepu poprzez mapowanie dwóch odrębnych zestawów danych za pomocą platformy Microsoft Fabric F2. Zestawy danych obejmują: Zestaw danych z systemu CRM: Zawiera dane sklepów pozyskiwane z działań zarządzania relacjami z klientami. Lista sklepów otrzymana od Sieci: Zewnętrzny zestaw danych, który obejmuje kompleksową listę sklepów Proces integracji będzie wykorzystywał Microsoft Fabric F2 do precyzyjnego łączenia rekordów na podstawie dopasowanych pól, takich jak adres i numer identyfikacji podatkowej (NIP). Integracja ta ma na celu szybkie parowanie klientów i aktualizacje o aktualne dane sklepów w systemie CRM. Zakres: Źródła danych: Zestaw danych 1 (System CRM): Zawiera wewnętrzne dane sklepów, takie jak nazwa sklepu, adres, dane kontaktowe i NIP. Zestaw danych 2 (Lista nowoczesnego handlu): Zawiera zewnętrzne dane sklepów z segmentu nowoczesnego handlu, obejmujące szczegóły takie jak nazwa sklepu, ustandaryzowany adres i NIP. Pola do integracji: Adres: Główne pole do dopasowywania rekordów sklepów na podstawie lokalizacji. NIP: Unikalny identyfikator używany do precyzyjnego dopasowania między zestawami danych. Technologie: Microsoft Fabric F2: Ta platforma do integracji danych, uczenia maszynowego i analizy danych w chmurze zostanie wykorzystana do: Pobierania danych z obu zestawów danych. Standaryzacji i oczyszczania informacji o adresach. Dopasowywania rekordów na podstawie adresu i NIP przy użyciu algorytmów uczenia maszynowego oraz innych technik integracji danych. Tworzenia skonsolidowanego zestawu danych do analiz i raportowania.
  • no avatar
    pawliniak 36 umów
    Cześć, potrzebuje przygotowania wtyczki dla systemu woocommerce, która integruje sprzedawców podzielonych na kategorie produktów i ich subkategorie dla transakcji tpay. - podział płatności na kategorie oraz subkategorie - możliwość utworzenia metody wysyłki z przekazywaniem oddzielnym płatności - metody płatności w zamówieniu (blik, przelew online, karta, google pay oraz apple pay)
  • no avatar
    Crazyloop
    Potrzebuje łącznika jakiejś wtyczki aby zautomatyzować robienie zamówień z emag Rumunia. Tak jak to działam na easyuploader gdzie zamówienie się otwiera naciskam funkcje pakuj i daje sygnał do subiekta Nexo żeby wystawił dokument sprzedaży i etykieta się generuje. Przy czym zwrotnie musi wgrać plik z faktura pdf do zamówienia.
  • no avatar
    Dominik
    Dodatek google workspace
    Do negocjacji
    4
    27d
    Tylko osoby, które skutecznie zrobiły deployment aplikacji do google workspace. Potrzebuje pomocy przy: Weryfikacji i konfiguracji OAuth Sprawdzenie zgodność zakresów (scopes) między kodem, ekranem zgody OAuth, a konfiguracją Marketplace SDK. Dodanie brakującego zakresu i zgłoszenie do weryfikacji. Przygotowanie aplikacji do ponownego zgłoszenia
  • no avatar
    Filip Bereta - Technika 3 umowy
    Potrzebuję pilnować przeglądów narzędzi i urządzeń budowlanych (agregaty, koparki itp) maksymalnie 150 pozycji w zależności od czasu pomiędzy przeglądami lub ilości motogodzin przepracowanych przez urządzenie. Program/arkusz musiał by mieć główny ekran na którym pojawiają się zbliżające przeglądy lub zgłoszone awarie sprzętu. I następnie możliwość odnotowania, że przegląd urządzenia się odbył i krótki opis co zostało zrobione. Wstępnie myślałem, żeby zrobić to w arkuszach google (darmowy i jest online). Natomiast nie jestem specjalistą od IT więc jestem otwarty na propozycje.
  • no avatar
    Tomasz
    Poszukuje osoby ktora posiada doswiadczenie we wdrozeniach systemu Baselinker oraz pisaniu skrpytów z API Baselinker. Wiedza o serwerach mile widziana
  • no avatar
    ArtykulyFryzjerskiePolska
    Nasza firma potrzebuje narzędzia do efektywnego zarządzania i zliczania godzin pracy pracowników magazynu zatrudnionych na umowę zlecenie. Obecnie proces ten jest wykonywany ręcznie, co jest czasochłonne i podatne na błędy. Chcielibyśmy zlecić stworzenie pliku Excel, który automatycznie zliczałby godziny pracy, obliczał wynagrodzenie oraz generował raporty.
  • no avatar
    Tomasz
    Potrzebuje napisania aplikacji statystyk w jezyku PHP. Dane powinny byc pobierane z API Baselinker. Dokuemntacje i zakres prac przesle osobom zianteresowanym Czas wykonania koniec roku 2024
no avatar
User blocked by Useme
Zleceniodawca
Kategoria zlecenia:
Oprogramowanie
Budżet:

Do negocjacji

Opublikowano:
Zakończone

Opis zlecenia

1.

Problem obejmuje tylko przeglądarkę Chrome i dotyczy jej samej, pojawił się długo po opracowaniu w pełni funkcjonalnego scrapera. Portal internetowy używa CloudFlare, który, jeśli user agent zostaje podmieniony, zwraca błąd 403 po interakcji z modułem logowania.

Jeśli zmiana ua nastąpi dopiero po zalogowaniu w zwykłej instancji Chrome, to można nawigować po całym portalu, jako zalogowany użytkownik. W momencie wylogowania (ze zmienionym ua) wywołuje 403.

403 jest wywołane, gdy ua zostaje podmieniony:

- Selenium Chromedriver

- wtyczka Chrome UA Spoofer

- wtyczka Modheader

403 nie jest wywołane, a logowanie do portalu przebiega bez przeszkód, gdy ua zostaje podmieniony w ramach Developer Tools w zwykłej przeglądarce.

403 jest wywołane w Selenium Chromedriver, jeśli scraper zostaje uruchomiony z domyślnym ua (przestarzały dla portalu), podmienionym później przez dotychczas skuteczne Developer Tools.

Problem występuje niezależnie od modyfikacji różnych http headers request, w tym Cache-Control: max-age=0, Pragma: no-cache.

Problem nie obejmuje przeglądarek Firefox i Opera, tzn. logowanie do portalu jest możliwe, gdy ua jest podmieniony wtyczkami. Dodatkowo, problem nie występuje w tych przeglądarkach nawet, jeśli http headers są ze sobą sprzeczne (ua urządzenia mobilnego, system desktop itd.), albo podają równocześnie dwa ua, co wyklucza dane zabezpieczenie CloudFront.

Próby zmodyfikowania http headers request w Chrome na takie, jakie wysyłają Firefox i Opera nie dały rezultatu. To jednoznacznie wskazuje, że CloudFront reaguje wyłącznie na zmianę ua Chrome inaczej, niż przez Developer Tools oraz w Chromedriver również przez Developer Tools.

Scraper ma funkcję zmiany przeglądarki w configu i używania odpowiedniego drivera.

Oczekiwane rozwiązanie:

- poprawka mechanizmu podmiany ua i/lub http headers w scraperze dla instancji Chrome

- dodanie zmiennej w configu dla niedomyślnej ścieżki instalacji Firefox lub Opera

Wymagane funkcje:

Przesłane oferty 3

Dodaj ofertę lub zapytaj zleceniodawcę o więcej szczegółów