html-to-xml web scraping

Aplikacja analizuje kolumnę danych i co n-tą iterację (przeskok do kolejnego wiersza) resetuje pętlę. Jeżeli w kolumnie na dowolnej innej, niż ostatnia iteracji występuje niepożądany warunek, wiersz jest pomijany, a iteracje są liczone prawidłowo, włącznie z tą pominiętą i po n-tej iteracji następuje reset. Jeżeli na ostatniej iteracji w wierszu występuje niepożądany warunek, pętla przestaje się resetować aż do końca sesji aplikacji, licznik staje, co stanowi bug do usunięcia. Oczekiwanym efektem jest, by pętla resetowała się także, gdy niepożądany warunek występuje na ostatniej iteracji, tuż przed resetem pętli.

Długo po opracowaniu w pełni funkcjonalnego scrapera portal wprowadził firewall CloudFlare. Reguła wyrzuca 403 na stronie logowania, jeśli przeglądarka ma zmienionego user agenta / jest sterowana przez WebDriver. Dotyczy C# + Selenium, Python + PhantomJS. Konsola wskazuje błąd WAF challenge już po wejściu na stronę logowania. Próba logowania / interakcja z formularzem wywołuje 403. W zwykłej przeglądarce Chrome bez ua zmienionego wtyczkami / zmienionego przez Dev Tools konsola nie wyświetla nic nt. WAF challenge. 403 w zwykłej przeglądarce Chrome, gdy ua zostaje zmieniony: - wtyczkami - WebDriverem 403 nie występuje w zwykłej przeglądarce Chrome, gdy ua zostaje zmieniony w symulacji Dev Tools. Firefox i Opera: 403 nie występuje w zwykłych przeglądarkach, gdy ua zostaje zmieniony wtyczkami 403 występuje w instancji WebDriver Zmiany http header requests na adekwatne do sytuacji braku 403 nie przynoszą rezultatu. Maksymalny uzyskany efekt: 1. Zalogowanie w zwykłej przeglądarce bez zmiany ua 2. Zmiana ua dowolną metodą po zalogowaniu 3. Możliwość nawigacji po portalu 4. Po wylogowaniu z wciąż zmienionym ua: 403 5. Konieczność czyszczenia pamięci przeglądarki Oczekiwane rozwiązanie: bypass WAF challenge -> poprawna metoda zmiany ua, pozyskiwanie tokenów w cookies przed zmianą ua i każdorazowe cofanie zmiany ua przed wylogowaniem

Pobranie plików źródłowych Chromium / Chromedriver130 z GitHub, zmiana domyślnego ciągu User-Agent i skompilowanie chromedriver.exe Przygotowanie instrukcji / Rozwiązania do zaimportowania do Visual Studio Windows, z potrzebnymi pakietami.

1. Problem obejmuje tylko przeglądarkę Chrome i dotyczy jej samej, pojawił się długo po opracowaniu w pełni funkcjonalnego scrapera. Portal internetowy używa CloudFlare, który, jeśli user agent zostaje podmieniony, zwraca błąd 403 po interakcji z modułem logowania. Jeśli zmiana ua nastąpi dopiero po zalogowaniu w zwykłej instancji Chrome, to można nawigować po całym portalu, jako zalogowany użytkownik. W momencie wylogowania (ze zmienionym ua) wywołuje 403. 403 jest wywołane, gdy ua zostaje podmieniony: - Selenium Chromedriver - wtyczka Chrome UA Spoofer - wtyczka Modheader 403 nie jest wywołane, a logowanie do portalu przebiega bez przeszkód, gdy ua zostaje podmieniony w ramach Developer Tools w zwykłej przeglądarce. 403 jest wywołane w Selenium Chromedriver, jeśli scraper zostaje uruchomiony z domyślnym ua (przestarzały dla portalu), podmienionym później przez dotychczas skuteczne Developer Tools. Problem występuje niezależnie od modyfikacji różnych http headers request, w tym Cache-Control: max-age=0, Pragma: no-cache. Problem nie obejmuje przeglądarek Firefox i Opera, tzn. logowanie do portalu jest możliwe, gdy ua jest podmieniony wtyczkami. Dodatkowo, problem nie występuje w tych przeglądarkach nawet, jeśli http headers są ze sobą sprzeczne (ua urządzenia mobilnego, system desktop itd.), albo podają równocześnie dwa ua, co wyklucza dane zabezpieczenie CloudFront. Próby zmodyfikowania http headers request w Chrome na takie, jakie wysyłają Firefox i Opera nie dały rezultatu. To jednoznacznie wskazuje, że CloudFront reaguje wyłącznie na zmianę ua Chrome inaczej, niż przez Developer Tools oraz w Chromedriver również przez Developer Tools. Scraper ma funkcję zmiany przeglądarki w configu i używania odpowiedniego drivera. Oczekiwane rozwiązanie: - poprawka mechanizmu podmiany ua i/lub http headers w scraperze dla instancji Chrome - dodanie zmiennej w configu dla niedomyślnej ścieżki instalacji Firefox lub Opera

Poszukujemy kreatywnych programistów, którzy są gotowi tworzyć pluginy na nasz serwer Minecraft w języku Java. Wymagane doświadczenie i portfolio, chętnie rozważymy dłuższą formę współpracy. :)

potrzebujemy założyć zasoby(pliki) na witrynie share point, skonfigurować, udostępnić dla grupy osób, ustawić zabezpieczenia.

Szukam do współpracy C# Developera z minimum 5 letnim doświadczeniem i bardzo dobrą znajomością C# (projekt ma dosyć wymagający kod, przy czym nie ma żadnego legacy kodu). Stała współpraca (projekt od 4 do 6 mc trwania) w wymiarze godzinowym od 80h miesięcznie wzwyż (w zależności od Twojej dostępności). Aplikacja do kosztorysowania produkcji - wersja webowa. W zakresie realizacji współpraca przy backendzie (implementacja logiki biznesowej i wystawianie endpointów dla front endu).

Jak organizacja korzystamy z office365. Szukam kogoś, kto przygotuje aplikację w power apps, która pozwoli na zgłaszanie problemów informatycznych poprzez MS Teams, Outlook i będzie działała zarówno mobilnie jak i desktopowo. Będzie ona informowała użytkowanika o przyjęciu zgłoszenia oraz o rozwiązaniu problemu. Chciałbym takie okno zgłoszenia wstawić również w stronę sharepoint firmy.

Potrzebuję program do jednorazowego eksportu wszystkich faktur 5 lat wstecz z iFirma do fakturownia.pl z zachowaniem wszystkich danych w fakturze tzn nr faktury, kontrahent, pozycje faktury, ceny itp.

Zlecę zrobienie przekierowania (systemu do przekierowań ) REDICT pod adwords, istotnym problemem do rozwiązania jest fakt aby redicta google nie banował :) Więcej info prv.