Crawler Quora

Closed job
no avatar
mzietek
Employer
2 deals
Job category:
Desktop/web applications
Expected budget:

Negotiable

Preferable skills:
Published:
Finished

Job description

Szukam osoby która wykona, lub przerobi odpowiednio już przez siebie stworzonego Crawler'a, który będzie ściągał tekst i podstawowe dane z Quora (bez zdjęć) i zapisywał je w plikach csv. Chcemy móc później reużywać tej aplikacji i aktualizować dane w pliku o kolejne kategorie/nowe pytania w danej kategorii.

Aplikacja nie musi mieć interfejsu graficznego. Jest wymagana na nasze potrzeby wewnętrzne.

Proponowany opis działania w krokach:

1. Program wchodzi w kategorię X

2. Dla każdego z pytań historycznie:

2.1 Wchodzi w pytanie

2.2 Zbiera wszystkie odpowiedzi

2.3 Ekstraktuje linki i je dopisuje w pliku .csv

Zbiera:

- pytania

- odpowiedzi

- daty pytań/odpowiedzi?

- URL z całym wątkiem

- tagi h1, h2 itp. wycinamy wraz z tekstem i wklejamy w inne pole w csv (headery/pogrubienia wrzucamy do osobnej kolumny w pliku csv)

- bez żadnych zdjęć, autorów, ilości views, answers, upvotes, hiperlinków etc.

Chętnie odpowiem na wszystkie pytania dot. tego zlecenia

Required functions: