Job description
Do wykonania jest skrypt, który będzie wchodził na podane domeny (np. w pliku txt) a następnie przechodząc po wszystkich podstronach danej domeny, które sam sobie znajdzie będzie zapisywał do pliku linki wychodzące z tych podstron. Podobną funkcjonalność ma Screaming Frog, jednak jest on jakieś 100x za wolny do tego. W tym skrypcie chodzi głównie o szybkość i wielowątkowość.