[посоветуйте] download manager для hidden pages

tatysay

есть URL, задача скачать все странички начинающиеся на URL (URL* например, "URL/1/", "URL/n/", (все странички - plain html)
нужно решить ее в двух вариациях
a)на страничке URL есть линки на все URL*, но скачать хочется только те URL* которые удовлетворяют фиксированному regular expression,
b)на страничке URL нет линков на URL*, но все URL* (как строки) начинаются с URL и нормально индексируются Гуглом
есть ли download manager который умеет это делать?
очень не хочется самому это на перле писать, особенно пункт b) вообще не понятно как делать
спасибо

ppplva

b)на страничке URL нет линков на URL*, но все URL* (как строки) начинаются с URL и нормально индексируются Гуглом

Значит, эти линки есть на других страницах. Попробуй link:URL* в гугле.

tatysay

спасибо, хорошая идея, в данном случае она мне не поможет ...
я к сожалению не знаю всех URL* (их несколько тысяч)... если бы их знал то задача была бы неинтересной, собрал бы их в один файлик и сделал бы "скачать все URL в файле"

Serab

Семь бед — один wget?
Еще многие советуют teleport pro на подобные запросы.

serega1604

wget умеет по wildcard-ам ограничивать ссылки.