Есть какие хорошие open-source пауки?

SCIF32

Чтобы ходил по интернету, умел "отдавать потоком" либо запускать функцию для каждой
html страницы - большего не надо.
Да, умение чтения robots.txt обязательно ).

pitrik2

на джава пойдет?
тогда в Apache nutch есть паук

SCIF32

Спасибо, посморю.
мне в общем подсказали к кому обратиться.