Как найти архивные вакансии на сайте hh.ru?

mao_2003

Подскажите, можно ли найти архивные вакансии на сайте hh.ru по конкретной компании? Страницы вида "http://hh.ru/vacancy/1831750" с этими вакансиями должны существовать, но Яндекс и Гугл ничего не находит.

mao_2003

Как я понимаю, страницы с архивными вакансиями являются не индексируемыми, но должны же существовать программы, которые перебором по диапазону страниц вида http://hh.ru/vacancy/1830000 - http://hh.ru/vacancy/1840000 найдут несколько страниц с искомым названием компании.

dangerr

да, это программы sh, wget и grep.

mao_2003

Sh - такой программы поиском в яндексе не нашел
wget - скачивает сайт полностью, а мне нужно всего несколько страниц, содержащихся в диапазоне из 10 тыс. страниц, с искомым названием компании.
grep - ищет строки в файлах, а не на множестве web-страниц.
Поэтому, кажется, не совсем то что нужно.

dangerr

sh - unix shell. У него много реализаций. Самая популярная - bash. Он позволит запускать другие программы в цикле, перенаправлять потоки ввода-вывода и отслеживать коды возврата.
wget - скачивает сайт полностью
wget скачивает в первую очередь отдельные веб-страницы. Хотя может выкачивать их и рекурсивно, включая контент, но это в данном случае не нужно.
grep - ищет строки в файлах, а не на множестве web-страниц.
Не поверишь, но скачанная веб-страница - это тоже файл.

mao_2003

Я работаю в Windows. Ты говоришь, что мне надо скачать 10 тыс. страниц (файлов) программой wget и потом произвести по ним поиск программой grep? Разве это не займет очень много времени? К тому же по ссылке http://hh.ru/vacancy/ на одном уровне находится несколько миллионов страниц, и я не знаю, можно ли программой wget выделить из них диапазон в несколько тысяч страниц.

dangerr

 
Я работаю в Windows
Там есть свои средства автомазизации, например PowerShell. Правда о нём я ничего, кроме самого факта существования не знаю.
 
Ты говоришь, что мне надо скачать 10 тыс. страниц (файлов) программой wget и потом произвести по ним поиск программой grep? Разве это не займет очень много времени?
это займёт столько времени, сколько нужно на то, чтобы скачать объём информации, равный объёмы одной страницы умноженному на их количество (вернее чуть дольше, так как есть ещё время на запрос и генерацию странцы серверным скриптом).
 
не знаю, можно ли программой wget выделить из них диапазон в несколько тысяч страниц
Конечно нет, это не задача wget. Для этого и есть скриптовый язык.

mao_2003

Получается, если я не владею скриптовым языком, то не смогу найти эти несколько страниц, содержащихся в заданном диапазоне из 10 тыс. страниц? Никаких простых программ и решений нет?

dangerr

Сложно представить себе "простую" программу для столь специфичного случая. Вероятность её существования конечно ненулевая, но это только если кто-то сталкивался с практически такой же задачей, как у тебя и решил её написать и почему-то решил это сделать не в виде 2-3-строчного скрипта, а в виде гуйни с кнопочками.

athenae

Я работаю в Windows. Ты говоришь, что мне надо скачать 10 тыс. страниц (файлов) программой wget и потом произвести по ним поиск программой grep? Разве это не займет очень много времени?
поразительная вежливость!
читаю и умиляюсь

athenae

а, ну и попробуй так в гугле:
газпром site:hh.ru
дальше нажимай ссылку "Сохранено в кэше"

mao_2003

а, ну и попробуй так в гугле:
газпром site:hh.ru
дальше нажимай ссылку "Сохранено в кэше"
Это все попробовал. Страницы не индексируются, ни Гугл, ни Яндекс их не видит.
Сейчас разбираюсь, как запустить bat-файл на скачку 10 тыс. страниц по маске программой wget.

hwh2010

Получается, если я не владею скриптовым языком, то не смогу найти эти несколько страниц, содержащихся в заданном диапазоне из 10 тыс. страниц?
почему же. Ты можешь нанять человека, владеющего скриптовым языком
Никаких простых программ и решений нет?
думаю, нет. впрочем, можешь также нанять человека, умеющего пользоваться гуглом

mao_2003

почему же. Ты можешь нанять человека, владеющего скриптовым языком
О том, что можно нанять человека и он все найдет, я и без тебя догадывался. Также можно нанять человека, который все найдет вручную или вручную найти самому.
Оставить комментарий
Имя или ник:
Комментарий: