Кто-нибудь автоматизировал работу с авито.ру?
Года 4 назад писал парсер на питоне даже без заморочки притворяться браузером. Опрашивало раз в 5 минут и генерировал rss ленту из поиска по ключевому слову. Всё работало никто не банил. Правда с тех пор могло поменяться всё, но имхо врядли. Накрайняк притворись яндексом 
Накрайняк притворись яндексому яндекса небось айпишники заранее известны.
если у них антифрод нормальный тебя так скорее пропалят, чем с обычным.
банят таких?скорее всего капчу покажут если будешь слишком часто морду дёргать
начни с малого - в любой среде для программирования под win32 потрать 10 минут на то чтоб кинуть на форму ActiveX WebBrowser и написать пару строк кода чтобы открывало авито и переходило в нужный раздел, по методу onDownloadComplete брало текст странички и парсило на нужные ключевые слова. если проблем не будет дальше уже сделаешь то что требуется.
Зачем win32, когда есть selenium?
фи, какая бяка.
я на петоне собрался делать. чтобы оно отдельно на vps-ке крутилось.
на крайняк на сишарпе/моне
я на петоне собрался делать. чтобы оно отдельно на vps-ке крутилось.
на крайняк на сишарпе/моне
если на питоне это тоже делается за 10 минут то почему ты ещё не сделал?
я тебе предложил вариант как проверить быстренько методу
я тебе предложил вариант как проверить быстренько методу
Зачем win32, когда есть selenium?выбирай то что тебе быстрее и удобнее.
я тебе предложил вариант как проверить быстренько методуда там только винду ставить часов 5.
Правда с тех пор могло поменяться всё, но имхо врядли.за это время ресурс превратили в коммерческое говно в лучших традициях анального рабства, так что наверняка все поменялось
да там только винду ставить часов 5.пошутил молодец
в линухе тоже есть достойные альтернативы
Ты предложил решение простое и быстрое для тебя. Выдал кучу названий конкретных инструментов: win32, activex, java-script (я так понимаю по onDownloadComplete). Но не факт что топикстартер когда-нибудь делал что-нибудь с activex (я кстати думал что оно уже сдохло много лет назад).
При этом твое решение ничего не гарантирует. Ну загрузится у него что-то в браузере и распарсится. Было бы удивительно, если бы оно не распарсилось. А потом после 10-го однотипного запроса его забанят. И я так понимаю, что это его интересует в первую очередь.
При этом твое решение ничего не гарантирует. Ну загрузится у него что-то в браузере и распарсится. Было бы удивительно, если бы оно не распарсилось. А потом после 10-го однотипного запроса его забанят. И я так понимаю, что это его интересует в первую очередь.
Но не факт что топикстартер когда-нибудь делал что-нибудь с activex (я кстати думал что оно уже сдохло много лет назад).Это же microsoft - у них как раз всё хорошо с обратной совместимостью. И ActiveX до сих пор живее всех живых, хотя, конечно, давно уже не развивается.
суть моего совета сводится к тому чтоб БЫСТРО (за час к примеру) накидать прототип, и запустить его на пару суток погонять-посмотреть.
кстати, можно тупо взять FF и плагины к нему для автоперезагрузки страницы и для автосохранения HTML кода на диск, открыть штук 20 вкладок с нужными разделами а питоном уже парсить сохраняемые файлы. в общем вариантов много
если не нравится выбор инструметнов предложи свои под линух
кстати, можно тупо взять FF и плагины к нему для автоперезагрузки страницы и для автосохранения HTML кода на диск, открыть штук 20 вкладок с нужными разделами а питоном уже парсить сохраняемые файлы. в общем вариантов много
если не нравится выбор инструметнов предложи свои под линух
скорее всего капчу покажут если будешь слишком часто морду дёргатьТысячи китайцев тебе в помощь
Antigate.Com - это сервис по ручному распознаванию текста с изображений. Работает это просто: ваше приложение загружает изображение в нашу систему и через несколько секунд получает готовый текст.
Самая дешевая цена на рынке подобных услуг - от 0.7USD за 1000 изображений, в зависимости от объема. Это около 2 копеек РФ за каждую картинку.
Гуглил?
http://m2-ch.ru/pr/res/384429.html
ну и
http://habrahabr.ru/post/186496/
— как гворится, "всё уже сделано до нас"
http://m2-ch.ru/pr/res/384429.html
Аноним 07 Сен, 21:35 #385063
>>384792
Я только на питоне нашел способ "открывать" телефон на авито и распознавать его (там нужно делать скриншот страницы).
Но, господа, я соснуля. Проебал на свой парсер все выходные и был забанен на 13ом объявлении.
Вроде выставлял большие задержки между операциями. Вроде делал всё через селиниум и фурифокс. Но от соснули всё же не уклонился.
Теперь только два пути. Либо ебаться и прикручивать прокси, либо найти того, кто грабит за бабки.
08 Сен, 11:21 #385144
А в гуглодокументах уже пофиксили возможность подгрузки чужой страницы в документ?
09 Сен, 09:46 #385325
Сосоны, вот я знаю как распарсить конкретную страницу по URL. А как лучше получить весь список страниц для парсинга? Или это только силениумом, который бы проходил по каждой ссылке на странице и брал бы ее адрес?
мимопроходил
09 Сен, 17:26 #385381
кароч дерди квик-гайд, решал ту же задачу на пистоне
берёшь селениум + фантомДжС (самое легковестное что есть, можно заюзать фурифокс/хром, даунгрейды не нужны )
идёшь на мобильную версию авиты(там телефон текстом можно выдрать)
нажимаешь селениумом на кнопочку, ждёшь половину секунды, дальше делаешь как с в обычном парсере(надеюсь ты не настолько баран, чтобы и этому учить надо было)
Ответы: >>385409
Аноним 09 Сен, 18:58 #385409
>>385381
Чувак, ты гений. Я и не знал что у авито есть мобильная версия, да еще и с телефоном в виде текста.
Пойду пробовать.
10 Сен, 19:54 #385587
http://github.com/search?utf8=%E2%9C%93&q=avito
всё написано уже за тебя
Аноним 11 Сен, 11:37 #385721
Короче отчитываюсь.
Чужие парсеры использовать не стал, как и мобильную версию.
По сути написанный мной с распознаванием картинки работает безошибочно. Вопрос только в правильной настройке интервалов между объявлениями.
Немного понастроив всю эту ерунду я остановился на следующем:
Между открытием объявления и кликом на "покзать номер" — 5 секунд.
Время до следующего объявления — от 10 до 30 секунд рандомом.
Всё работает. За ночь парсится около 1к номеров. Что для моих личных задач более чем достаточно.
Как-то так.
ну и
http://habrahabr.ru/post/186496/
— как гворится, "всё уже сделано до нас"
кстати похожий вопрос, а есть похожее что-нить для автору, самому чето лень заморачиваться хотцо динамику цен и новые объявы отслеживать по определенной марке и модели?
Оставить комментарий
yolki
и тому подобными площадками?Интересует автоматическое отслеживание объявлений, например.
Мониторинг по ключевым словам..
видел софтины для продавцов (массовое размещение пачки товаров и т.п.)
видел специальные софтины для автобарыг (мониторинг по марке/году и т.п.)
я бы сделал такую, для дома для семьи, врядли на продажу.
сложно там, не? банят таких?
или там стоимость разработки такая, что окупится только если продавать этот софт?