отобразить сайт в консоли

Natusik09

Если заходить на определенный сайт через гуишные браузеры, то все ок. Но если я хочу сохранить страницу в косоле, например при помощи wget, lynx, curl, то нифига не отображается.

curl -L site.com
<html>
<head>
<script>
var expire = new Date;
expire.setTime(expire.getTime + 3600000 * 24);
document.cookie = 'check=' + escape('79958b56a8ff3c133c6560063e2cf544') + ';expires=' + expire.toGMTString + ';path=/';
// document.location.href = document.location.href;
document.location.reload(false);
</script>
</head>
</html>

Как решить?

Ivan8209

Просто не получится.
---
LART: Luser Attitude Readjustment Tool.
Something large, heavy, and painful.

Serab

http://site.com/main/index.htm

klyv

мб, links?

Natusik09

Просто не получится.

очень нужно, готов выслушать как сделать сложно...
з.ы. требуется для написания php-скрипта сбора статистики

uncle17



<?php

$a = file_get_contents("http://site.com");

?>

это нужно?

Ivan8209

Если это для одного конкретного сайта, посмотри, какие запросы
HTTP отправляет тот же Firefox, ну и напиши соответствующую
примочку, чтобы это делать автоматически.
Если это для кучи сайтов, смотри в сторону автоматизации самого Firefox.
Если держать X запущенным нельзя, придётся заморочиться на Xvfb.
---
Q5: а нафига A4?
A5: чтоб сосать.

Ivan8209

Ты хоть раз пробовал?
Нет, links такое не берёт.
---
"Narrowness of experience leads to narrowness of imagination."

klyv

дайте ссылку, по которой пробовать

Natusik09

code:
<?php
$a = file_get_contents("http://site.com");
?>
это нужно?

не решает, таже фигня

Natusik09

Если это для одного конкретного сайта, посмотри, какие запросы
HTTP отправляет тот же Firefox, ну и напиши соответствующую
примочку, чтобы это делать автоматически.

чем это можно глянуть?

Serab

tcpdump, wireshark =)

Natusik09

tcpdump, wireshark =)

виндовым езерилом никогда не пользовался, на машинах с линуксом, которые под рукой, не стоит гуи. Когда-то слышал, что у firefox есть какой-то аплет, чтобы можно было просматривать запросы... или это слухи?

Andr163

firebug

Natusik09

firebug

точно, спасибо!

Natusik09

фаерфокс ничего сверхъестественного не делает...
почему вообще может возникать такая ситуация?

kruzer25

Но если я хочу сохранить страницу в косоле, например при помощи wget, lynx, curl, то нифига не отображается.

Ну так ты прочитай, что тебе написали. Очевидно, всё это рассчитано на javascript; и после такого ответа надо ещё раз запросить эту страницу, передав в cookie check=79958b56a8ff3c133c6560063e2cf544.
Удивлён, что за 15 постов это ещё ни до кого не дошло.
Пока не попробовал этот вариант - ковырять заголовки, которые отправляет firefox, нет никакого смысла.

Plok2008

Если только заголовки нужно посмотреть, то я юзаю более легкий LiveHTTPHeaders.
Может с тем сайтом всё не так просто в том смысле, что он задуман отдавать разный контент в зависимости от типа браузера. Вот и на пустой (точнее тот, который по умолчанию выставляет wget) UserAgent, он тебе выдает пустышку. Для wget одним из параметров можно указывать, какой UserAgent он должен посылать вместе с запросом. Попробуй прописать тот, что у твой FireFox или IE отправляет.
UPD: прочитал пост пенартура. Он прав. Попробуй его вариант тоже.

Ivan8209

> Попробуй прописать тот, что у твой FireFox или IE отправляет.
Ещё один. Это --- не поможет.
Неужели трудно понять, что если ECMAScipt отдаётся всем,
то уж Firefox и IE тем более?
---
"NEVER anthropomorphize lusers."

kruzer25

Может с тем сайтом всё не так просто в том смысле, что он задуман отдавать разный контент в зависимости от типа браузера

Ещё раз. На это "может" имеет смысл смотреть только после того, как примитивная установка cookie не сработает.
Как ты думаешь, какова вероятность, что неизвестным браузерам сайт отдаёт такой джаваскрипт, файрфоксу отдаёт что-то совсем другое, а этот джаваскрипт не работает?
Вот, например, захожу я на test.ru, а мне оттуда: "Location: http://www.test.ru/%26quot;, а в файрфоксе всё работает. Конечно, надо ковыряться в выводе tcpdump, пытаться понять, какие заголовки отправляет файрфокс, копипастить user-agent, а то вдруг сайт задуман отдавать разный контент в зависимости от типа браузера?

Оставить комментарий