mail.yandex.ru - в чём проблема?

kruzer25

Отправляю на mail.yandex.ru
GET http://mail.yandex.ru:80/ HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie:
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Encoding: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Host: mail.yandex.ru:80
Получаю
HTTP/1.1 302 Moved
Date: Mon, 20 Nov 2006 12:36:57 GMT
Server: Apache/1.3.29 (Unix) mod_deflate/1.0.21 mod_perl/1.29 mod_ssl/2.8.16 OpenSSL/0.9.6l rus/PL30.19
Location: /?//mail.yandex.ru:80/
Connection: close
Content-Type: text/html; charset=windows-1251
С чем это может быть связано?

nikita270601

А меня редиректит на http://mail.yandex.ru:80/login. В смысле, это в Location написано.

oleg701

Есть же куча тулзов, которые могут мониторить HTTP-запросы.
Включаешь такую хрень и лезешь туда браузером.
Или у тебя в браузере страница не открывается?

stm7884696

яндекс вообще последние 2 недели нехило штормит и часа 4 изх них он вообще лежал...
жумаю ему приходит потихоньку жопа

evgen5555

GET http://mail.yandex.ru:80/ HTTP/1.0

mail.yandex.ru теперь прокси, что ли?

kruzer25

А что, по спецификациям http, если я не считаю mail.yandex.ru прокси-сервером, я не имею права отправлять ему подобный запрос?
Ещё:
GET http://market.yandex.ru:80/ HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie:
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Encoding: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Host: market.yandex.ru:80
HTTP/1.1 400 Bad Request
Connection: close
Content-Length: 48
Content-Type: text/html
Date: Mon, 20 Nov 2006 13:15:38 GMT
Last-Modified: Mon, 20 Nov 2006 13:15:38 GMT
Server: BAIDA/0.2.0

nikita270601

example Request-Line would be:
GET http://www.w3.org/pub/WWW/TheProject.html HTTP/1.1
To allow for transition to absoluteURIs in all requests in future versions of HTTP, all HTTP/1.1 servers MUST accept the absoluteURI form in requests, even though HTTP/1.1 clients will only generate them in requests to proxies.
Вроде всё нормально, по стандарту.
Может, причина в том, что Server: BAIDA/0.2.0?

nikita270601

Попробуй HTTP/1.1, кстати. Может быть, в 1.0 нельзя было absoluteURI писать.

kruzer25

О, действительно, удалил хост из GET - market.yandex.ru заработал.
Тем не менее,
GET / HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie:
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Encoding: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Host: mail.yandex.ru:80
HTTP/1.1 302 Moved
Date: Mon, 20 Nov 2006 13:21:04 GMT
Server: Apache/1.3.29 (Unix) mod_deflate/1.0.21 mod_perl/1.29 mod_ssl/2.8.16 OpenSSL/0.9.6l rus/PL30.19
Location: /?/
Connection: close
Content-Type: text/html; charset=windows-1251
GET /?/ HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie:
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Encoding: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Host: mail.yandex.ru:80
HTTP/1.1 302 Moved
Date: Mon, 20 Nov 2006 13:21:04 GMT
Server: Apache/1.3.29 (Unix) mod_deflate/1.0.21 mod_perl/1.29 mod_ssl/2.8.16 OpenSSL/0.9.6l rus/PL30.19
Location: /?/?keywords=%2F
Connection: close
Content-Type: text/html; charset=windows-1251
И так далее, пока ИЕ это не надоест.
Если что, куки остались от залогиненного mail.yandex.ru.
Да, и ещё:
GET /i?ctype=1&path=b0815172949__HMTx8656xEU.jpg&size=2 HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie:
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Encoding: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Host: data.yandex.ru:80
HTTP/1.1 301 Moved Permanently
Date: Mon, 20 Nov 2006 13:20:27 GMT
Server: Apache/1.3.34 (Unix) PHP/4.4.2 rus/PL30.22
Location: /i/?ctype=1&path=b0815172949__HMTx8656xEU.jpg&size=2
Connection: close
Content-Type: text/html; charset=windows-1251
Expires: Thu, 01 Jan 1970 00:00:01 GMT
Last-Modified: Mon, 20 Nov 2006 13:20:27 GMT
GET /i/?ctype=1&path=b0815172949__HMTx8656xEU.jpg&size=2 HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie:
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Encoding: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/x-shockwave-flash, application/x-icq, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Host: data.yandex.ru:80
HTTP/1.1 404 Not Found
Date: Mon, 20 Nov 2006 13:20:28 GMT
Server: Apache/1.3.34 (Unix) PHP/4.4.2 rus/PL30.22
Connection: close
Content-Type: text/html; charset=windows-1251
Expires: Thu, 01 Jan 1970 00:00:01 GMT
Last-Modified: Mon, 20 Nov 2006 13:20:28 GMT
(это картинки на market.yandex.ru)

kruzer25

HTTP/1.1 пробовал, хз, как там с яндексом, но на большинстве интернет-серверов (на локальном apache2 всё ок) приходит содержимое вида

199
<body bgcolor="#000000">
<table height=100% width=100%>
<tr align=center><td align=center valign=middle>
<form name=web action=http://www.yandex.ru/yandsearch method=get>
<font size=+5>
<input style="font-size:large;color:#ffffff;background-color:#000000;border:none" name=text type=text size=50 maxlength=160>
</font>
</form>
<script><></script>
</td></tr></table>
</body>
0
При первом выводе в браузер всё ок, но если это сохраняется в файл, а потом из него достаётся нехорошо получается. Можно это как-то парсить, но в архивном треде про такую же проблему на forum.local решили, что легче использовать HTTP/1.0

kruzer25

Насчёт картинок на market.yandex.ru - некоторые работают... Порылся - похоже, такая проблема возникает с data.yandex.ru, а с каким-то shim-tub.yandex.ru всё отлично.

evgen5555

HTTP/1.0

Для тех кто в танке.

nikita270601

До конца-то читай.
В HTTP/1.0 тоже можно, кстати, писать absoluteURI, можешь найти стандарт и посмотреть.

kruzer25

Проблема решилась, оказывается, если вместо Host: www.example.com:80 передавать Host: www.example.com, всё работает...
А почему?

Ivan8209

Наверное, потому, что "host name" --- это всё-таки "www.example.com", а не "www.example.com:80".
---
...Я работаю антинаучным аферистом...

kruzer25


14.23 Host
The Host request-header field specifies the Internet host and port
number of the resource being requested, as obtained from the original
URI given by the user or referring resource (generally an HTTP URL,
as described in section 3.2.2). The Host field value MUST represent
the naming authority of the origin server or gateway given by the
original URL. This allows the origin server or gateway to
differentiate between internally-ambiguous URLs, such as the root "/"
URL of a server for multiple host names on a single IP address.
Host = "Host" ":" host [ ":" port ] ; Section 3.2.2
A "host" without any trailing port information implies the default
port for the service requested (e.g., "80" for an HTTP URL). For
example, a request on the origin server for
<http://www.w3.org/pub/WWW/> would properly include:
GET /pub/WWW/ HTTP/1.1
Host: www.w3.org
A client MUST include a Host header field in all HTTP/1.1 request
messages . If the requested URI does not include an Internet host
name for the service being requested, then the Host header field MUST
be given with an empty value. An HTTP/1.1 proxy MUST ensure that any
request message it forwards does contain an appropriate Host header
field that identifies the service being requested by the proxy. All
Internet-based HTTP/1.1 servers MUST respond with a 400 (Bad Request)
status code to any HTTP/1.1 request message which lacks a Host header
field.
See sections 5.2 and 19.6.1.1 for other requirements relating to
Host.

kruzer25

Ещё вопрос, почему при чтении раздела "программинг" скриптом
GET /postlist.php?Cat=&Board=prog&showlite=l HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MSDigitalLocker Vista 1.3; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; WinFX RunTime 3.0.50727; InfoPath.2)
Cookie: w3t_w3t_language=russian; w3t_w3t_myid=8567; w3t_w3t_favicon=smirk; w3t_w3t_key=; w3t_w3t_mysess=
Accept: */*
Accept-Encoding: */*
Referer:
Host: petaflop.b.gz.ru
Возвращается
HTTP/1.1 200 OK
Server: nginx/0.4.2
Date: Mon, 20 Nov 2006 22:16:53 GMT
Content-Type: text/html; charset=windows-1251
Connection: close
X-Powered-By: PHP/4.4.2-0.dotdeb.1
с 25КБ данных, при этом интернета тратится 30КБ; но, если тот же раздел грузить с помощью ИЕ напрямую, интернета тратится всего 8КБ?
Это, насколько я понимаю, используется какое-то сжатие - но почему скрипт не получает сжатые данные, несмотря на то, что передаёт форуму всё то же самое, что и браузер?

Ilya1974

Покажи, где ты просишь deflate.

kruzer25

Ага, ты прав.
Тем не менее, для HTTP/1.0 это не работает. А для HTTP/1.1 для кучи сайтов надо ещё обрабатывать Vary...
Ботаю протокол, не пойму, можно ли как-нибудь сказать, что сжатое содержимое я принимать могу, а vary - нет?
Оставить комментарий
Имя или ник:
Комментарий: