Robots.txt vs. Google

Kent1331

Пока разрабатывал сайт запретил его индекс в robots.txt

User-agent: *

Disallow: /  

Два дня назад закончил и изменил robots.txt

User-agent: *

Allow: /

Allow: /en

Allow: /ru

Sitemap: http://example.org/sitemap.xml 

Но гугл до сих пор считает что все запрещено.
Кроме того в инструментах гугла если я добавляю sitemap (Оптимизации -> файлы sitemap) то он через 5 сек выдает что все ссылки в sitemap запрещены в robots.txt
Сам robots.txt и удалял и заного создавал. и заходил на него из браузера. Все в порядке отдается версия без запретов.
Помогите, как обновить robots.txt у гугла. гугление не помогло решить проблему.

okis

http://serverfault.com/questions/171985/how-can-i-encourage-...
вот так не работает?

Kent1331

вот так не работает?

Пробовал сразу как исправил robots.txt. и он написал что просмотрел и отправил в индекс.
Но до сих пор при загрузке sitemap говорит, что все запрещено в robots.txt

evgen5555

виртуальные хосты есть?
load balancing?

Kent1331

виртуальные хосты есть?
load balancing?

нет. сайт-визитка. две страницы

arturabramian

Не может быть такого, что сайт у тебя без ввв, а на гугле с ввв или наоборот?

rosali

Может ты отдал первый раз robots.txt с каким-нибудь упоротым cache-control и он в гугле закешировался навечно?
это ты всё прочитал уже?
http://webmasters.stackexchange.com/questions/2272/does-goog...
http://webmasters.stackexchange.com/questions/29944/how-to-r...

Kent1331

Может ты отдал первый раз robots.txt с каким-нибудь упоротым cache-control и он в гугле закешировался навечно?

я просто добавил robots.txt в директорию хостинга. не знаю как для него можно поставить какой-либо cache-control.
все что находит гугл по аналогичным вопросам прочитал. но ничего из этих советов не помогло.
Ситуация немного изменилась.
теперь 2 поддиректории en и ru просканились, есть в выдаче. но корневой до сих пор "Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

skorp

Жди. Пройдет какое то время и все будет проиндексированно.
Таковы реалии.

slonishka

Пока разрабатывал сайт запретил его индекс в robots.txt

Мне кажется, что в следующий раз так лучше не делать.
Правильней было бы разрабатывать сайт где-нибудь сбоку, а потом выложить уже рабочий.