знатокам SEO как правильно скрыть ссылки
убрать ненужные ссылки через robots.txt
убрать ненужные ссылки через robots.txtпоясни
Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.далее - http://robotstxt.org.ru/
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
http://stackoverflow.com/robots.txt
User-Agent: *
Disallow: /posts/
Disallow: /posts?
Disallow: /ask/
Disallow: /ask?
Disallow: /questions/ask/
Disallow: /questions/ask?
Disallow: /search/
Disallow: /search?
Disallow: /feeds/
Disallow: /feeds?
Disallow: /users/login/
Disallow: /users/login?
Disallow: /users/logout/
Disallow: /users/logout?
Disallow: /users/filter/
Disallow: /users/filter?
Disallow: /users/authenticate/
Disallow: /users/authenticate?
Disallow: /users/flag-weight/
Disallow: /users/flag-summary/
Disallow: /users/flair/
Disallow: /users/flair?
Disallow: /users/activity/
Disallow: /users/stats/
Disallow: /users/*?tab=accounts
Disallow: /users/rep/show
Disallow: /users/rep/show?
Disallow: /unanswered/
Disallow: /unanswered?
Disallow: /u/
Disallow: /messages/
Disallow: /api/
Disallow: /review/
Disallow: /*/ivc/*
Disallow: /*?lastactivity
Disallow: /users/login/global/request/
Disallow: /users/login/global/request?
Disallow: /questions/*answertab=*
Disallow: /questions/tagged/*+*
Disallow: /questions/tagged/*%20*
Disallow: /questions/*/answer/submit
Disallow: /tags/*+*
Disallow: /tags/*%20*
Disallow: /suggested-edits/
Disallow: /suggested-edits?
Disallow: /ajax/
Disallow: /plugins/
Allow: /
#
# beware, the sections below WILL NOT INHERIT from the above!
# http://www.google.com/support/webmasters/bin/answer.py?hl=en...
#
#
# disallow adsense bot, as we no longer do adsense.
#
User-agent: Mediapartners-Google
Disallow: /
#
# Yahoo bot is evil.
#
User-agent: Slurp
Disallow: /
#
# Yahoo Pipes is for feeds not web pages.
#
User-agent: Yahoo Pipes 1.0
Disallow: /
#
# This isn't really an image
#
User-agent: Googlebot-Image
Disallow: /*/ivc/*
Disallow: /users/flair/
#
# this technically isn't valid, since for some godforsaken reason
# sitemap paths must be ABSOLUTE and not relative.
#
Sitemap: /sitemap.xml
Кстати, что будет, если файла роботов нет, а "защита" делается через скрытые ссылки, так что человек не видит админский доступ, кравлер - видит, причём видит не только кнопку "стать админом", но и кнопку "удалить всё"? Очевидно, что кравлер поудаляет весь файл, кто за это будет отвечать по нашим законам?
Очевидно, программер - надо и на стороне сервера права проверять
а вот интересно как это выглядит с точки зрения закона.
а вот интересно как это выглядит с точки зрения закона.сумеречная зона.
Преступления нет, т.к. не умысла нанести вред, есть - несчастный случай.
Нарушения какого-либо договора тоже нет, т.к. нет самого договора.
Методы определения степени ответственности за возникновение несчастного случая - отличаются для разных стран, разных видов несчастных случаев и т.д.
На первый взгляд, у кого круче адвокат, или кого судья больше пожелел, тот и выиграл.
Под капчу/авторизацию, иначе никак
как можно спрятать от гугла ссылки
Под капчу/авторизацию, иначе никакпод юзер-ивенты пойдет?
типа на хувер - преобразуется в ссылку или маусентер/маусмув
Впрочем, спасает ли от этого капча? Кажется, нет
просто жалко вес, который утекает на страницы с тегами - вещь для пользователя на сайте более-менее полезная и абсолютно бесполезная для выдачи
https://iaptris.com/seo-services
Оставить комментарий
PooH
> В меню выводятся важные страницы, но не нужные для продвижения. И их нужно оставить для пользователя, но убрать от индексации в поисковике (подробнее о методах можно узнать по запросам про распределение веса страниц), чтобы вес лучше оседал на целевых страницах.> Меню выводится через вордпрессовский модуль, и скорее всего нужно будет дорабатывать его, чтобы можно было выбирать, какие ссылки будут выводиться стандартными методами, а какие при помощи js, чтобы они не индексировались.
почитал, погуглил и обнаружил, что гугль умеет JS ботами и спокойно ходит по ссылкам вида: <script>document.write("<a href=''/>")</script> и по таким ссылкам тоже: <script>$("span.anchor").click(function(){document.location = href})</script>
короче, вопрос такой: как можно спрятать от гугла ссылки, т.к. nofollow уже не работает корректно:
http://devaka.ru/images/679.gif
а тратить вес на ненужные страницы не хочется