Интернетчик » Запрет на индексацию | Google и Яндекс

Запрет на индексацию | Google и Яндекс

Внимание! У Вас нет прав для просмотра скрытого текста.

Высшая ценность в Интернете – это уникальность текста

И вот почему:

1. Во-первых, кроме Яндекса есть ещё поисковый алгоритм Google, которому абсолютно «до лампочки» тег noindex. Как быть с Google? Получается, что тег noindex – инструмент половинчатый и помощник только для алгоритма Яндекса. В остальном-же, этот тег – это бесполезная игрушка.
2. Во-вторых, народ в Сети давно уже приспособился ко всевозможным уловкам против «железобетонных» неизменяемых текстов. Например, публиковать их в виде картинок. Сайт tehlit.ru (ГОСТы и техническая литература России) – так этот вообще, сделан одними только изображениями и весь его контент – это сканированные копии страниц из всяких там технических стандартов.
3. А в-третьих, и это самое главное – приготовьтесь, я щас открою страшную тайну.
Оказывается, 95% самой ценной информации, которую только накопило человечество за все своё существование – изменить уже никак нельзя. Вся техническая, медицинская и другая многочисленная специальная, справочная и учебная литература – это как раз и есть те самые «железобетонные тексты», за изменение которых людям дают докторские и прочие научные степени, а иногда даже – большие деньги.

И, никак нельзя изменить «без спрося», ни состав лекарства, ни текст рецепта на него. и, нельзя изменить техническое описание никакого товара или способа для его производства. Также, нельзя изменить текст главной новости дня на новостных сайтах и текст речи президента, равно как и него местонахождение. Очень и очень много есть текстов, в которых нельзя менять ни единой буквы, ни , тем более – слова. Кроме, разве что «высокохудожественного» трёпа на форумах и в блогах по SEO-оптимизации.

Так что теперь – ничего не публиковать, кроме этой самой форумной и блоговой болтовни? Ведь только там теперь и остаются уникальные тексты для поисковых машин. Или, публиковать всё-таки можно, но только – под угрозой санкций со стороны поисковика за не уникальность текста?

Да так рассуждая, и Яндекс и Google уже давно должны были «побанить» все веб-ресурсы, кроме сайтов с картинками, Википедии да уникальных блогов сеошников, у которых весь копипаст обернут нужными тегами.

НО! Этого не происходит. Видимо, не всё так страшно и печально. Достаточно открыть Интернет и вчитаться в пару-тройку любых новостей, чтобы понять – поисковые системы далеко не глупы. И страшную тайну про неизменяемые тексты поисковики знают, лучше всех остальных. Кому-же, как не им её знать. И, они вовсе не торопятся «бомбить» сайты с похожим и даже – одинаковым контентом. Иначе, нужно просто позакрывать весь 1 000 000 000 сайтов и поставить дворника с метлой в Сети у входа в Интернет.

Но, если так, тогда зачем, господа хорошие, весь этот сыр-бор с тегом noindex и закрыванием какого-то там служебного текста? Оказывается, дело лишь в облегчении работы поисковой машины при составлении описания страницы для поискового индексирования. Наказания за это не предусмотрено.

Вот!

Загадки Яндекса и Google для noindex и nofollow
Как было уже сказано в самом начале статьи, Загадки Яндекса и Google для noindex и nofollow заключаются в том, что никто толком не знает, как влияют эти теги и атрибуты на общее ранжирование и подсчёт веса веб-страницы в отдельности и сайта, в целом.
И, что будет лучше – позакрывать, к едрёен батон, всё и вся.
Или, всё-таки, может быть – что-то оставить?
После некоторых раздумий я пришёл к выводу, что внешние ссылки на более авторитетные и раскрученные веб-источники, помогающие раскрыть тему статьи и имеющие, так сказать её логическое продолжение – закрывать в noindex и nofollow не нужно. Это, как в реальной жизни – дружить с сильными ребятами выгодно. Даже ничего не делая, сильный товарищ добавляет мощи слабому.
Но, если это коммерческая ссылка,
ведущая на голимый ГС –
такую ссылку обязательно нужно закрыть в noindex и nofollow.
А, ещё лучше – вообще не ставить.
Кстати, такого-же мнения придерживаются многие вебмастера от «белого» SEO.
Вес страницы и внешние ссылки (мысли вслух)
Закрывание внешних ссылок в noindex и nofollow связано для вебмастера только с одним желанием – сохранить вес страницы, якобы отражающийся на общем рейтинге сайта у поисковых систем. Про «Вес страницы» с утра до вечера говорят на всевозможных форумах, но реально, что такое «Вес страницы» и как он подсчитывается у поисковиков – не знает никто. Доподлинно известно, что внешние ссылки важны и положительно учитываются для продвижения сайта вперёд, в SERP (СЕРП). Вот только это должны быть ссылки по теме, а не всё подряд.
Всевозможные SEO-оптимизаторы понапридумали кучу всяческих способов (бесплатных и за деньги), чтобы оттягать на себя побольше внешних ссылок. До оптимизировались уже до того, что Яндекс вообще скоро перестанет учитывать внешние ссылки не в тему страницы, а в некоторых случаях – и наказывать за избыток внешних ссылок «не по теме». Действительно, ну как это может женский каталог ссылаться на сайт про дровяное отопление, или сайт военно-патриотического клуба ссылаться на магазин ханского белья? Пусть, приведённые примеры слишком грубы, но лично я никогда не верил в подобные способы SEO-продвижения веб-ресурсов.
Нет логики. Суета сует.
Чем переводить кучу времени на заигрывание с поисковой системой по её постоянно меняющимся правилам – лучше накропать парочку уникальных статей в тему своего сайта или блога. В блоге у одного известного SEO-мастера, я вычитал интересную мысль – поисковиком засчитывается не тупо внешняя ссылка на сайт, а количество переходов по ней. Таким образом, если реальный пользователь в дискуссии на форуме поставит ссылку и по ней придут три десятка или сотни посетителей – это будет гораздо лучше, чем все каталоги мира, вместе взятые.
noindex и nofollow – самые загадочные персонажи разметки html-страницы.
Предназначены они для исключения из поискового индекса текстового материала, ссылок и целых веб-страниц. А загадка заключается в том, что никто толком не знает, как поведёт себя поисковый робот, наткнувшись на noindex и nofollow на веб-странице. Поисковые машины Яндекса и Google всё время изменяют свои алгоритмы по учёту и подсчёту веса и рейтинга страницы и сайта, для которых эти noindex и nofollow, собственно и нужны.

Тег noindex не входит в спецификацию HTML-языка

Тег noindex – это не валидное изобретение Яндекса, который предложил использовать этот тег в качестве маркера текстовой части веб-страницы для её последующего удаления из поискового индекса. Поисковая машина Google это предложение проигнорировала и Яндекс остался со своим ненаглядным тегом, один на один.

noindex – не валидное изобретение Яндекса
Итак, тег noindex используется поисковой машиной Яндекс (и только ею)
для исключения текста или его части из своего поискового индекса.
Тег noindex – парный тег, закрывающий тег – обязателен!
Учитывая не валидность своего бедного тега,
Яндекс соглашается на оба варианта его написания:
Не валидный вариант – <noindex></noindex>,
и валидный вариант – <!-- noindex --><!--/ noindex -->.
Хотя, во втором случае – лошади понятно, что для гипертекстовой разметки HTML, это уже никакой не тег, а так просто – html-комментарий на веб-странице.

Действие и применение тега noindex

Как утверждает справочная по Яндекс-Вебмастер, тег noindex используется для запрета индексирования служебных участков текста. Иными словами, часть текста на странице, заключённая в теги <noindex></noindex> удаляется поисковой машиной из поискового индекса.

Что это за такой служебный текст и насколько нужен, важен и действенен тег noindex при закрывании части текстового материала от поисковой индексации – трудно сказать. В этом месте, все веб-мастера начинают растекаться мыслью по древу, да и сам Яндекс не может ничего внятно объяснить. Единственное практическое применение такому тегу я нашёл в прятанье от поисковика анкоров (видимой части) «левых коммерческих ссылок» в конструкцию, вида
<noindex><a href="http://example.ru" rel="nofollow">анкор</a></noindex>.

А был ли мальчик?
(сомнительный тег noindex)
Некоторые веб-мастера рекомендуют оборачивать тегом noindex такие части текста, которые невозможно изменить и которые – часто встречаются (или могут встречаться) на других веб-ресурсах. Прежде всего, это – цитаты из других сайтов или блогов, всевозможные выдержки из всяких правил, справочной литературы или технических стандартов (вида ГОСТов, ОСТов, СНиПов, СанПиНов и т.д.). Говорят, что в этом случае – использование тега noindex помогает повысить общий процент уникальности текста страницы в глазах Яндекса.

Что-же, это логично. Поверить в это можно.
Вот только польза от этого сомнительная.
И вот почему:

1. Во-первых, кроме Яндекса есть ещё поисковый алгоритм Google, которому абсолютно «до лампочки» тег noindex. Как быть с Google? Получается, что тег noindex – инструмент половинчатый и помощник только для алгоритма Яндекса. В остальном-же, этот тег – это бесполезная игрушка.
2. Во-вторых, народ в Сети давно уже приспособился «железобетонные» тексты публиковать в виде картинок, и к тому подобным уловкам. Например, сайт http://www.tehlit.ru/ tehlit.ru (ГОСТы и техническая литература России) – так этот вообще, сделан одними только изображениями и весь его контент – это сканированные копии страниц из всяких там технических стандартов.
3. А в-третьих, и это самое главное – приготовьтесь, я щас открою страшную тайну.
Оказывается, 95% самой ценной информации, которую только накопило человечество – изменить уже никак нельзя. Вся техническая, медицинская и вся иная специальная, справочная и учебная литература – это как раз и есть те «железобетонные тексты», за изменение которых людям дают докторские и прочие научные степени, а иногда даже – много денег.
Нельзя изменить, ни состав лекарства, ни текст рецепта на него. Нельзя изменить техническое описание никакого товара или способа его производства. нельзя изменить текст главной новости дня на новостных сайтах и нельзя изменить текст речи президента. Нельзя изменить вообще никаких текстов, кроме «высокохудожественного» трёпа на форумах и в блогах по SEO-оптимизации.
Так что теперь – ничего не публиковать, кроме болтовни в блогах и на форумах? Ведь только там и остаются уникальные тексты для поисковых машин. Или, публиковать всё-таки можно, только – под угрозой санкций со стороны поисковика за не уникальность текста?

Да так рассуждая, и Яндекс и Google уже давно должны были «побанить» все веб-ресурсы, кроме сайтов с картинками, Википедии да уникальных блогов сеошников, у которых весь копипаст обернут нужными тегами.
НО! Этого не происходит. Видимо, не всё так страшно. Достаточно открыть Интернет и вчитаться в пару-тройку любых новостей, чтобы понять – поисковые системы далеко не глупы. И страшную тайну про неизменяемые тексты поисковики знают, лучше всех остальных. Кому-же, как не им её знать. И они вовсе не торопятся «бомбить» сайты с похожим и даже – одинаковым контентом. Иначе, нужно просто позакрывать весь 1 000 000 000 сайтов и оставить дворника с метлой у Сети Интернет.
Но, если так, зачем тогда весь этот сыр-бор с тегом noindex и закрыванием какого-то служебного текста? Оказывается, дело лишь в облегчении работы поисковой машины при составлении описания страницы для поискового индексирования. Наказания за это не предусмотрено.

Использование метатег noindex
В отличие от простого тега, с применением noindex в качестве метатега дело обстоит гораздо проще и понятнее. По крайней мере, абсолютно ясно и достоверно, что использование noindex в качестве метатега на странице сайта или блога даёт хороший результат и уверенно выбивает такую страницу из поискового индекса Яндекса.
<meta name="robots" content="noindex"/>
Текст страницы, с метатегом noindex в заголовке – Яндекс не индексирует.
Закрывание ненужных страниц веб-ресурса очень важно для его SEO-оптимизации.
Рекомендовано к применению на технических и сервисных страницах движка сайта, не представляющих абсолютно никакой поисковой ценности. К техническим и сервисным страницам относятся страницы с неудобоваримым или дублирующим контентом и предназначенные исключительно для удобства и обслуживания посетителей и пользователей веб-ресурса. В основном, это страницы для переписки и рассылки, отображения статистики и объявлений, страницы пользовательской сортировки материала, а также страницы с комментариями, личными данными пользователей, личными настройками на сайте и т.д.

Разница в действии тега и метатега noindex
Действие тегов <noindex></noindex> распространяется только на текст внутри тегов.
Пример <noindex>Этот текст будет не проиндексирован</noindex>
Действие метатега noindex распространяется на всю веб-страницу.
Пример метатега noindex приведен выше.
Дополнительно, разница в действии тега и метатега проявляется в различиях алгоритма по их обработке поисковой машиной Яндекса. В случае с метатегом, робот просто уходит со страницы, совершенно не интересуясь её содержимым (по крайней мере – так утверждает сам Яндекс). А, вот в случае с использованием обычного тега <noindex> – робот начинает работать с контентом на странице и фильтровать его через своё «ситечко». В момент скачивания, обработки контента и его фильтрации возможны ошибки, как со стороны робота, так и со стороны сервера. Ни что ведь не идеально в этом мире.
Поэтому, с фильтрацией части текста страницы, заключённого в теги <noindex></noindex> – могут возникнуть осложнения и такой кусок текста запросто может попасть Яндексу «на зуб» для дальнейшей поисковой индексации. Как утверждает сам Яндекс – это временное неудобство будет сохраняться до следующего посещения робота. Чему я не очень охотно верю, потому как некоторые мои тексты и страницы, с тегом и метатегом noindex – висят в Яндексе по нескольку лет.

Особенности в действии тега и метатега noindex
Интересен тот факт, что действие тега и метатега noindex распространяется только на видимую часть текста, так сказать – на видимые печатные знаки. Картинки, ссылки и весь медиа-контент – будут проиндексированы поисковиком, как ни в чём не бывало – со всеми вытекающими последствиями. Чтобы запретить роботу Яндекса переходить по ссылкам на веб-странице, потребуется ещё к тегу noindex добавить тег nofollow.
Пример тега noindex+ nofollow для отдельной ссылки приведён выше.
Пример метатегов для всей страницы из Яндекс-Вебмастера:
<meta name="robots" content="noindex"/> – не индексировать текст страницы,
<meta name="robots" content="nofollow"/> – не переходить по ссылкам на странице.
Или, <meta name="robots" content="noindex, nofollow "/>, что аналогично
<meta name="robots" content="none"/> – запрещено индексировать текст и переходить по ссылкам на странице
Вот такие вот, сложности и страхи.

Тег и метатег noindex для Google
Что-же касается поисковика Google, то он никак не реагирует на присутствие тега noindex, ни в заголовке, ни в теле веб-страницы. Google остаётся верен своему валидному тегу nofollow, который он понимает, и в качестве метатега в заголовке веб-страницы, и в качестве атрибута у её ссылок (тег «а»). После некоторого скрипения своими жерновами, Яндекс сдался и тоже признал существование тега и атрибута nofollow, который не даёт поисковым роботам переходить по ссылкам на странице и индексировать их.

nofollow – не переходить по ссылкам
Проверить гугл-счётчик
Тег и атрибут nofollow предназначен для закрытия от индексации ссылок в Google и Яндекса. Вернее сказать – для запрета перехода поискового робота по ссылке. Ни один робот не пойдёт по ссылке, если у неё имеется атрибут nofollow, или вся страница закрыта метатегом nofollow.
И Google, и Яндекс прекрасно знают и управляются с nofollow
Пример, метатега nofollow для все страницы приведён выше.
Пример тега nofollow для отдельной ссылки с сдерём из Яндекс-Вебмастера:
Рисунок

Загадки Яндекса и Google для noindex и nofollow
Как было уже сказано в самом начале статьи, Загадки Яндекса и Google для noindex и nofollow заключаются в том, что никто толком не знает, как влияют эти теги и атрибуты на общее ранжирование и подсчёт веса веб-страницы в отдельности и сайта, в целом.
И, что будет лучше – позакрывать, к едрёен батон, всё и вся.
Или, всё-таки, может быть – что-то оставить?

После некоторых раздумий я пришёл к выводу, что внешние ссылки на более авторитетные и раскрученные веб-источники, помогающие раскрыть тему статьи и имеющие, так сказать её логическое продолжение – закрывать в noindex и nofollow не нужно. Это, как в реальной жизни – дружить с сильными ребятами выгодно. Даже ничего не делая, сильный товарищ добавляет мощи слабому.
Но, если это коммерческая ссылка,
ведущая на голимый ГС –
такую ссылку обязательно нужно закрыть в noindex и nofollow.
А, ещё лучше – вообще не ставить.

Кстати, такого-же мнения придерживаются многие вебмастера от «белого» SEO.

Вес страницы и внешние ссылки (мысли вслух)
Закрывание внешних ссылок в noindex и nofollow связано для вебмастера только с одним желанием – сохранить вес страницы, якобы отражающийся на общем рейтинге сайта у поисковых систем. Про «Вес страницы» с утра до вечера говорят на всевозможных форумах, но реально, что такое «Вес страницы» и как он подсчитывается у поисковиков – не знает никто. Доподлинно известно, что внешние ссылки важны и положительно учитываются для продвижения сайта вперёд, в SERP (СЕРП). Вот только это должны быть ссылки по теме, а не всё подряд.
Всевозможные SEO-оптимизаторы понапридумали кучу всяческих способов (бесплатных и за деньги), чтобы оттягать на себя побольше внешних ссылок. До оптимизировались уже до того, что Яндекс вообще скоро перестанет учитывать внешние ссылки не в тему страницы, а в некоторых случаях – и наказывать за избыток внешних ссылок «не по теме». Действительно, ну как это может женский каталог ссылаться на сайт про дровяное отопление, или сайт военно-патриотического клуба ссылаться на магазин ханского белья? Пусть, приведённые примеры слишком грубы, но лично я никогда не верил в подобные способы SEO-продвижения веб-ресурсов.
Нет логики. Суета сует.
Чем переводить кучу времени на заигрывание с поисковой системой по её постоянно меняющимся правилам – лучше накропать парочку уникальных статей в тему своего сайта или блога. В блоге у одного известного SEO-мастера, я вычитал интересную мысль – поисковиком засчитывается не тупо внешняя ссылка на сайт, а количество переходов по ней. Таким образом, если реальный пользователь в дискуссии на форуме поставит ссылку и по ней придут три десятка или сотни посетителей – это будет гораздо лучше, чем все каталоги мира, вместе взятые.

1. noindex – не индексировать текст
2. вложенный список
3. noindex – не валидное изобретение Яндекса
4. Действие тега noindex
5. Использование метатега noindex
6. Разница в действии тега и метатега noindex
7. Особенности в действии тега и метатега noindex
8. Тег и метатег noindex для Google
9. nofollow – не переходить по ссылкам
10. Загадки Яндекса и Google для noindex и nofollow
11. Вес страницы и внешние ссылки (мысли вслух)