noindex тег что это

Как использовать noindex и nofollow

Особенности применения, проверка и решения для WordPress

Noindex и nofollow — разные по функционалу элементы. Их часто путают, и как только не называют: тегами, метатегами, атрибутами. Расставим все точки над «i» и расскажем, чем отличается noindex от nofollow и в каких случаях их целесообразно использовать.

1. Задать правила индексации страницы и ссылок на ней

Возможны такие варианты:

— в этом случае разрешена индексация страницы и ссылок.

— запрещена индексация содержимого страницы, но разрешен переход по ссылкам.

— разрешена индексация, но запрещен переход по ссылкам.

— запрещается и индексация, и переход по ссылкам.

От индексации следует закрывать служебные страницы (вход в административную панель, логи сервера) а также дублированный контент (страницы архивов, тегов, результаты поиска по сайту, в некоторых случаях — пагинацию).

Если вы хотите оставить указания только для какого-то конкретного робота, нужно указать его идентификатор в метатеге. Например, для бота Google:

Если не задать указания для робота, то он по умолчанию принимает значения index и follow.

Перечень метатегов, которые учитывает Яндекс, найдете в Справке Вебмастера, Google — в документации Центра Google поиска.

В чем отличие директив noindex и nofollow от запрета в robots.txt

Запретить поисковым роботам индексировать страницу можно несколькими способами. Самых популярных два:

В чем же принципиальная разница между этими двумя методами?

Для страниц, которые еще не проиндексированы роботами, особой разницы нет — можно использовать оба способа.

Страницы, которые уже есть в индексе, лучше закрывать директивами noindex и nofollow в meta robots. В этом случае поисковики быстрее исключат страницу их индекса и больше не проиндексируют ее.

Важно! Чтобы робот правильно интерпретировал директивы noindex и nofollow и не добавил страницу в индекс, нельзя одновременно закрывать доступ к ней в файле robots.txt при помощи директивы Disallow. Робот не получает доступа к странице и не видит запрещающих директив. А если на страницу стоит ссылка с другого сайта, краулер перейдет по ней и добавит страницу в индекс.

Еще один вариант полного запрета индексации страницы — настроить HTTP-ответ с заголовком X-Robots-Tag и значением noindex или none. Пример такого заголовка в коде:

2. Скрыть неуникальный или повторяющийся текст от Яндекса

Проблема в том, что при такой конструкции во время валидации кода будут ошибки. Если вы хотите сделать код валидным, используйте такой синтаксис:

Альтернативный способ закрыть от индексации часть текста на странице — добавить тег

Источник

Какая разница между тегами nofollow и noindex?

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики.

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

Как использовать тег?

Тег можно вставить в страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:

А с таким индексация запрещается:

Такое правило можно указать для конкретного робота. Например, поискового бота Google:

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

Выше мы использовали и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:

А это полный запрет на контент и ссылки:

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Источник

Noindex и Nofollow: как, зачем и для чего используют в SEO

Что такое тег

. – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

Тег для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel=»nofollow». Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

Передает ли nofollow-ссылка вес

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.

Нужно ли использовать rel=”nofollow” для внутренних ссылок

Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.

Как использовать совместно тег и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег и атрибут rel=”nofollow” одновременно:

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel=»nofollow»>.

Мета-тег

Этот мета-тег устанавливается в секцию на той странице, которая не должна индексироваться и выглядит это следующим образом:

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Как сочетать meta name=»robots» с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

Правильно настроив его, вы сможете видеть контент, завернутый в тег (будет подсвечиваться):

Ссылки с rel=»nofollow» (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег ):

И использование мета-тега :

Теперь вы знаете как с помощью данных методов настроить правильную индексацию страниц. Это может оказать положительное влияние на процесс раскрутки веб-сайта.

Источник

Когда не обойтись без noindex и nofollow

Содержание:

Зачем использовать тег и атрибут rel=«nofollow»

Невзирая на то, что мы упоминаем тег и атрибут rel=«nofollow» в пределах одной статьи, они являются совершенно разными элементами кода страниц сайта и соответственно используются для различных целей. Для каких именно, читайте далее по тексту.

Тег – размещаемый в HTML-коде странички тег, который запрещает боту поисковой системы Яндекс индексировать часть текста (заключенную внутри него). Тег noindex Яндекс ввел по собственной инициативе, которую до сегодняшнего дня разделяет лишь Рамблер.

Поэтому при использовании тега noindex, Google не будет обращать на него внимания.

Если нужно, чтобы не индексировалась ссылка, noindex не сможет помочь.

В данном примере от индексации будет закрыт лишь анкор «Курсы SEO», а сама ссылка все же будет учтена и по ней передастся вес.

Кстати, довольно часто встречающаяся в сети конструкция rel=«noindex» является ошибочной, поскольку это не атрибут, а тег.

Еще один момент, к которому нужно быть готовым – закрывая от робота часть текста, приводит к тому, что валидация сайта будет содержать множество ошибок в коде. Причина все та же: среди тех, кто понимает тег noindex – Яндекс и никто более из существенных поисковиков. Кроме того, этот тег не является стандартизированным.

Но выход все же есть. Для того, чтобы исключить ошибки, связанные с использованием этого тега, существует вариант его написания, который устраивает абсолютно всех:

В этом случае тег будет распознан Яндексом, другие поисковики не обратят на него внимания, а проверка кода не будет воспринимать его, как ошибку.

Несмотря на явную пользу от возможности использовать тег noindex, Google так и не принял его и не создал ничего аналогичного.

Кстати о пользе – вот несколько конкретных ситуаций, в которых данный тег незаменим (не забываем, это актуально только для Яндекса):

rel=«nofollow». Атрибут, который «работает» со всеми поисковиками

Для того чтобы дать роботу поисковика указание о том, что не нужно переходить и передавать вес по ссылке, существует атрибут тега rel=«nofollow». Он является стандартизированным элементом HTML-кода и воспринимается абсолютно всеми поисковиками.

Причем его использование не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить и заниматься индексацией страницы, на которую она указывает.

Использование rel=«nofollow» позволяет:

С использованием атрибута rel=«nofollow» важно не переусердствовать: если постоянно скрывать с его помощью ссылки, это может значительно повлиять на уровень доверия поисковиков к Вашему сайту.

Где еще используются noindex и nofollow

Также noindex и его постоянный спутник nofollow могут использоваться совершенно в ином виде – как значения атрибута content в составе мета-тега robots. Последний, в свою очередь, используется в HTML-коде страницы для указания поисковым ботам рекомендаций насчет индексации страничек и переходу по размещенным на них ссылкам.

Приведенный на скриншоте пример трактуется, как пожелание не выполнять индексацию содержимого странички и не анализировать ссылки, размещенные на ней. Наличие подобной конструкции в теле кода страниц может быть возможной причиной, по которой не индексируется сайт.

Основные выводы

Использование одного из вышеупомянутых элементов (или обоих сразу) зависит от условий, которые преследуются (сокрытие части текста, ссылки или всей страницы при использовании с мета-тегом robots).

Если нужно скрыть от робота Яндекса отдельный текст, noindex это сделает, но когда закрывается ссылка, noindex не поможет. В этом случае следует выбрать атрибут rel=«nofollow», не скрывающий анкор ссылки.

Теперь, когда Вы разобрались с особенностями применения и rel=«nofollow», не забудьте поделиться этой важной информацией с теми, кто может в ней нуждаться!

Источник

Взламываем «Яндекс» с помощью тега noindex: что это, зачем и как использовать

Одни считают, что использовать тег noindex нужно, другие называют его абсолютно бесполезным. Кто прав в этом споре? Стоит ли вообще задействовать noindex на своем сайте? Разбираемся прямо сейчас.

Что такое noindex

У любого разработчика рано или поздно появляется задача скрыть участок текста на сайте от поисковых роботов. Тег noindex дает краулерам указание, что индексировать участок текста, заключенный в теги, не нужно. Другими словами, тег noindex используется для контроля за индексацией определенного участка веб-страницы. Он незаменим для закрытия индексации определенного фрагмента HTML или любых URL.

Многие seo-оптимизаторы разделились на 2 воинствующих лагеря: одни говорят, что тег noindex бесполезен, так как его понимает лишь «Яндекс» и частично «Рамблер», а Google не признает вообще. Другая часть оптимизаторов утверждает, что noindex незаменим в процессе SEO-оптимизации сайта под «Яндекс» и позволяет сэкономить время. Попробуем разобраться, кто прав.

Кто «понимает» noindex

Я уже отметил чуть выше, что тег учитывают только поисковые роботы «Яндекс» и «Рамблер». Краулеры Google воспринимают noindex в качестве не валидного указания. Это означает, что при обходе страниц с таким тегом могут возникать ошибки: страница либо просто выпадает из индекса, либо индексируется некорректно.

Как выглядит noindex

Выглядит тег таким образом:

Отмечу, что noindex можно вставить практически в любое место, и он будет работать. Имейте в виду, что уровень вложенности тег не учитывает.

Так выглядит noindex в условиях реальной веб-страницы (упрощенно, конечно):

Что скрывать тегом noindex

Функциональность тега сводится решению 5 задач:

На практике закрывать следует:

Невалидность

Выше я уже отмечал, что большинство краулеров считают тег noindex недействительным. Именно поэтому, чтобы избежать ошибок валидности HTML, использовать тег я бы рекомендовал только в таком виде:

Серые оптимизаторы

Недобросовестные веб-мастера прячут от краулеров качественный копипаст (это контент, который увидят посетители сайта), а вместо него «скармливают» поисковому роботу идеально (или не очень) SEO-оптимизированный текст. Именно из-за таких случаев «Яндекс» ввел специальные алгоритмы-поправки для своих краулеров. Учитывайте, что сейчас даже закрытый двойным тегом noindex текст все равно автоматически индексируется поисковыми роботами. После этого такой скрытый текст дополнительно анализируется алгоритмами «Яндекса» и, если там обнаруживается копипаст или поисковый спам, могут последовать санкции. Санкции могут затрагивать как весь сайт, так и только проблемную страницу.

Мета-тег noindex

Мета-тег noindex распространяет свое действие на всю веб-страницу, а российский тег noindex действует только на заданную часть веб-страницы.

А это мета-тег noindex:

Noindex и ссылки

Noindex не скрывает URL целиком. Даже если вы скроете ссылку этим тегом, ее вес все равно будет учитываться «Яндексом».

Так можно закрыть ссылку при помощи noindex:

Как скрыть страницу при помощи элемента

Чтобы закрыть страницу от индексации таким способом, достаточно добавить соответствующий элемент на страницу:

Как скрыть всю страницу от краулеров через robots.txt

Защитить страницу от индексации целиком можно, добавив в системный файл robots.txt такую строку:

(primer нужно заменить на URL страницы, которую вы хотите закрыть от индексации).

Использовать директиву Disallow в robots.txt нужно крайне осторожно, только если вы точно знаете, какой результат хотите получить.

Nofollow

Nofollow-ссылка – это обычный URL для которого прописывается rel=»nofollow». Nofollow – это атрибут, который вы можете увидеть, только если будете самостоятельно анализировать HTML-код страницы. Для обычного посетителя разницы никакой, но поисковые системы ее улавливают. Можно сказать, nofollow – родственный noindex атрибут. Nofollow используется, чтобы краулеры понимали: вес ссылки является нулевым. Соответственно, PageRank и другие метрики, в ссылках размеченные nofollow-атрибутом, просто не передаются.

Так выглядит dofollow-ссылка:

А так – nofollow-ссылка

Оптимизировав ссылку nofollow-атрибутом, вы даете поисковому роботу понять, что переходить по ней и сканировать URL необязательно. Главный сценарий использования атрибута rel nofollow – это разметка рекламных URL.

На практике nofollow-тег используют владельцы сайтов, которые не хотят, чтобы их сайт стал бесплатным трамплином для продвижения других ресурсов. Ссылки nofollow не проходят индексацию, но косвенно поисковые системы их все же учитывают.

Где использовать nofollow-ссылки

Стоит ли вообще использовать тег noindex

Это должен решить каждый владелец сайта самостоятельно. Если ваша площадка получает основной трафик из «Яндекса», в использовании noindex смысл точно есть. Однако с его помощью вы не сможете влиять на поведение всех роботов поисковых систем. Правда, и здесь есть 1 лайфхак: вы можете указать блокирующий тег в robots.txt. В последнем случае вы сможете закрыть страницу от индексации целиком.

Если вы решите добавить noindex-тег в robots.txt, обязательно должно используйте атрибут content. Многие веб-мастера прописывают в robots.txt конкретные рекомендации по индексации той или иной веб-страницы + переходам на указанные URL. При этом Google замечает, что robots нельзя использовать, чтобы ограничить показ страницы в SERP. Если стоит задача исключить проблемную веб-страницу из поисковой выдачи, Google советует использовать директиву noindex или создать авторизованный доступ (с паролем).

В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров

Источник