Noindex nofollow – два брата для регулирования ботов поисковых систем
В оптимизации сайта и SEO огромную роль играют запрещающие директивы noindex nofollow, с помощью которых можно управлять поведением поисковых роботов на странице. Технология немного стала терять свою силу, но в статье разберем как пользоваться ноуиндекс и нофоллов, чтобы вебмастер понимал для чего они нужны и какую пользу несут в себе.
Что такое noindex и nofollow – их разница
Для начала зададим определения, что это такое noindex и nofollow, чтобы понимать весь дальнейший процесс их постановки внутри кода.
Метатег noindex – запрещает к индексации (обходу) страницу целиком поисковыми системами либо отдельный участок. Простыми словами ноуиндекс запрещает брать в индекс участок документа либо всю ее, применяется для внутренней оптимизации.
Разница у них огромная – первый регулирует сам документ, второй урлы и переходы по ним. Многие спрашивают про Noreferre и Noarchive, это тоже значения robos в meta, о них поговорим в других статьях.
Как пользоваться noindex
Сейчас noindex применяют в 3 видах, рассмотрим каждый из них и напишу какой из них самый действенный.
Ноуидекс в атрибуте robots на примере HTML кода для страницы
Стопроцентный метод закрыть что-то от индексации в SEO – это поставить noindex на всю страницу. Да гибкости меньше, потому что закрываем все или ничего. Но для удаления дублей и полностью ненужных документов метод идеален. Ниже показано как это выглядит в HTML общий для всех ботов любой поисковой системы.
Исходный HTML
Для разных ботов необходимо указывать его имя, например для Гугла это googlebot, а для Яндекса YandexBot, так выглядит строка. Инструкция должна быть вставлена строго внутри раздела head, чем выше к начал тем лучше.
Соответственно если хотим наоборот открыть доступ роботам ПС, то меняем команду на index.
Noindex для отдельных кусков кода или текста
Если хотим закрыть от индексирования только часть страницы, чтобы она вырезалась из обхода роботом. То есть тот кусок который будет обернут в ноуиндекс будет невидим для поисковика. Выглядит комбинация так:
Но сейчас данные приемы работают 50 на 50, причем с очень не стабильной статистикой. Например, поместили информацию об авторе в noindex в сайдбаре, данный блок может на одной странице вырезан из обхода, а на другой взят в поиск. Поэтому данную технологию применяют для исключения блоков, которые просто желательно убирать.
Многие помещают блоки контекстной рекламы в noindex – доказано множеством специалистов, что это никак не действует на SEO, а даже усугубляет. Потому что предпринимаются попытки манипуляцией роботов, что идет во вред блогу.
Как пользоваться nofollow
У nofollow в основном другое предназначение – это работа с ссылками, но его команды в robots так же действуют. Рассмотрим все комбинации применения ноуфолов.
Значение nofollow в атрибуте content
Код означает, что переходить по всем ссылкам на странице запрещено по внешним и внутренним одинаково. Методом блокируем переход только роботам, пользователь может перейти беспрепятственно.
Аналогично можно регулировать поведение по видам роботов по ПС, например для Yandex. Если подставим follow, то даем разрешение на сканирование, в этом случае можно ничего не прописывать.
Блокировка отдельных ссылок
У nofollow нет механизма закрытия кусков страницы, это не логично, поэтому есть механизм блокировки отдельных ссылок.
Способ не дает 100%, что робот не перейдет по ссылке, потому что сейчас данный атрибут является частичной рекомендацией, но для усиления и намека на то что этот урл служебный – комбинация подойдет.
Будет ли работать nofollow для внутренних ссылок и необходимо ли это делать? Да, для служебных страниц, особенно сквозные адреса (корзина, регистрация, вход), советую проставлять его, чтобы исключить их из режима обхода.
Идет ли передача веса в ссылках с nofollow? Минимальное количество ссылок не даст плохого эффекта и передачи веса страницы не будет. Но в разрезе всего сайта, если много документов будет ссылаться на один и тот же адрес, то соответственно вес будет утекать.
Для SMM продвижения и продажи dofollow ссылок – nofollow не пользуются, потому что в первом случае трафик идет из соцсетей, а второй направлен на продажу, правилами запрещено ставить нофолоу.
Применение noindex и nofollow вместе
Употреблять их вместе можно только в теге meta, в других местах их комбинировать нельзя, точнее можно, но боты их понимать не будут, пример в таком исполнении, означает, что не индексировать ни переходить по адресам нельзя.
Их можно менять местами и вариацию без приставки NO, тем самым более точно руководя поведением. Например, моя любимая для блокировки дублей в пагинации. Расшифрую – ходить по странице можно, но в индекс брать нельзя, одновременно с этим можно ходить по ссылкам.
Так же есть вариант применения для ссылок точечно обоих команд, но она сработает только для Яндекса, все остальные не будут воспринимать noindex.
Disallow в robots и noindex – как с ними работать
У некоторых пользователей есть вопрос, а нужно ли ставить на страницу noindex если в robots txt уже есть запрет на индексацию и наоборот. Я советую всегда использовать значения ноуиндекс и nofollow, а для усиления добавлять запрещающую строку в robots. Например с пагинацией в WordPress, я ставлю в head строку с meta (показывал на скриншоте ранее) и одновременно есть запрет в роботсе через директиву Disallow.
Robots txt
Как вставить noindex nofollow на разных CMS
Для новичков в SEO не всегда понятно как проставлять правильно noindex nofollow в своей CMS системе, потому что задачи разные и требуется максимально точно настроить данный пункт.
WordPress
Советую всем использовать плагин YoastSEO, он умеет проставлять теги автоматически и с помощью точной простановки. Сейчас разберу только базовый принцип, в отдельной рубрике по WordPress опишу подробно весь процесс. В WP есть три вида сущностей – содержимое, таксономии (рубрики и категории товаров) и архивы.
Yoast SEO
На каждой вкладке для отдельной сущности можете настроить параметр «Показывать … в результатах поиска?» вместо многоточия будет своя сущность (запись, страница, рубрика, товар). Если переместим в режим «Выкл», то ко всем документам такого типа примениться noindex,follow в теге meta.
Второй вариант ручной, если хотим закрывать только некоторые адреса, то в визуальном редакторе внизу есть блок. Рассмотрим на примере записи.
Opencart
Не работал плотно с opencart, но поискал в интернете решения проблемы, чтобы работало. Нашел один модуль, это как плагин на WP, устанавливается стандартно и имеет настройки для достаточного количества видов документов в Opencart для простановки noindex и nofollow. Нажимайте на кнопку и перекинет на репозиторий OC.
Bitrix
В Bitrix сложнее, он не дает такой гибкости как у других CMS, поэтому приходится прибегать к помощи разработчиков. Нашел один метод, который сможет помочь новичкам, он направлен на создании дополнительных полей в редакторе (типа как в WP произвольные поля). Жмите кнопку и откроется официальная документация. На данном форуме объяснил пользователь «Гуру» наглядно где и что появляется.
Единственный стопроцентный метод закрытия страниц это через тег meta с атрибутом robots. Все остальные способы 50 на 50 и могут не работать, потому что не все поисковики воспринимают их, а если берут в обработку то по своим неизвестным алгоритмам.
Noindex и Nofollow — соперники или братья-близнецы
26 октября 2017 Опубликовано в разделах: Азбука терминов. 4995
В чем отличие между noindex и nofollow
Применение Nofollow не превращает ссылку в невидимую, а всего лишь указывает, что по ней не нужно идти и индексировать документ, на который она ведет. Поисковый робот индексирует эту гиперссылку, но вес с сайта не передается, если она ведет на чужой ресурс. Работает этот атрибут для всех поисковиков.
Что касается тега Noindex, то с ним работает только Яндекс. Гугл же просто проигнорирует его. Использовать его нужно в тех случаях, когда вы хотите закрыть какой-то участок страницы — текст, картинку или ссылку — от индексации. Поисковик контент распознает, но впоследствии выкидывает из индекса. Эта мера установлена для полного анализа страницы и процедуры наложения возможных санкций за нарушения.
Для чего нужен Noindex
Для чего нужен Nofollow
Как использовать noindex и nofollow
Тэг Noindex для любого контента применяется так:
Весь текст и анкор ссылки изначально индексируются, но потом удаляются из базы поисковика. Гиперссылка индексируется, и вес по ней передается.
При работе с Ноиндекс существует вероятность того, что снизится валидность кода, так как данный тэг знает только российский поисковик. Поэтому рекомендуется следующий вариант написания:
При этом другие поисковики просто его пропустят, и валидность кода останется неизменной.
Атрибут Nofollow для ссылок применяется
При этом анкор попадает в индекс, но поисковик по веб-ссылке не идет, вес на странице остается.
Если на странице слишком много Нофоллоу, то это может негативно сказаться на лояльности поисковиков.
Совместное использование
Для того чтобы закрыть и текстовую часть, и гиперссылку, следует придерживаться такого написания:
Варианты правильного использования Noindex и Nofollow для запрета индексации документа в целом
Тег и атрибут, все время ходят “за ручку”, и часто их применяют вместе. Они могут применяться в meta name=robots документа для указания рекомендаций по его индексации и переходу по веб-ссылкам. Указание на запрет индексации необходимо, если обнаружены дубли страниц, Или в сети появилась конфиденциальная или устаревшая информация, а другим способом страницы убрать нельзя.
Ноуиндекс создает команду Яндексу не индексировать контент на странице, но робот ходит по ее веб-ссылкам. Поэтому дополнительный Ноуфоллоу указывает по ним на не ходить. Данное указание воспринимают как Яндекс, так и Google.
Что касается удаления документа из индекса Google, то поисковиком предусмотрен альтернативный метод: запись X-Robots-Tag: noindex, nofollow. Данное указание закрепляется в http-заголовках, не видимых в коде страницы.
Рассказываем о разнице между Nofollow и Noindex, как их правильно использовать для ссылок и скрытия контента на сайте.
Всегда следите за наличием рассмотренных в статье тегов и атрибутов в нужных местах, чтобы получать именно тот результат, которого вы ожидаете.
Специалисты студии SEMANTICA проведут комплексный анализ сайта по следующему плану:
– Технический аудит.
– Оптимизация.
– Коммерческие факторы.
– Внешние факторы.
Мы не просто говорим, в чем проблемы. Мы помогаем их решить
Когда не обойтись без noindex и nofollow
Содержание:
Зачем использовать тег и атрибут rel=«nofollow»
Невзирая на то, что мы упоминаем тег и атрибут rel=«nofollow» в пределах одной статьи, они являются совершенно разными элементами кода страниц сайта и соответственно используются для различных целей. Для каких именно, читайте далее по тексту.
Тег – размещаемый в HTML-коде странички тег, который запрещает боту поисковой системы Яндекс индексировать часть текста (заключенную внутри него). Тег noindex Яндекс ввел по собственной инициативе, которую до сегодняшнего дня разделяет лишь Рамблер.
Поэтому при использовании тега noindex, Google не будет обращать на него внимания.
Если нужно, чтобы не индексировалась ссылка, noindex не сможет помочь.
В данном примере от индексации будет закрыт лишь анкор «Курсы SEO», а сама ссылка все же будет учтена и по ней передастся вес.
Кстати, довольно часто встречающаяся в сети конструкция rel=«noindex» является ошибочной, поскольку это не атрибут, а тег.
Еще один момент, к которому нужно быть готовым – закрывая от робота часть текста, приводит к тому, что валидация сайта будет содержать множество ошибок в коде. Причина все та же: среди тех, кто понимает тег noindex – Яндекс и никто более из существенных поисковиков. Кроме того, этот тег не является стандартизированным.
Но выход все же есть. Для того, чтобы исключить ошибки, связанные с использованием этого тега, существует вариант его написания, который устраивает абсолютно всех:
В этом случае тег будет распознан Яндексом, другие поисковики не обратят на него внимания, а проверка кода не будет воспринимать его, как ошибку.
Несмотря на явную пользу от возможности использовать тег noindex, Google так и не принял его и не создал ничего аналогичного.
Кстати о пользе – вот несколько конкретных ситуаций, в которых данный тег незаменим (не забываем, это актуально только для Яндекса):
rel=«nofollow». Атрибут, который «работает» со всеми поисковиками
Для того чтобы дать роботу поисковика указание о том, что не нужно переходить и передавать вес по ссылке, существует атрибут тега rel=«nofollow». Он является стандартизированным элементом HTML-кода и воспринимается абсолютно всеми поисковиками.
Причем его использование не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить и заниматься индексацией страницы, на которую она указывает.
Использование rel=«nofollow» позволяет:
С использованием атрибута rel=«nofollow» важно не переусердствовать: если постоянно скрывать с его помощью ссылки, это может значительно повлиять на уровень доверия поисковиков к Вашему сайту.
Где еще используются noindex и nofollow
Также noindex и его постоянный спутник nofollow могут использоваться совершенно в ином виде – как значения атрибута content в составе мета-тега robots. Последний, в свою очередь, используется в HTML-коде страницы для указания поисковым ботам рекомендаций насчет индексации страничек и переходу по размещенным на них ссылкам.
Приведенный на скриншоте пример трактуется, как пожелание не выполнять индексацию содержимого странички и не анализировать ссылки, размещенные на ней. Наличие подобной конструкции в теле кода страниц может быть возможной причиной, по которой не индексируется сайт.
Основные выводы
Использование одного из вышеупомянутых элементов (или обоих сразу) зависит от условий, которые преследуются (сокрытие части текста, ссылки или всей страницы при использовании с мета-тегом robots).
Если нужно скрыть от робота Яндекса отдельный текст, noindex это сделает, но когда закрывается ссылка, noindex не поможет. В этом случае следует выбрать атрибут rel=«nofollow», не скрывающий анкор ссылки.
Теперь, когда Вы разобрались с особенностями применения и rel=«nofollow», не забудьте поделиться этой важной информацией с теми, кто может в ней нуждаться!
Noindex и Nofollow: как, зачем и для чего используют в SEO
Что такое тег
. – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.
Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.
Что такое атрибут rel=”nofollow”
rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.
Ниже будут рассмотрены все примеры использования тега и атрибута rel=”nofollow”.
Тег noindex и атрибут rel=“nofollow”
Тег для ссылок
Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:
Тег для контента
Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:
Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.
rel=”nofollow” для ссылок
Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:
Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel=»nofollow». Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:
Передает ли nofollow-ссылка вес
Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.
Нужно ли использовать rel=”nofollow” для внутренних ссылок
Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.
Как использовать совместно тег и rel=”nofollow”
Вот пример кода, когда оптимизаторы используют тег и атрибут rel=”nofollow” одновременно:
Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel=»nofollow»>.
Мета-тег
Этот мета-тег устанавливается в секцию на той странице, которая не должна индексироваться и выглядит это следующим образом:
Суть значений noindex и nofollow в мета-теге остается та же:
Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.
Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).
Комбинации
Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:
Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно
Как сочетать meta name=»robots» с robots.txt и в чем принципиальная разница
Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:
Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.
Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:
Поэтому для непроиндексированных страниц можно использовать любой из вариантов.
Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:
Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:
Правильно настроив его, вы сможете видеть контент, завернутый в тег (будет подсвечиваться):
Ссылки с rel=»nofollow» (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег ):
И использование мета-тега :
Теперь вы знаете как с помощью данных методов настроить правильную индексацию страниц. Это может оказать положительное влияние на процесс раскрутки веб-сайта.
Какая разница между тегами nofollow и noindex?
Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.
Теги и атрибуты
Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики.
Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.
Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.
Что такое noindex
«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.
Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.
Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.
На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.
Какой контент помечается этим тегом?
Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.
Обычно в noindex заворачивают четыре типа текстового контента:
Как использовать тег?
Тег можно вставить в страницы как мету (атрибутом), увеличив область его действия на всю страницу.
С таким кодом индексация страницы разрешается:
А с таким индексация запрещается:
Такое правило можно указать для конкретного робота. Например, поискового бота Google:
Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.
Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в и все.
Что такое nofollow
Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.
Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.
Какой контент помечается этим атрибутом?
Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.
Как прописывать тег?
С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:
Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.
Преимущества тега noindex и атрибута nofollow
Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.
Выше мы использовали и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:
А это полный запрет на контент и ссылки:
Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.
Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.
Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.
Итоги
Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.
