Robots.txt Vs Meta Robots Tag: что лучше?

  1. Зачем нужен файл robots.txt?
  2. Ограничения Robots.txt
  3. Параметры Robots.txt
  4. Robots.txt Директива о подстановочных знаках
  5. Тестирование robots.txt с помощью инструментов для веб-мастеров
  6. Meta Robots Tag
  7. Meta Robots tag против Robots.txt

Источник изображения: https://www.flickr.com/photos/peyri/48825808/

Цель файла robots.txt, также известного как протокол исключения роботов, состоит в том, чтобы дать веб-мастерам контроль над тем, какие страницы роботы (обычно называемые пауками) могут сканировать и индексировать на своем сайте. Типичный файл robots.txt, размещенный на сервере вашего сайта, должен содержать URL-адрес вашей карты сайта и любые другие параметры, которые вы хотите установить.

Если робот хочет посетить страницу на вашем веб-сайте, прежде чем он это делает, он проверяет ваш robots.txt (размещен по адресу www.domain.com/robots.txt с учетом регистра, если вы называете его Robots.TXT, он не будет работать ) и видит, что ваш файл robots.txt содержит следующее исключение:

Пользователь-агент: *

Disallow: /
User-agent: * сообщает роботу, что это правило применяется ко всем роботам, а не только к поисковым системам или роботам Google.

«Disallow: /» сообщает роботам, что запрещено посещать какие-либо страницы в этом домене. При создании файла robots.txt вы должны быть осторожны с параметрами, которые вы устанавливаете, как если бы ваш файл robots.txt был похож на приведенный выше пример, это означает, что ваш сайт не будет сканироваться Google!

Примечание. Некоторые роботы игнорируют ваш файл robots.txt, так как это всего лишь директива, и поэтому все равно будут получать доступ к страницам на вашем сайте. Обычно это злонамеренные боты, которые могут собирать информацию с вашего сайта. Некоторые могут быть вредоносными, даже если вы создадите раздел в своем файле robots.txt, чтобы исключить его из сканирования вашего сайта, так как эти роботы обычно игнорируют ваш файл robots.txt, это будет безуспешно. Блокировка IP-адреса робота может быть вариантом, но поскольку эти спаммеры обычно используют разные IP-адреса, это может быть утомительным процессом.

Зачем нужен файл robots.txt?

Некоторые веб-мастера считают, что, поскольку они хотят, чтобы все роботы могли сканировать весь их сайт, им не нужен файл robots.txt, однако это не так. Ваш файл robots.txt должен содержать местоположение вашей карты сайта, чтобы паукам, особенно поисковым роботам, было легче получить доступ ко всем страницам на вашем сайте. Вам также понадобится файл robots.txt, если вы разрабатываете новый сайт, который LIVE на вашем сервере, но вы еще не хотите, чтобы он был проиндексирован Google. Если вы используете файл robots.txt, убедитесь, что вы понимаете, что вы исключаете из сканирования, так как для сканирования всего сайта требуется всего одна ошибка!

Ограничения Robots.txt

Важно помнить, что использование файла robots.txt в качестве средства защиты и сокрытия конфиденциальной информации является не только плохой практикой, но и может нарушить Закон о защите данных, если информация хранится ненадлежащим образом. Ваш файл robots.txt может быть доступен любому, не только роботу, поэтому, если у вас есть какая-либо информация на вашем сайте, которую вы не хотите просматривать никому, кроме того, для кого она предназначена, тогда самый безопасный подход - это защитить паролем страницу / документ.

  • Инструкции в вашем файле robots.txt являются только директивами
    Инструкции, которые вы объявляете в своем файле robots.txt, не имеют возможности контролировать поведение пауков на вашем сайте, но способны определить, какие сканеры могут и не могут получить доступ к вашему сайту. Однако в то время как законные сканеры, такие как Googlebot и другие поисковые роботы, будут подчиняться правилам, которые вы указали в файле robots.txt, другие сканеры могут просто игнорировать правила в вашем файле robots.txt или вообще не смотреть на них.
  • Синтаксис в вашем файле robots.txt может интерпретироваться разными сканерами по-разному

Важно, чтобы при создании файла robots.txt вы знали правильный синтаксис для обращения к определенным веб-сканерам, так как директивы, которые легко читаются роботом Googlebot, могут не восприниматься другими веб-сканерами, что означает, что они могут не следовать инструкциям, которые вы поставить на место.

  • Директивы в вашем файле robots.txt не помешают ссылкам на ваш URL на других сайтах

Google будет следовать директивам в вашем файле robots.txt, что означает, что любые запрещенные вами файлы не будут сканироваться или индексироваться, однако это не приведет к удалению всех следов вашего URL из Google в целом. Ссылки на ваш сайт на других сайтах, такие как каталоги и якорный текст на других веб-страницах, по-прежнему будут отображаться в результатах поиска Google, поскольку вы не можете вносить изменения на других сайтах с помощью файла robots.txt. Однако, чтобы ваш URL не появлялся в поисковой выдаче Google, вы можете использовать комбинацию методов блокировки URL, таких как защита паролем и добавление метатегов директивы индексирования в ваш HTML, наряду с запретом доступа сканеров в вашем файле robots.txt.

Параметры Robots.txt

У вас есть ряд опций, когда дело доходит до вашего robots.txt и что вы хотите, чтобы он содержал, ниже приведены некоторые примеры, которые могут помочь вам создать свой!

Чувствительность к регистру
Директивы Robots.txt чувствительны к регистру, поэтому, если вы запретите /logo-image.gif, директива заблокирует http://www.domain.com/logo-image.gif, но http://www.domain.com/Logo-Image .gif все равно будет доступен для роботов.

Разрешить всем роботам сканировать весь ваш сайт
Пользователь-агент: *
Disallow:

Исключить всех роботов (вредоносных и Google-ботов) со всего вашего сайта
Пользователь-агент: *
Disallow: /

Исключить конкретного робота из определенной папки / файла на вашем сайте
Агент пользователя: Examplebot
Disallow: / без роботов /

Примечание . У вас может быть только одна папка / файл на строку «Disallow:», если у вас есть более одного места, которое вы хотите исключить, вам придется добавить больше строк Disallow.

Разрешить одного конкретного робота и исключить всех других роботов
Пользователь-агент: Googlebot
Disallow:

User-agent: * Disallow: / исключить конкретного робота Пользователь-агент: SpamBotDisallow: /

Объявление вашей карты сайта в файле robots.txt
Пользователь-агент: *
Disallow:
Карта сайта: http://www.domain.com/sitemap.xml

Примечание . Объявление файла Sitemap должно указывать на абсолютный URL, а не на относительный URL.

Исключить всех роботов из целой папки, кроме одного файла / изображения
Пользователь-агент: *
Disallow: / my-photos
Разрешить: /my-photos/logo.jpg

Robots.txt Директива о подстановочных знаках

Поисковые системы, такие как Google и Bing, позволяют использовать подстановочные знаки в файлах robots.txt, чтобы вам не приходилось перечислять множество URL-адресов, поскольку они содержат одинаковые символы.

Disallow: * мобильный

Приведенная выше директива блокирует доступ сканеров к любым URL-адресам на вашем сайте, содержащим термин «мобильный», таким как:

  • / мобильный
  • / Услуги / мобильной оптимизации
  • / Блог / значение, из-подвижной ррс-торгов
  • /images/mobile.jpg
  • /phone/mobile34565.html

Другая подстановочная директива, которую вы можете использовать в своем файле robots.txt, это символ «$».

Disallow: * .gif $

Примерная директива блокирует сканерам возможность доступа к любому URL, который содержит тип файла «.gif». Подстановочные знаки могут быть чрезвычайно мощными и должны использоваться осторожно, как в приведенном выше примере, подстановочный знак $ будет блокировать любые пути к файлам, которые также содержат «.gif», такие как /my-files.gif/blog-posts.

Тестирование robots.txt с помощью инструментов для веб-мастеров

Если у вас есть аккаунт в Инструментах для веб-мастеров и вы подтвердили свой URL-адрес, вы можете использовать инструмент robots.txt Tester. Используя этот инструмент, вы можете протестировать изменения в вашем файле robots.txt и увидеть влияние, прежде чем вы запустите его. Вы также можете просмотреть предыдущие версии вашего файла и увидеть, какая строка в вашем файле robots.txt блокирует определенную страницу, это может предотвратить ваши ошибки и потерю трафика / дохода.

Вы также можете ввести URL-адрес, чтобы проверить, не заблокирован ли он директивой в вашем файле robots.txt, и легко изменить его соответствующим образом. Этот инструмент можно найти в раскрывающемся списке «Сканирование» в Инструментах для веб-мастеров. Проверьте свой сейчас!

Meta Robots Tag

С точки зрения SEO, если вы хотите запретить Google сканировать определенную страницу на вашем веб-сайте и индексировать ее на страницах результатов поиска, то рекомендуется использовать тег Meta-роботов, чтобы сообщить им, что им разрешен доступ к этой странице, но не показывать это в поисковой выдаче. Ваш метатег роботов должен выглядеть следующим образом и размещаться в разделе <head> вашего сайта:

<meta name = ”robots” content = ”noindex”>

Если вы хотите запретить сканеру индексировать контент на вашей странице и запретить ему переходить по каким-либо ссылкам, ваш мета-робот будет выглядеть так:

<meta name = ”robots” content = ”noindex, nofollow”>

Обзор основных доступных команд мета-меток:

  • Индекс - все поисковые системы могут индексировать контент на этой веб-странице
  • Follow - все поисковые системы могут сканировать внутренние ссылки на веб-странице
  • Noindex - запретит включение указанной страницы в индекс
  • Nofollow - запретит роботам Google переходить по любым ссылкам на странице. Обратите внимание, что это отличается от атрибута ссылки rel = ”nofollow”.
  • Noarchive - предотвращает показ кэшированных версий страницы в поисковой выдаче
  • Nosnippet - предотвращает кэширование страницы и описания, появляющиеся под страницей в поисковой выдаче
  • NOODP - запрещает описание проекта Open Directory для страницы, заменяя описание, заданное вручную для этой страницы
  • Noimageindex - предотвращает индексацию Google изображений на странице
  • Notranslate - запрещает перевод страницы в выдачи Google

Вы можете использовать несколько команд в своем теге meta robots. Если вы хотите запретить кэширование страницы на вашем веб-сайте всеми поисковыми системами, а также запретить замену ваших текущих описаний в Open Directory, используйте следующие команды: noarchive и NOODP. Ваш метатег робот будет выглядеть так:

<meta name = ”ROBOTS” content = ” NOARCHIVE, NOODP “>

Если вы хотите, чтобы сканеры не индексировали эту веб-страницу, а следовали по внутренним ссылкам на этой странице, ваш мета-робот будет выглядеть следующим образом. Это рекомендуемая позиция SEO, потому что, если какие-либо ссылки идут на страницы, которые вы не хотите индексировать, мы все же хотим, чтобы эквити ссылок от ссылки проходило через остальную часть сайта.

<meta name = ”robots” content = ”noindex, follow” />

Meta Robots tag против Robots.txt

В целом, если вы хотите деиндексировать страницу или каталог из результатов поиска Google, мы предлагаем использовать метатег «Noindex», а не директиву robots.txt, как при использовании этого метода при следующем сканировании вашей страницы на вашем сайте. будет деиндексирован, что означает, что вам не нужно отправлять запрос на удаление URL. Однако вы можете использовать директиву robots.txt в сочетании с удалением страницы Инструментов для веб-мастеров для достижения этой цели.

Использование мета-тега robots также гарантирует, что ваш ресурс ссылки не будет потерян, с помощью команды «follow».

Файлы Robots.txt лучше всего подходят для запрета всего раздела сайта, например, категории, тогда как метатег более эффективен для запрета отдельных файлов и страниц. Вы можете использовать как метатег robots, так и файл robots.txt, поскольку ни один из них не имеет полномочий над другими, но noindex всегда имеет власть над запросами «index».

Вернуться в блог

Похожие

Органическое SEO против Маркетинг в социальных сетях: что лучше?
Сегодня среди экспертов по маркетингу идут серьезные споры о том, какую стратегию использовать для развития онлайн-бизнеса - SEO или социальные сети? Часто компания может нанять SEO-эксперта или SEO-агентство для развития своего бизнеса, не замечая при этом влияния социальных сетей. С другой стороны, некоторые решают использовать присутствие в социальных сетях, нанимая менеджера по социальным сетям и концентрируя все свое время на расширении своей аудитории в социальных сетях без
Сколько стоит SEO?
... ств и консультантов SEO варьируются в зависимости от местоположения, количества необходимых услуг, нужна ли вам стратегия или услуги или и то, и другое, и многое другое. В феврале 2017 года опубликовано Credo результаты исследования ценообразования цифрового маркетинга , В этом мы опросили 184 маркетинговых агентств и консультантов по всему миру. Цены агентств и консультантов варьируются
Что такое файл Sitemap и для чего он нужен?
... meta-etiquetas-seo/952"> информация, которую мы даем поисковым роботам через метатеги мы можем заставить поисковые системы не индексировать определенные веб-страницы в результатах поиска. С другой стороны, файл Sitemap полезен для информирования поисковых систем о том, что наш сайт был обновлен новой статьей или страницей. Не пропустите эти статьи: Об авторе
Ultimate Robots.txt Руководство по повышению эффективности сканирования
... tag/"> мета-теги роботов или X-роботы-теги , Если вы не можете их использовать, и директива robots.txt noindex является вашим последним средством, чем вы можете попробовать ее, но предположите, что она не будет работать полностью, вы не будете разочарованы. Примеры файла robots.txt В этой главе мы рассмотрим широкий спектр примеров файла robots.txt. Все роботы могут получить доступ ко всему Существует несколько способов сообщить поисковым
Мобильный поддомен против адаптивного веб-дизайна и SEO
Обновлено 1 мая 2015 г. Готов ли ваш сайт для мобильных устройств? Последнее обновление алгоритма Google было выпущено 21 апреля для компаний, чьи веб-сайты не подходят для мобильных устройств. Если вы не обновили свой сайт, вы могли бы потерять тонны трафика из мобильного поиска. Вы можете прочитать больше об обновлении Google Вот
Joomla! против WordPress: какая платформа подходит именно вам?
Решение о создании сайта легко. Сложнее всего выбрать, какая платформа поможет вам наилучшим образом реализовать ваше уникальное видение. Быстрый поиск в Google покажет, что WordPress а также Joomla! являются одними из самых популярных вариантов системы управления контентом (CMS). Поэтому неизбежно возникает вопрос: «Какой из них мне следует использовать?» В конечном счете, окончательный ответ будет зависеть
Как улучшить свою SEO-аналитику с помощью API
... спользование интерфейсов программирования поисковых систем и специалистов по аналитике может повысить производительность сайта с точки зрения ссылок или даже продаж"> Использование интерфейсов программирования поисковых систем и специалистов по аналитике может повысить производительность сайта с точки зрения ссылок или даже продаж. С точки зрения веб-трафика, данные, доступные для компаний, являются обильными, точными и представляют собой случайное вознаграждение для тех, кто знает,
Что такое изображение и текст для SEO?
5 акций Вы, должно быть, слышали о текстовом термине изображения и, возможно, вам было интересно, что он означает. Или это и почему это так важно для вашего SEO, верно? Если вы только начинаете путешествие в Интернете или вам нужно какое-то напоминание, здесь приведено наше руководство по тексту изображения и тому, как правильно его использовать. Проще говоря, изображение и текст - это слово или фраза, которая лучше всего описывает, что на нем. Вы знаете
Лучшие 10 инструментов проверки обратных ссылок для SEO
Маркетинг вашего сайта бесплатно может быть возможным, если у вас высокая видимость поиска. Наличие хороших обратных ссылок - отличный способ получить более высокий рейтинг, когда дело доходит до SEO. Есть много факторов, которые могут повлиять на SEO сайта, и обратные ссылки являются важными. Обратные ссылки - это когда один сайт ссылается на другой сайт. Если на сайте есть ссылка, которая ведет посетителей на ваш сайт, это может помочь вам получить более высокий рейтинг в SEO. Когда
12 инструментов Google Keyword, которые вы можете использовать
Исследование ключевых слов, несомненно, является наиболее важной частью SEO. Прицельтесь на неправильные ключевые слова, и вся ваша кампания облажалась. Оптимизируйте для правильных условий, и вы выиграете джекпот (если,
Top SEO Интервью Вопросы и ответы для Fresher's
... Robots.txt Мета Робот 13. Что такое плотность ключевых слов, близость ключевых слов, значимость ключевых слов? Плотность ключевого слова - Плотность ключевого слова определяется как количество временных слов, использованных в содержании, на общее количество слов, умноженное на сотню. Ключевые слова / общее количество слов * 100 Ключевое слово близость - близость между ключевыми

Комментарии

»Я думаю, что мы все знаем, что SEO требует времени, но что именно означает« время »?
»Я думаю, что мы все знаем, что SEO требует времени, но что именно означает« время »? Теперь я проведу вас через то, что вы можете ожидать, ожидая результатов SEO в (хорошей) цифровой маркетинговой компании. Что ожидать в вашем первом месяце SEO В первый месяц SEO все ваши самые смелые мечты сбудутся Вы будете плавать в деньгах! А Ferrari у тебя в гараже! Путешествие! ЛОЖЬ Сколько компаний цифрового маркетинга связались
Если это идет вниз, что изменилось, что пропало, и что вы можете сделать по-другому?
Если это идет вниз, что изменилось, что пропало, и что вы можете сделать по-другому? С этого момента , это все о тонкой настройке вашего подхода . У вас есть все знания, понимание, стратегия и инструменты, которые вам нужны. Если вам нужно больше SEO руководств, у нас есть еще один информативный пост в блоге о SEO для начинающих , Любые вопросы? Оставьте
Теперь высокий показатель отказов веб-сайта может быть хорошей вещью, потому что, если ваши посетители сразу же находят именно то, что им нужно, - зачем им торчать?
Теперь высокий показатель отказов веб-сайта может быть хорошей вещью, потому что, если ваши посетители сразу же находят именно то, что им нужно, - зачем им торчать? Фактически для некоторых веб-сайтов, таких как партнерские сайты, они ХОТЯТ высокий показатель отказов, потому что, надеюсь, это означает, что их посетители переходят и переходят на веб-сайт продавца. Высокий показатель отказов - это плохо, когда это означает, что ваши посетители НЕ находят то, что им нужно, на вашей целевой
Так во что верить и что делать?
Так во что верить и что делать? Какие последствия для SEO? Во-первых, для отображения результатов веб-сайты с более длинным описанием, естественно, привлекут больше пользователей, ведь у них уже будет больше информации, что может помочь им при переходе по ссылке или без ссылки. Во-вторых, более длинное описание, это более длинные дисплеи, обратите внимание на ватерлинию * ! Действительно, первые места будут все дороже, описания
Что мне нужно сказать вам, что быть современным профессионалом - непростая задача, особенно когда новости рынка выходят несколько раз в день, не так ли?
Что мне нужно сказать вам, что быть современным профессионалом - непростая задача, особенно когда новости рынка выходят несколько раз в день, не так ли? Я не знаю, начинаете ли вы сейчас или уже немного знакомы с этим районом, также не имеет значения, что вы на самом деле собираетесь сказать, насколько вы любите свой район и за что вы готовы от него отказаться, ? Вы заметите, что работать с SEO-маркетингом - это постоянная проблема. Не потому, что это профессия, которая подвергает вашу
Черт, что ты делаешь, что ты делаешь?
Черт, что ты делаешь, что ты делаешь? ... Черт, что ты думаешь, что ты делаешь?????
Итак, вы знаете, что такое файл журнала, но почему стоит проанализировать их?
Итак, вы знаете, что такое файл журнала, но почему стоит проанализировать их? Дело в том, что существует только одна достоверная запись о том, как поисковые системы, такие как Googlebot, обрабатывают ваш сайт. И это при просмотре файлов журнала вашего сервера для вашего сайта. Поисковая консоль, сторонние сканеры и поисковые операторы не дадут нам полной картины о том, как робот Google и другие поисковые системы взаимодействуют с веб-сайтом. ТОЛЬКО файлы журнала доступа
Обратите внимание на «Nike |» и «| ASOS »в приведенном выше примере не ободрили, что указывает на то, что они исключены из запроса?
Обратите внимание на «Nike |» и «| ASOS »в приведенном выше примере не ободрили, что указывает на то, что они исключены из запроса? В то время как: Каждое слово в запросе выше, включая дефисы, ободряется. Так что если вы опытный пользователь, который может запрашивать названия в больших масштабах, вы можете предпочесть использование дефисов. Кроме того, в видео
И это именно то, что вы хотите и что нужно вашему бизнесу, верно?
И это именно то, что вы хотите и что нужно вашему бизнесу, верно? Это вид прямой рекламы Еще один момент, который демонстрирует гигантскую важность мета-описания, состоит в том, что он состоит из простой, быстрой и простой рекламы. Ваша цель только одна: привлечь потенциальных клиентов на указанный адрес ссылки. Улучшает рейтинг кликов и количество посещений И результат предыдущих тем
Остается вопрос: что мне лучше всего использовать?
Остается вопрос: что мне лучше всего использовать? Давайте посмотрим на некоторые моменты, чтобы сделать вывод. Все инструменты ссылки предлагают базовую Три инструмента предоставляют основные функции для SEO, такие как: ранжирование ссылок nofollow и dofollow, данные социальных сетей (такие как количество акций, лайки, твиты и +1), количество разных доменов, якоря в тексте ссылки. сделать ссылку), оценка обратных ссылок, сравнивая сайт с конкурирующими сайтами.
5. Что бы вы посоветовали людям сказать своим клиентам, когда клиенты спрашивают их, почему они не занимают первое место в Google, несмотря на то, что занимаются SEO?
5. Что бы вы посоветовали людям сказать своим клиентам, когда клиенты спрашивают их, почему они не занимают первое место в Google, несмотря на то, что занимаются SEO? Я бы порекомендовал ему попросить клиента взглянуть на контент, который ранжируется по первой странице ключевых слов, которые вас интересуют. Представьте себе что-то, что в 10 раз лучше. Создать это.

Txt?
Txt?
Сегодня среди экспертов по маркетингу идут серьезные споры о том, какую стратегию использовать для развития онлайн-бизнеса - SEO или социальные сети?
Готов ли ваш сайт для мобильных устройств?
Против WordPress: какая платформа подходит именно вам?
Поэтому неизбежно возникает вопрос: «Какой из них мне следует использовать?
Или это и почему это так важно для вашего SEO, верно?
13. Что такое плотность ключевых слов, близость ключевых слов, значимость ключевых слов?
»Я думаю, что мы все знаем, что SEO требует времени, но что именно означает« время »?
Если это идет вниз, что изменилось, что пропало, и что вы можете сделать по-другому?