поисковый робот яндекса при индексации

Индексация AJAX-сайтов поисковым роботом Яндекса

Все большей популярностью у разработчиков сайтов пользуется технология AJAX. Несомненно, у нее есть широкие возможности – в частности, она позволяет разрабатывать интерактивные веб-страницы, которые выделяются своим быстродействием и производительностью.

Однако то, как содержимое страницы «видит» браузер и пользователь, отличается от того, как страницу «видит» робот поисковой системы. Например, пользователь видит удобный интерфейс с динамически подгружаемыми страницами, в то время как содержимое той же страницы для поискового робота может быть пустым или представленным в виде остального статического HTML-контента страницы, для генерации которого не используются скрипты.

При создании AJAX-сайтов могут использоваться URL с #, но такой URL не используется поисковым роботом. Как правило, часть URL после # отсекается. Поэтому вместо URL вида http://site.ru/#example он обращается к главной странице сайта, расположенной по адресу http://site.ru. Это значит, что контент страницы может не проиндексироваться и, как следствие, не попасть в результаты поиска.

Для улучшения индексации AJAX-сайтов мы поддержали изменения в поисковом роботе и правилах обработки им URL таких сайтов.

Теперь вебмастер AJAX-сайта может указать поисковому роботу Яндекса на необходимость индексации, поддержав соответствующую схему в структуре сайта. Для этого нужно:

В этом случае страница будет проиндексирована поисковым роботом, а в результатах поиска пользователи увидят «правильные» URL – без
?_escaped_fragment_=.

Источник

Некоторые особенности индексации сайта роботами Яндекса

1. Вступление

Яндекс сегодня является самой популярной поисковой системой русскоязычного Интернета, которой каждый день пользуется более миллиона человек. Такая популярность объясняется тем, что база Яндекса содержит огромное количество проиндексированных страниц Интернета, содержащих самую разнообразную и порой уникальную информацию. Вкупе с алгоритмом поиска это приводит к высокой релевантности документов, найденных по запросу пользователя и, в конечном счете, к полному удовлетворению информационной потребности пользователя.

На 17.07.06 Яндексом было проиндексировано 1 058 914 756 веб-страниц. Получение информации с сайтов Интернета и отправка ее в базу поисковой системы – задача специального робота-индексатора. Во многом благодаря высокой скорости его работы на сегодняшний день Яндекс имеет такую обширную базу документов для поиска.

2. История роботов Яндекса

Яндекс появился в 1996 году. Но не в качестве поисковой системы, а в виде нескольких обособленных продуктов. Например, Яndex.Site – программа, производящая поиск на сайте, Яndex.CD – программа поиска документов на сd-диске.

Сама же поисковая система возникла осенью 1997 года. 23 сентября на выставке Softool Яндекс был официально представлен уже в качестве полнофункциональной поисковой системы Интернета. С тех пор объем Рунета непрерывно возрастал, что вынуждало совершенствовать алгоритмы индексирования и поиска информации.

Поэтому в 1999 году был создан новый поисковый робот, который помимо значительного увеличения скорости индексации позволил пользователям искать информацию по разным зонам документа – в URL, в заголовках, в ссылках и т.п.

Сейчас официально анонсировано 11 роботов Яндекса, каждый из которых специализируется на определенной задаче.

3. Роботы Яндекса

Робот каждой поисковой системы имеет свое имя. Например, у Рамблера – «StackRambler/2.0», у Гугла – «Googlebot/2.1». Яндекс в своем составе имеет несколько специализированных роботов, выполняющих строго определенные задачи. Вот каких роботов Яндекса можно встретить:

Кроме того у Яндекса есть группа роботов, которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

В отличие от роботов первой группы, эти роботы не забирают содержимое странички, а фиксируют лишь ответ сервера. Поэтому они делают несколько другой запрос к серверу. Например, посещение робота Dyatel может быть зафиксировано в логах сервера в виде строки следующего содержания:

Как видно, используется директива Head, запрашивающая только лишь заголовки сервера. В данном случае сайт доступен, так как был возвращен статусный код 200 ОК.

Кроме перечисленных роботов, у Яндекса есть так называемый «быстрого робота» – частота индексации им документа больше в несколько раз, чем у обычного робота-индексатора. По заявлению главного редактора компании «Яндекс» Елены Колмановской: «Быстрый робот нужен для индексации актуальных документов, наиболее востребованных пользователями».

Узнать, посещал ли сайт быстрый робот, можно только одним путем – в результатах поиска рядом с адресом страницы сайта должна появиться небольшая приписка, обозначающая, сколько часов назад страницу посетил быстрый робот. Например, «5 часов назад».

4. Процесс индексации документа

Если сайт добавляется впервые, то Яндекс выдаст сообщение:

Если сайт уже посещался роботом-индексатором, то появится сообщение:

Документ http://example.com/ уже проиндексирован и доступен для поиска.
Вы можете посмотреть, какие страницы сайта http://example.com/ доступны в Яндексе к настоящему времени (* страниц).

После добавления нового сайта через форму, его тут же посетит робот Yandex/1.03.003 (compatible; Win16; D). Он определит доступность сайта для индексирования, а также установит, удовлетворяет ли сайт требованиям Яндекса, основным из которых является требование русскоязычности ресурса. Поэтому, как пример, может возникнуть такая ситуация:

Если же все хорошо, то в логах сайта можно будет обнаружить строку:

Видно, что сначала робот обратился к файлу robots.txt чтобы определить, не запрещен ли сайт к индексации. Затем уже обратился к главной странице.

После добавления сайта на странице «Добавить URL» менее чем через два дня сайт посетит робот-индексатор Yandex/1.01.001 (compatible; Win16; I). И еще через некоторое время сайт будет доступен для поиска в Яндексе.

5. Возможные препятствия при индексации документа

Есть несколько причин, препятствующих правильной индексации сайта в Яндексе.

6. Заключение

Следует отметить, что Яндекс индексирует не только документы html. Кроме них доступными для индексации являются документы следующих типов: PDF (файл Adobe Acrobat), DOC (MS Word), RTF (Reach text format). Также Яндекс индексирует сайты, созданные на основе Flash-технологий. А вот Рамблер индексирует только файлы html, htm, shtml, а динамические страницы и flash сайты индексирует плохо.

Просмотреть, в каком виде хранится web-страничка в базе Яндекса, можно следующим образом.

Неиндексация некоторых элементов страницы может быть вызвана несколькими причинами:

Каждому, кто ведет в Интернете серьезный проект, необходимо понимать основные принципы работы роботов-индексаторов поисковых систем. Знание о том, когда робот приходит на сайт, что индексирует, что не индексирует, позволит избежать многих проблем, прежде всего технических, уже на стадии создания сайта и далее – при его сопровождении.

Чтобы не задаваться вопросом, почему в очередной раз сайт пропал из выдачи по некоторому запросу, прежде всего, стоит проанализировать, а что же на данный момент проиндексировал робот на сайте? Не могло оказаться так, что некоторая информация стала недоступна роботу по тем или иным причинам?

Знание основным моментов процесса индексирования документа позволит правильно произвести регистрацию ресурса в поисковой системе и грамотно осуществлять его дальнейшее продвижение, чтобы пользователи всегда находили Ваш сайт на просторах Интернета.

Источник

Как подружить поискового робота «Яндекса» с сайтом на JavaScript

На первый взгляд, у современных поисковиков нет никаких проблем с JavaScript – этот язык программирования используется повсеместно, и все прекрасно индексируется. А в блоге «Яндекса» для вебмастеров еще 4 года назад сообщили, что поисковый робот теперь использует JavaScript и CSS. Это верно, но с оговорками.

О том, какие сложности в продвижении могут возникнуть, если сайт написан на JavaScript, и что с этим делать, мы спросили у нашего проектного директора Александра Белова.

Зачем нужен JavaScript

JavaScript (сокращенно JS) – это популярный язык программирования, который можно по-разному использовать в создании сайтов:

Первые два способа были известны давно, но в последние годы в веб-дизайне наметился новый тренд – не только создание SPA-сайтов, но и полный перевод на JavaScript существующих.

В чем преимущество сайтов на JavaScript по сравнению с обычными сайтами

Развитие одностраничников во многом стимулируется компанией Facebook, которая создала и поддерживает для них специальную библиотеку React.JS. Сейчас это фактический стандарт разработки. Поисковик Google тоже улучшает индексацию SPA-сайтов и анализ их содержания.

— Александр, в чем главное преимущество SPA и зачем они нужны?

У сайта, который полностью написан на JavaScript – так называемого SPA – гораздо больше возможностей, чем у стандартного, сделанного, например, на PHP. В первую очередь это высокая эффективность и способность к увеличению функциональности. Такой код может делать что угодно и как угодно, потому что он выполняется в браузере пользователя, а не на сервере. При этом нагрузка на сам сервер и, как следствие, скорость загрузки сайта минимальные. Это очень важно, особенно для посещаемых ресурсов.

Большинство одностраничников, с которыми нам в «Текстерре» приходилось иметь дело – это наборы модулей на JavaScript, существующих фактически сами по себе. Разработчику достаточно переписать пару-тройку скриптов, чтобы появился практически новый сайт, с другой логикой и функциональностью.

Судя по тому, как идет развитие этой технологии в мире, сайты на JavaScript с использованием React или подобных библиотек – не мода, а долгосрочный тренд.

Важно, чтобы над проектом работала одна группа разработчиков, а не множество разных агентств. Тогда SPA получаются действительно крутыми – с продуманной структурой, логикой и очень быстрыми.

В чем трудности при переходе на JavaScript

В мире нет ничего идеального, совершенного и постоянного. Приобретающие популярность SPA сайты тоже имею свои недостатки. Один из них, причем существенный – это проблемы с поисковиками.

— В чем отличие сайтов на JS от обычных c точки зрения индексации, и почему их не очень любят поисковики?

Проблема в том, что поисковые роботы не видят единой иерархии HTML документов. Если для генерации страниц используется JavaScript, они создаются динамически, по требованию посетителей. Google или «Яндекс» обычно не могут сами сделать такие запросы и видят, в основном, только то, что создано для них статически.

Использование такого рендеринга требует от разработчиков высокой квалификации. Максимум, что сможет любитель – отстроить внутренний ссылочный профиль. В итоге робот начнет индексировать сайт, но высоких позиций ждать не стоит. Реальную структуру воссоздать довольно сложно, и может получиться подобие того, что делают на конструкторах типа Tilda или Wix. Формально какие-то страницы будут проиндексированы, но настоящая поисковая оптимизация невозможна.

Если к разработке сайта на JavaScript сразу не привлечь профессионалов, потом проблемы с индексацией сложно исправить. Многие специалисты вообще отказываются браться за эту работу, потому что шансов на успех очень мало.

Как «Яндекс» (и Google) индексируют SPA

— А как, в реальности, обстоят дела c JavaScript у «Яндекса»?

Действительно, поисковик Google активно развивается в направлении JavaScript и всячески приветствует эту тенденцию веб-разработки. Вероятно потому, что компания всегда выступает за качество и не боится новых технологий.

На мой взгляд, это решение c использованием canonical не очень перспективное. Лучше уж никак, чем такой устаревший способ.

Что нужно делать разработчикам, чтобы JavaScript индексировался «Яндексом»

Сейчас «Яндекс» нормально индексирует обычные сайты, которые содержат небольшие фрагменты кода на JS, но неважно относится к SPA, полностью сделанным на этом языке.

— Как быть разработчикам, чтобы избежать проблем с индексацией?

В отличие от сайтов с кусочками кода на JavaScript, которые давно и успешно индексируется всеми поисковиками, при создании SPA однозначно придется делать рендеринг. Или, как вариант, отказаться от органического поиска «Яндекса».

Но, в первую очередь, нужно задать вопрос заказчику: что он хочет? Сейчас для всех привлекательна тема SPA – считается, что это можно сделать сравнительно быстро и недорого. Но когда они потом приходят в агентства за продвижением, то узнают, в какую лужу сели. Потому что правильный сайт на JavaScript, с нормальной структурой и хорошим рендерингом, стоит дорого. Готов ли заказчик отдать несколько миллионов рублей за сайт с рендерингом или нет?

Если хочется сэкономить миллион на рендеринге, нужно отдать три миллиона (или даже больше) на контекстную рекламу. Потому что без рендеринга в органической выдаче «Яндекса» ничего хорошего не светит.

— Если мы решили, что все-таки нужен рендеринг для SPA, какие могут быть варианты действий?

— А что выбрать – делать на своем сервере или отдать на аутсорсинг?

Окончательное решение – всегда на усмотрение разработчика и заказчика. Но в целом для небольших проектов лучше все-таки аутсорсинг, а свой рендеринг имеет смысл делать только для очень крупных и сложных. В первую очередь – из-за стоимости разработки.

Но есть и хорошая новость – в большинстве JS-фреймворков, на которых пишутся все эти одностраничники, есть встроенная поддержка SSR. Например, она есть в React, Angular и Vue.

Но еще важнее, на мой взгляд, чтобы о реализации рендеринга задумывались на самой начальной стадии создания сайта. И тут я всегда за внутреннюю кухню. Тот, кто делает сам сайт, тот и должен заниматься рендерингом, чтобы обеспечить целостность разработки. Потому что SPA получаются хорошо, только если ими занимается одна группа людей, одна команда.

Бывает поздно, когда вы только начали задумываться о рендеринге уже проблемного сайта, потому что не все можно исправить. Но если сразу все сделать правильно, то к нам в агентство можно обращаться только за продвижением сайта.

Ошибки в настройке индексирования

— Какая самая частая ошибка при организации рендеринга?

Есть одна особенность SPA-сайтов, о которой часто забывают. Многие очень обжигаются на рендеринге, потому что разработчики делают его для пользователей, но практически не оптимизируют для поисковиков. К нам в «Текстерру» нередко приходят и говорят, что есть крутой проект на JS, с нормальным вроде бы рендерингом, но сайт плохо индексируется. Как потом выясняется, там действительно есть продуманная HTML-структура, но работа с «Яндексом» не настроена. Страницы до сих пор отдаются роботу по JS.

Ошибка в том, что разработчики часто смотрят на сайт глазами пользователя, но забывают протестировать, какой контент получает «Яндекс». Только так можно понять реальную картину и настроить индексацию.

Вместо заключения: стоит ли игра свеч

Настроить правильное индексирование сайта, написанного на JavaScript – сложная и дорогая задача. Возможно, что полная стоимость работ по рендерингу будет сопоставима или даже выше, чем разработка самого сайта.

— А вообще, стоит ли игра (переход на SPA) свеч? Если да, то в каких случаях обязательно настраивать индексацию?

Все это имеет смысл, если необходим сайт на JavaScript. О преимуществах SPA мы уже говорили, и других таких технологий пока что не существует. Но каждый, в принципе, решает сам. Часто, когда нужен трафик только от Google, можно просто перенести сайт на новый движок и не тратить лишних денег. Потому что Google уже сейчас отлично поддерживает индексацию с помощью технологии WRS. Ну и «Яндекс» тоже когда-нибудь этому научится.

Если при переходе на SPA или создании нового сайта на JavaScript важно сохранить органический трафик из «Яндекса», других вариантов кроме рендеринга нет. Это сложно, довольно дорого, но обычно оправдывает себя.

Источник

Виды поисковых роботов

Поисковый робот или паук — это специальная программа, предназначенная для сканирования сайтов. Робот, переходя по ссылкам, индексирует информацию и сохраняет ее в базе поисковых систем.

Существует множество видов различных поисковых роботов, каждый из которых выполняет определенную функцию.

Подробнее узнать о поисковых роботах Google можно в официальной справке компании.

Подробнее о поисковых роботах Яндекса можно в официальной справке компании.

При помощи файла robots.txt или мета-тега можно запретить поисковым роботам индексацию определенных страниц. Для этого нужно добавить соответствующие правила, и указать к какому роботу они относятся в директиве User-agent файла robots.txt или атрибуте name мета-тега.

Например, нижеприведенный код в файле robots.txt запрещает роботу Яндекс.Картинок индексировать все изображения.

А этот запрещает главному поисковому роботу Google индексировать страницу, на которой размещен данный тег:

О том, как правильно настроить индексирование сайта, можно узнать в статье.

Ждите новые заметки в блоге или ищите на нашем сайте.

Добавил в закладки, очень полезный материал. Часто бывает нужно указать бота, и приходится лезть в документацию поисковиков.

Скрам, Виртуальный WhatsApp, Складской учёт, BI-аналитика, Резюме встречи и Новые Счета. Рассказываем, что ещё вошло в ноябрьский релиз «Битрикс24.Сиэтл».

Как продвигать мобильные приложения во всем этом многообразии предложений? Команда Friflex совместно с экспертами AppFollow рассказывают, как сделать мобильное приложение заметным в сторах, и зачем нужно ASO.

Альфа-Банк запустил центр исследования клиентского опыта — чтобы с помощью новейших технологий лучше узнать людей.

Лидары могут подстраиваться под дорожные условия: например, видеть машины вдалеке на дороге и распознавать пешеходов на узких улицах.

В ближайшие три года на рынке останутся лишь те, что войдут в экосистемы.

Как я стал самым крупным селлером города. Но ненадолго.

Источник

Индексация страниц и разделов сайта поисковыми роботами Яндекс

Введение

Количество ресурсов, проиндексированных поисковыми системами, постоянно растет. Чтобы ресурс мог попасть в базу поисковой системы, поисковику, как минимум, необходимо сообщить о существовании вашего ресурса. Узнать о нем поисковик может двумя способам:

После этого поисковый робот будет время от времени возвращаться на ваши страницы, обновляя информацию о них. Постоянная индексация ресурса – один из важнейших элементов в работе поисковых систем. От того, каким образом и в каких поисковых системах проиндексирован ваш сайт, будет зависеть конечный результат продвижения в той или иной поисковой системе.

Успешная индексация сайта роботами поисковых систем – это то, чего вы должны обязательно добиться на начальном этапе продвижения. О том, какими способами добиться корректной индексации сайта, какие сложности могут возникнуть при подготовительной работе, а также о том, как устроены поисковые системы, роботы которых будут обрабатывать ваши страницы, пойдет речь в данном мастер-классе.

Процесс индексации мы будем рассматривать на примере поисковой системы Яндекс. Это вполне логично, поскольку пользователей, владеющих русским языком, используют именно эту поисковую системы для поиска необходимой информации.

Роботы поисковой системы Яндекс

Говоря об индексации, прежде всего, следует рассказать о том, кто ее осуществляет непосредственно, то есть о роботах поисковых систем. На вопрос: “а что такое робот поисковой системы и что он делает?”. Яндекс отвечает следующим образом: «Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса».

Обладая знаниями о них, вы с легкостью сможете подготовить ваш сайт для успешной индексации. Индексация сайта происходит следующим образом: роботы-индексаторы посещают страницы и вносят их содержимое в базу документов, доступных для поиска.

Яндекс появился в 1996 году. Но не в качестве поисковой системы, а в виде нескольких обособленных продуктов. Например, Яndex.Site – программа, производящая поиск на сайте, Яndex.CD – программа поиска документов на сd-диске.

Сама же поисковая система возникла осенью 1997 года. 23 сентября на выставке Softool Яндекс был официально представлен уже в качестве полнофункциональной поисковой системы Интернета. С тех пор объем Рунета непрерывно возрастал, что вынуждало совершенствовать алгоритмы индексирования и поиска информации.

Поэтому в 1999 году был создан новый поисковый робот, который помимо значительного увеличения скорости индексации позволил пользователям искать информацию по разным зонам документа – в URL, в заголовках, в ссылках и т.п.

Сейчас официально анонсировано 11 роботов Яндекса, каждый из которых специализируется на определенной задаче.

Процесс индексации документа

Если сайт добавляется впервые, то Яндекс выдаст сообщение:

«Адрес http://example.com успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска».

Если сайт уже посещался роботом-индексатором, то появится сообщение:

«Документ http://example.com/ уже проиндексирован и доступен для поиска.
Вы можете посмотреть, какие страницы сайта http://example.com/ доступны в Яндексе к настоящему времени (* страниц)».

После добавления нового сайта через форму, его тут же посетит робот Yandex/1.03.003 (compatible; Win16; D). Он определит доступность сайта для индексирования, а также установит, удовлетворяет ли сайт требованиям Яндекса, основным из которых является «русскоязычность» ресурса. Поэтому, как пример, может возникнуть такая ситуация:

«Адрес http://www.example.com/ не был внесен в базу Яндекса, так как сайт http://www.example.com/ находится вне доменов стран СНГ, при этом наш робот не смог распознать в нем русский текст».

Если же все хорошо, то в логах сайта можно будет обнаружить строку:

213.180.206.223 — [18/Jul/2006:10:22:08 +0400] «GET /robots.txt HTTP/1.1» 404 296 «-» «Yandex/1.03.003 (compatible; Win16; D)»
213.180.206.223 — [18/Jul/2006:10:22:08 +0400] «GET / HTTP/1.1» 200 2674 «-» «Yandex/1.03.003 (compatible; Win16; D)»

Видно, что сначала робот обратился к файлу robots.txt (его в данном случае просто не существует) чтобы определить, не запрещен ли сайт к индексации. Затем уже обратился к главной странице.

После добавления сайта на странице https://webmaster.yandex.ru/ менее чем через два дня сайт посетит робот-индексатор Yandex/1.01.001 (compatible; Win16; I). И еще через некоторое время сайт будет доступен для поиска в Яндексе.

Управление индексацией

То что Ваш сайт проиндексировался – это еще полдела, гораздо важнее научиться грамотно управлять индексацией. Подумайте, какие бы вы хотели видеть страницы вашего сайта в выдаче поисковых систем: какие из них будут полезны пользователю, а какие из них не несут никакой смысловой нагрузки и используются исключительно как техническая информация, к примеру.

Желательно закрыть от индексации административный раздел сайта, директории /images/ (если она названа таким образом), где хранится графическая информация. Владельцам интернет-маагазинов следует закрыть служебные станицы, например, те страницы сайта, через которые осуществляется непосредственная покупка того или иного продукта и т.д. Приняв данные меры, во-первых, вы будете уверены в том, что роботы проиндексируют именно ту информацию, которая на самом деле важна, во-вторых, облегчите роботу роботам, которые не будут посещать все страницы сайта.

1. Управление индексацией при помощи файла robots.txt

Файл robots.txt является самым популярным инструмент, посредством которого вы сможете эффективно управлять индексацией вашего сайта. Крайне прост в эксплуатации, не требует специальных навыков. По большому счету, нужен только для того, чтобы запрещать индексацию страниц или разделов сайта для той или иной поисковой системы.

2.Основная информация по файлу robots.txt

Файл /robots.txt предназначен для указания всем поисковым роботам, как индексировать информационные сервера.
Синтаксис файла позволяет задавать запретные области индексирования, как для всех, так и для определённых, роботов.
К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию информации роботом поисковой системы или вообще к недееспособности данного файла.

2.1. Содержимое файла robots.txt

Файл robots.txt обязательно включает в себя две директивы: «User-agent» и «Disallow». Некоторые поисковые системы поддерживают еще и дополнительные записи. Так, например, поисковая система Яндекс использует директиву «Host» для определения основного зеркала сайта.

Каждая запись имеет свое предназначение и может встречаться несколько раз, в зависимости от количества закрываемых от индексации страниц или (и) директорий и количества роботов, к которым Вы обращаетесь.
Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.

Запись «User-agent» должна содержать название поискового робота. Пример записи «User-agent», где обращение происходит ко всем поисковым системам без исключений и используется символ «*»:

Пример записи «User-agent», где обращение происходит только к роботу поисковой системы Яндекс:

Робот каждой поисковой системы имеет своё название. Существует два основных способа узнать эти названия:

Названия основных роботов популярных поисковых систем:

Google – «googlebot»;
Яндекса – «Yandex»;
Рамблера – «StackRambler»;
Yahoo! – «Yahoo! Slurp»;
MSN – «msnbot».

Директива «Disallow» должна содержать предписания, которые указывают поисковому роботу из записи «User-agent», какие файлы или (и) каталоги индексировать запрещено.
Рассмотрим различные примеры записи «Disallow».

Пример1. Сайт полностью открыт для индексирования:

Пример 2. Для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»:

Пример 3. Для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, всё содержимое данной директории:

Возможно закрытие от индексации ряда документов и (или) директорий, начинающихся с одних и тех же символов, используя только одну запись «Disallow». Для этого необходимо прописать начальные одинаковые символы без закрывающей наклонной черты.

Пример 4. Для индексирования запрещены директория «dir», а так же все файлы и директории, начинающиеся буквами «dir», т. е. файлы: «dir.htm», «direct.htm», директории: «dir», «directory1», «directory2» и т. д:

Некоторые поисковые системы разрешают использование регулярных выражений в записи «Disallow». Так, например, поисковая система Google поддерживает в записи «Disallow» символы «*» (означает любую последовательность символов) и «$» (окончание строки). Это позволяет запретить индексирование определенного типа файлов.

Пример 5. Запрет индексации файлов с расширением «htm»:

Директива «Host» необходима для определения основного зеркала сайта, то есть, если сайт имеет зеркало, то с помощью директивы «Host» можно выбрать url того сайта, под которым проиндексируется ваш сайт. В противном случае поисковая система выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.

В целях совместимости с поисковыми роботами, которые при обработке файла robots.txt не воспринимают директиву Host, необходимо добавлять ее непосредственно после записей Disallow.

Пример 6. www.site.ru – основное зеркало:

Оформление комментариев в файле robots.txt

Любая строка в robots.txt, начинающаяся с символа «#», считается комментарием. Разрешено использовать комментарии в конце строк с директивами, но некоторые роботы могут неправильно распознать данную строку.

Пример 7. Комментарий находится на одной строке вместе с директивой:

Желательно размещать комментарий на отдельной строке.

2.2 Управление индексацией с помощью мета-тегов

С помощью мета-тегов тоже можно управлять индексацией страниц сайта. Мета-теги должны находиться в заголовке HTML-документа (между тегами и ).

Наиболее полезные МЕТА-теги, которые помогут поисковикам правильно индексировать страницы вашего сайта:

Есть теги, которые непосредственно к индексации не относятся, но выполняют также важную роль дл удобства работы пользователя с сайтом:

Есть еще один мета-тег revisit-after, по поводу использования, которого ходило раньше много слухов, что он может заставить роботы поисковых систем посещать сайт с определенной периодичностью, однако специалисты Яндекс официально опровергли это.

Нет гарантии, что поисковые системы учитывают содержимое мета-тегов, индексируя сайт. Тем более нет гарантии, что эта информация будет учитываться при ранжировании сайта в выдаче. Но мета-теги полезны тем, что при индексации страниц позволяют поисковикам получить необходимую информацию о ресурсе.
Для того, чтобы прописать их не нужно много времени, поэтому старайтесь ввести максимально полную мета-информацию о странице.

Проблемы при индексации страниц

Работая в сфере поискового продвижения сайтов, приходится сталкиваться с проблемами индексирования сайтов поисковыми системами, временных «выпадений» некоторых страниц сайтов, и, как следствие, потерей позиций по ключевым словам. Происходит это, в подавляющем большинстве случаев, из-за ошибок веб-мастеров.

Ведь далеко не все понимают, что, на первый взгляд, даже незначительная ошибка или упущение может привести к «значительным» последствиям – потере позиций в выдаче поисковых систем. Далее будет рассмотрен список проблем, с которыми Вы можете столкнуться при индексации.

3.1 Динамические страницы, идентификаторы сессий.

Проблема. Робот поисковой системы получает одну и ту же страницу с разными идентификаторами сессий. Поисковая система «видит» это как разные страницы. Тоже самое происходит и с динамическими страницами.
Описание. На некоторых сайтах существуют динамические страницы с различным порядком параметров, например index.php?id=3&show=for_print и index.php?show=for_print&id=3.

Для пользователей – это одна и та же страница, а для поисковых систем – страницы разные. Также можно привести пример со страницей сайта: «версия для печати» с адресом, например index.htm?do=print и самой главной страницей index.htm. По структуре и текстовому наполнению эти страницы практически одинаковы. Однако для поисковой системы – это разные страницы, которые будут «склеены», и, вместо, например, продвигаемой главной страницы в выдаче поисковика будет страница «для печати».

Один из видов динамических страниц – страницы с идентификаторами сессий. На сайтах, где принято использовать идентификаторы сессий, каждый посетитель при заходе на ресурс получает уникальный параметр &session_id=. Это парамет добавляется к адресу каждой посещаемой страницы сайта. Использование идентификатора сессии обеспечивает более удобный сбор статистики о поведении посетителей сайта. Механизм сессий позволяет сохранять информацию о пользователе при переходе от одной страницы сайта к другой, чего не позволяет делать протокол HTTP. Идентификатор хранится у пользователя в куки или добавляется как параметр в адрес страницы.

Однако, так как роботы поисковых систем не принимают куки, идентификатор сессии добавляется в адрес страницы, при этом робот может найти большое количество копий одной и той же страницы с разными идентификаторами сессий. Проще говоря, для поискового робота страница с новым адресом – это новая страница, при каждом заходе на сайт, робот будет получать новый идентификатор сессии, и, посещая те же самые страницы, что и раньше, будет воспринимать их как новые страницы сайта.

Известно, что поисковые системы имеют алгоритмы «склейки» страниц с одинаковым содержанием, поэтому сайты, использующие идентификаторы сессий, все же будут проиндексированы. Однако индексация таких сайтов затруднена. В некоторых случаях она может пройти некорректно, поэтому использование на сайте идентификаторов сессий не рекомендуется.

Решение. Что касается динамических страниц, то нужно закрывать страницы «версия для печати» и другие дубликаты в файле robots.txt, либо с помощью атрибута мета-тега noindex. Другое решение — заранее создавать функционал сайта, который бы не генерировал динамические страницы с различным порядком параметров.

3.2 Неверная обработка 404 статуса

Проблема. Ошибки в обработке 404 статуса сервером, когда вместо 404 кода (страница не существует), сервер отдает код 200 и стандартную страницу ошибки.

3.3 Плагиат

Проблема. Размещение материалов сайта на других сайтах, а, как следствие, – «склеивание» и потеря позиций.
Описание. Описание данной проблемы заключено в ее названии, и в современном Интернете всем хорошо известно, что плагиат – это «воровство» контента и «присваивание» авторских прав, а, с точки зрения поисковой оптимизации, – это еще и проблемы с индексацией сайта в виде появления дублей его страниц.
Решение. Решение проблемы здесь одно – письмо с жалобой о нарушении авторских прав, хостеру сайта-плагиатора, предварительно предупредив, конечно, виновного в том, что он поступает незаконно.

3.4 Другие проблемы

Неиндексация некоторых элементов страницы может быть вызвана несколькими причинами:

Заключение

Каждому, кто ведет в Интернете серьезный проект, необходимо понимать, как роботы поисковых систем. Знание о том, когда робот приходит на сайт, что индексирует, что не индексирует, позволит избежать многих проблем, прежде всего технических, уже на стадии создания сайта и далее – при его сопровождении.

Чтобы не задаваться вопросом, почему в очередной раз сайт пропал из выдачи по некоторому запросу, прежде всего, стоит проанализировать, а что же на данный момент проиндексировал робот на сайте? Не могло оказаться так, что некоторая информация стала недоступна роботу по тем или иным причинам?

Знание основ индексирования документа позволит правильно произвести регистрацию ресурса в поисковой системе и грамотно осуществлять его дальнейшее продвижение, чтобы пользователи всегда находили Ваш сайт на просторах Интернета.

Источник