владелец сайта предпочел скрыть описание страницы что делать
Владелец сайта предпочел скрыть описание страницы WordPress
2016-09-05 / Вр:10:03 / просмотров: 8429
Один из заказчиков обратился ко мне за помощью. Заметил он, что после установки и настройки WordPress через некоторое время в поиске Яндекс он увидел текст «Владелец сайта предпочел скрыть описание страницы»:
Птичку с пункта « Видимость для поисковых систем » я убрал. Подождал недельку. В поиске Яндекс и в Гугле сайт стал отображаться:
Я, конечно, могу ошибаться в том, что проблема была именно из-за отмеченного пункта « Видимость для поисковых систем ». Поэтому прошу всех, у кого из вас по непонятным причинам в поиске Яндекса все еще виден текст «Владелец сайта предпочел скрыть описание страницы», и вы используете WordPress, воспользуйтесь моим советом и отпишитесь в комментариях, помог ли он или нет.
Жду комментариев!
Владелец сайта предпочел скрыть описание страницы что делать
Умный фильтр — стандартный функционал 1С-Битрикс. В него вы выводите свойства, по которым пользователи могут фильтровать товары. Такие страницы могут попадать в индекс. Например, страница раздела «Одежда», где в свойстве «Бренд» выбрано 3 поля. Такая страница попадет в индекс и будет доступна по соответствующему запросу. Но вряд ли пользователь введет такой поисковый запрос. Поэтому роботы начнут считать такую страницу «мусорной». А это может негативно сказаться на продвижении. Чтобы такая ситуация не возникала, вы можете скрыть страницы из индекса. В этом поможет функционал — SEO контроль индексирования.
Чтобы закрыть страницы от индексирования, перейдите в Аспро (1) → Аспро: Max (2) → Умный SEO (3) → SEO контроль индексации (4).
Создайте правило, по которому будете закрывать страницы.
Сохраните изменения, чтобы появился блок действий.
Добавьте новое действие.
Нужно выбрать тип действия «Закрыть от индексации страницы фильтрации» (1). Затем выберите условие (2):
После выбора условия появится поле, чтобы вписать значение. Сохраним наш пример.
То есть, у нас выбраны все подразделы одежды. И задано условие: закрыть от индексации страницы, где значений в свойстве больше 3. Переходим в публичную часть сайта и выбираем 4 свойства фильтра. 
Теперь посмотрим код этой страницы. Она скрыта от индексации.
Владелец сайта предпочел скрыть описание страницы
Как скрыть страницу/запись от поисковых систем?
Способ 1. Плагин Yoast SEO
Наиболее простым способом скрытия от индексирования контента является использование мощного SEO-плагина Yoast SEO. Итак, после его установки и активации, в админ-панели необходимо открыть запись или страницу на редактирование и найти там блок Yoast SEO, где выбрать раздел Дополнительно.
После перехода в раздел Дополнительно Вам откроется окно дополнительных параметров для выбранной записи/страницы.
Тут нас интересуют два поля: Meta robots index и Мета-тег robots follow. В первом поле нужно выбрать значение noindex, а второй поставить в положение nofollow.
После нажатия кнопки Обновить новые параметры страницы/записи вступят в силу.
Способ 2. Файл robots.txt
Этот способ предполагает редактирование конфигурационного файла robots.txt, специально предназначенного для поисковых систем. Итак, пусть мы хотим скрыть от индексирования запись, имеющую следующий адрес:
Для этого в файл следует добавить следующие строки:
Первая строка указывает, что наши намерения скрыть страницу распространяются на все поисковые системы. Во второй строке мы собственно и сообщаем, адрес какой конкретно страницы/записи необходимо скрыть. Заметим, что тут не указывается адрес сайта, так как для robots.txt он уже известен. Единственным недостатком такого метода является то, что не все поисковые системы следуют заданным в нем правилам.
Способ 3. Установка пароля
Еще одним способом запрета индексации страницы или поста является установка на них пароля. Это означает, что для просмотра контента нужно ввести заданный заранее пароль. Этот метод рассматривать не будем, как он детально был описан в одной из наших статьях.
Скрытие страниц и WordPress записей на сайте, плагин WP Hide Post
Иногда бывают ситуации, когда нужно на сайте с Вордпресс скрыть страницы или записи: временно / навсегда / от незарегистрированных юзеров и т.п. Рассмотрим несколько вариантов как это можно сделать. Плюс заодно расскажу об одном простом интересном плагине WP Hide Post.
Ранее в блоге у меня уже была заметка о том как убрать пункты меню в WordPress админке, но сегодня речь пойдет о фронтенде, то есть о видимости тех или иных элементов для посетителей вашего веб-проекта. Кстати, если требуется спрятать виджеты в определенных местах сайта, посмотрите модуль Widget Logic.
Все необходимые нам настройки находятся в блоке «Опубликовать» (Publish), который обычно располагается справа от текстового редактора. Здесь есть параметры «Видимость» и «Статус».
Чтобы поменять какую-то опцию кликаете по ссылке «Изменить» и выбираете новое значение. После нужно обязательно сохранить эти правки. Разберется даже абсолютный новичок.
Полностью скрываем записи и WordPress страницы
Данный подход позволяет:
Для этого в параметре «Статус» выбираем вариант «Черновик» и жмем «Обновить».
Соответствующая статья будет переведена в черновой вариант, и надписи в блоке слегка изменятся. Просматривать содержимое сможет только залогиненый админ или тот, кто создавал данную публикацию. Чтобы вернуть ее обратно на сайт надо будет кликнуть «Опубликовать».
Также для скрытия страниц в Вордпресс допускается массовое редактирование:
Отмечаете несколько заметок, и устанавливайте им выбранный статус одновременно. Здесь же над списком статей увидите ссылку «Черновики», позволяющую отобразить их все сразу.
Страницы / посты для зарегистрированных пользователей, по паролю
Теперь попробуем скрыть записи в WordPress от всех, кто не залогинен на сайте. То есть чтобы увидеть приватные тексты люди должны войти под своим логином/паролем. В противном случае по ссылке им будет выводиться 404 ошибка. Разумеется, ограничение не распространяется на администратора. Для реализации задачи в параметре «Видимость» выбираете пункт «Личное».
Если же хотите установить специальный пароль для прочтения статьи, кликаете по варианту «Защищено паролем» и вводите определенное значение. После этого на сайте посетителю нужно будет ввести пароль чтобы получить доступ к содержимому. Не забудьте нажать кнопку «Обновить» после задания настроек.
Кстати, вариант выше — не единственный способ показать определенным пользователям скрытую информацию. Есть еще плагин Public Post Preview для просмотра черновиков — он генерирует временную ссылку, по которой любой человек сможет увидеть его содержимое (если знает URL).
Как скрыть страницу в WordPress меню
Иногда в проекте требуется убрать ту или иную ссылку из меню, но чтобы она при этом была доступна по прямому адресу (черновики не подходят). Задача возникает в тех шаблонах, где настроен автоматический вывод всех ваших новых страниц.
В данном случае вопрос решается через создание нового Вордпресс меню, где вручную добавляете нужные пункты.
Редактирование навигации производится в разделе «Внешний вид» — «Меню». Затем сохраняете ее. Для отображения на сайте используйте соответствующий виджет или функцию wp_nav_menu.
WP Hide Post — дополнительные опции видимости в WordPress
Модуль внедряет парочку интересных фишек, позволяющих скрывать статьи и WordPress страницы в тех или иных ситуациях. По умолчанию система сразу добавляет все записи блога на главную или архивы, но иногда хочется этого избежать, а оставить их доступными лишь по прямой ссылке. В таких случаях и пригодится WP Hide Post — он позволяет реализовать задачу через админку.
Важно! После установки WP Hide Post надо перейти в его настройки и во вкладке General определить типы публикаций, для которых будут актуальны новые функции видимости.
Плагин обновлялся полгода назад (рассматриваю версию 2.0.10) и, если честно, некоторые из последних комментариев говорят об определенных проблемах (хотя не всегда это правда). Число в 50к активных загрузок и оценка 4,5 свидетельствует о том, что все весьма неплохо, хотя здесь имеются 4 нерешенных бага. Тестировался модуль до версии WP 4.8.5.
Итак, после того как добавили соответствующее разрешение в настройках WP Hide Post, переходим на страницу редактирования постов. В самом низу появится блок «Visibility»:
Вы можете скрыть записи в WordPress на/в:
Также при желании допускается удаление линка на предыдущие/следующие публикации в head вашего HTML кода. Все настройки задаются для конкретной заметки. Также важно, что при этом прямая ссылка будет работать + она корректно отображается в карте сайта, например, Google XML Sitemaps и других.
Для скрытия страниц в Вордпресс опций чуть меньше:
При этом в sitemaps.xml они также сохраняются.
Таким образом, плагин WP Hide Post позволяет добавлять на сайте «специфический» и SEO контент, который не выводится на главной, архивах, в меню, но остается доступным по прямым ссылкам. Отдаленно по назначению он смахивает на решения для удаления категорий WordPress из RSS и главной — Exclude categories и Ultimate Category Excluder.
Если у вас остались вопросы по скрытию страниц в WordPress или есть что рассказать, пишите ниже.
Как скрыть от поисковых систем часть контента на странице (текст, часть страницы, ссылки)? И зачем?
На некоторых сайтах имеет смысл скрыть часть контента от поисковых систем.
Как скрыть часть контента на страницах сайта от роботов поисковых систем?
Для каких целей следует скрывать содержание?
Разберемся с вопросами далее.
Зачем скрывать контент сайта от индексации?
Контент на сайте скрывается от поисковых систем для достижения различных целей.
Если скрыть часть контента от поискового краулера, то алгоритмы ранжирования обработают не всю страницу, а лишь ее часть. В результате поисковый оптимизатор может извлечь выгоду.
Если от поисковых систем часть сайта скрывается, то для пользователей весь контент остается полностью видимым.
Итак, какой контент имеет смысл скрывать и зачем? Например:
Например, поисковые системы пессимизируют сайты с реферальными ссылками. Такие сайты зарабатывают на партнерских отчислениях. С точки поисковых систем таких как Google подобные сайты не несут никакой дополнительной ценности для пользователя, а значит и не должны находиться среди лидеров поиска.
Если реферальные ссылки скрыть, проблем не будет.
Как скрыть от поисковых систем часть страницы?
На практике скрыть контент сайта от индексации можно используя разные способы.
Наиболее распространенным способом по скрытию текста от поисковых систем является использование подгрузки текста по параметру в хеш-ссылке. Исходя из заявлений Google, протокол HTTP/HTTPS не был разработан для такого использования, поэтому при использовании данного метода индексация не происходит.
Наиболее распространенным способом по скрытию ссылки от поисковых систем является использование контейнера div при создании ссылки.
Но что делать, если речь идет о создании системы для скрытия контента?
Какую технологию использовать? Основные требования следующие:
Рекомендованный материал в блоге MegaIndex по теме обновления краулера по ссылке далее — Google обновил поисковый краулер. Что изменилось? Как это повлияет на ранжирование?
Все приведенные способы основаны на принципах работы поискового краулера.
Но лазейка все еще есть. В результате обновления стала известна информация о принципах работы поискового краулера, используя которую можно сделать выводы о том, какие именно технологии поисковый робот не поддерживает, а значит не передает в систему ранжирования.
До начала этапа ранжирования происходит ряд процессов.
Весь процесс обработки информации до этапа ранжирования выглядит так:
После рендеринга происходит передача данных в систему ранжирования.
Если после рендеринга часть документа отсутствует, значит данная часть документа не будет участвовать и в ранжировании.
Теперь требуется разобраться с тем, какую технологию пока еще не поддерживает движок рендеринга. Применяя такую технологию на практике можно скрывать часть содержания страниц сайта от поисковой системы.
Итак, скрыть любую часть страницы от поисковой системы можно используя так называемые service workers.
Что такое сервис-воркеры? Сервис-воркеры — это событийный управляемый веб-воркер, регистрируемый на уровне источника и пути. Сервис-воркер может контролировать сайт, с которым ассоциируется, перехватывать и модифицировать запросы навигации и ресурсов.
Да, я вижу ваши лица. Подождите пугаться.
Если упростить, то сервис-воркером является программируемый сетевой проксификатор.
Иными словами, применяя сервис-воркер можно контролировать контент, который передаются пользователю.
В результате применения сервис-воркеров контент может изменяться. Поисковая система же обрабатывает такие корректировки, так как не поддерживает выполнения таких скриптов.
Почему метод эффективен в применении на практике? Сервис-воркеры поддерживаются всеми популярными браузерами и не поддерживаются движком рендеринга поисковой системы Google, через который данные передаются в систему ранжирования.
Следующие браузеры поддерживают сервис-воркеры:
Вопросы и ответы
Есть ли официальные заявления о том, что Google действительно не поддерживает сервис-воркеры
Да, такие заявление являются публичными и есть на видео.
Зачем нужны сервис-воркеры?
На сайтах серивс-воркеры используют для разных целей. Например, для адаптации сайта под ситуацию с прерванным доступом к интернету.
Если интернет пропал, то при использовании сервис-воркеров сайты могут вести себя как приложения на мобильных устройствах, то есть отдавать уже скачанный контент и сигнализировать о необходимости подключения.
На практике сервис-воркеры используются еще и для кеширования изображений.
Еще используя сервис-воркеры можно сохранять данные заполненных форм и отправлять их в интернет при появлении подключения. Для реализации используется Background Sync API. Цепь следующая:
Еще сервис-воркеры вместе с Content-Length и Range можно использовать для загрузки больших файлов частями. Например, так можно защищать видео от копирования.
Еще сервис-воркеры используются для отправки push уведомлений.
Кстати, сервис-воркеры продолжают работать даже когда окно браузера закрыто.
Кто использует сервис-воркеры?
Например сервис-воркеры используются на таких сайтах как:
Как скрыть весь сайт от поисковых систем?
В редких случаях сайты полностью могут быть закрыты от поисковых роботов. Например так защищают площадки от Роскомнадзора при продвижении сайтов различных спортивных тематик. Если стоит задача скрыть всю страницу или весь сайт от конкретных роботов, то наиболее эффективный способ заключается в запрете индексации на уровне сервера. Рекомендованный материал в блоге MegaIndex по теме защиты сайта от парсинга различными роботами по ссылке далее — Эффективные способы защиты от парсинга сайта.
Кстати, краулер MegaIndex индексирует больше ссылок за счет того, что для робота MegaIndex доступ к сайтам не закрыт.
Почему так происходит? Поисковые оптимизаторы используют различные плагины для того, чтобы закрыть ссылки от таких сервисов как SEMrush, Majestic, Ahrefs. В таких плагинах используются черные списки. Если вести речь про глобальный рынок, то MegaIndex является менее расхожим сервисом, и поэтому часто краулер MegaIndex не входит в черный список. Как результат, применяя сервис MegaIndex у поисковых оптимизаторов есть возможность найти те ссылки, которые не находят другие сервисы.
Еще выгрузку ссылок можно провести посредством API. Полный список методов доступен по ссылке — MegaIndex API. Метод для выгрузки внешних ссылок называется backlinks. Ссылка на описание метода — метод backlinks.
Пример запроса для сайта indexoid.com:
Пример запроса для сайта smmnews.com:
Выводы
С обновлением Googlebot скрыть ссылки, текст и другие части страниц сайта от поисковой системы стало сложнее, но лазейки есть. Поисковый движок рендеринга по прежнему не поддерживает сервис-воркеры.
Используя service workers с запросами можно проводить следующие манипуляции:
Итак, в результате при необходимости поисковый оптимизатор может:
Схема одного из интересных трюков выглядит так: