Как удалить устаревший контент из поисковых систем Яндекс и Google

В статье:

  • Зачем удалять устаревший контент

  • Как это сделать

  • Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайт или на улучшение уже выложенного, чтобы поднять его позиции. Очень жалко удалять из поискового индекса страницы, в которые вложено много сил и времени, но иногда это стоит сделать.

    Зачем удалять устаревший контент

    Рассмотрим несколько ситуаций, когда вам может понадобиться удалить устаревший контент:

    Обновления в ассортименте интернет-магазина

    В интернет-магазине с огромным ассортиментом товаров внушительная часть позиций может быть недоступна. Какие-то будут временно отсутствовать на складе, часть снимут с производства или заменят другими. Образуются десятки или сотни неактуальных товарных страниц

    В зависимости от потребностей бизнеса и особенностей технологий может потребоваться удалить их из индекса — временно или навсегда. К примеру, чтобы на них не тратился краулинговый бюджет сайта. Тогда роботы не будут тратить ресурсы на сканирование неактуальных страниц, а сразу пойдут на важные.

    Устаревшие новости и статьи

    Новости по своей природе быстро устаревают. Многие новостные сайты выпускают заметки часто и регулярно, в некоторых СМИ это несколько в час. Из-за этого сайт сильно разрастается. Многие устаревшие новости никогда больше не понадобятся и не принесут трафик — такие можно и удалить.

    Статьи также устаревают. Если советы из материала больше не работают, их можно актуализировать. Если в этом нет смысла, можно поставить редирект на другой материал по той же теме. Но иногда тема уходит в прошлое в принципе, как продвижение в Google+, так что нет смысла дорабатывать статью и не на что ее редиректить. Тогда материал можно удалить.

    Читать по теме:
    Продвижение новостных сайтов в 2021

    Строгое регулирование отрасли

    Есть отрасли, которые строго регулируются законами, к примеру, медицина или финансы. Когда появляются новые законные требования к этим сайтам, приходится добавлять какие-то документы и соглашения, обновлять сайт и менять контент. Иногда нужно срочно что-то удалять, чтобы не попасть на штрафы или даже блокировку.

    К примеру, особые требования к медицинским статьям для широкого круга читателей существовали не всегда, и когда они появились, пришлось добавлять плашки с напоминанием обратиться к врачу, переписывать рекламные материалы, а что-то наверняка и удалять.

    Акции с ограничением по времени

    Многие интернет-магазины делают отдельные страницы к специальным распродажам. К регулярным распродажам типа Черной пятницы страница может понадобиться и через год, но в целом с окончанием акции такие страницы перестают быть нужны.

    Есть мнение, что если клиенты видят закончившуюся распродажу с выгодными скидками, им становится менее интересно покупать товар, поскольку они расстраиваются из-за упущенной выгоды и думают, что теперь переплатят.

    Как удалить устаревший контент

    Удаление контента — это не всегда история о безвозвратном удалении страницы. Есть несколько уровней: можно удалить ее только из индекса, оставив на сайте, тогда пользователи не найдут ее в выдаче, но смогут перейти на нее по ссылкам с других страниц или из закладок. А можно удалить и с сайта — навсегда или временно отправив ее в архив. 

    Некоторые из наиболее распространенных методов удаления устаревшего контента:

    Тег noindex

    Можно не удалять страницу с сайта, а дать роботам сигнал не индексировать ее с помощью тега noindex. Если она уже есть в индексе, при следующем обходе боты должны увидеть тег и убрать ее из индекса. 

    <meta name=»robots» content=»noindex»/>
    Почитать по теме:
    Как составить robots.txt самостоятельно

    Тег noindex можно настроить с помощью SEO-плагинов для CMS, эта функция часто в них встречается.

    Пользователи по-прежнему смогут зайти на страницу, если на нее ведут внутренние ссылки на сайте или если они посещали ее раньше и сохранили в закладках адрес.

    Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот это увидит.

    Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что если вы уберете noindex, она вернется на ту же строчку выдачи.

    Инструмент удаления URL-адресов в Яндекс.Вебмастере

    Можно ускорить процесс удаления из Яндекса. Сначала нужно запретить их индексирование: прописать disallow в файле robots.txt и указать на странице метатег robots с директивой noindex. Это обязательно. При следующем обходе робот увидит эти сигналы.

    Для ускорения процесса в Вебмастере есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите «По URL» и введите адрес. В сутки можно удалять до 500 адресов одного сайта.

    Удаление страницы в Яндекс.Вебмастере

    На этой же странице будут отображаться статусы URL — «В очереди на удаление», «В процессе», «Удалена» или «Отклонено», если не указан запрет на индексирование или если бот получает какой-то другой ответ сервера, кроме 404 Not Found, 403 Forbidden или 410 Gone.

    Чтобы удалить целую группу страниц, нужно выбрать «По префиксу», тогда будут удалены страницы, содержащие в URL указанный шаблон. К примеру, https://site.com/catalogue/ для всех страниц каталога, https://site.com/page? для URL с параметрами.

    В сутки можно ввести до 20 префиксов для одного сайта.

    Есть момент: страницу, запрещенную с помощью disallow, все равно могут проиндексировать, если на нее будут ссылаться другие страницы сайта. Бот может решить, что раз есть ссылки, то страница важна.

    Инструмент удаления URL-адресов Google Search Console

    У Google тоже есть такой инструмент — это «Инструмент удаления URL» в консоли Google.

    Инструмент в Google Search Console

    Он позволяет временно удалить URL-адрес или адреса по вашему выбору.

    Можно удалить все URL с определенным префиксом. Например, удаление site.com/products/ приведет к удалению всех других URL-адресов с /products/ в пути URL:

    • site.com/products/alarm-clocks/
    • site.com/products/house-plants/
    • site.com/products/flasks/

    Также можно удалить только кэшированную версию URL или ее фрагмент — тег заголовка и описания, которые отображаются в результатах поиска. Это может быть полезно, если в этих фрагментах цены, телефоны или предложения, которые поменялись, и вам нужно быстро изменить отображение страницы.

    Работа с инструментом

    301 или 302 редирект

    Еще вариант — настроить со страницы перенаправление на другую. К примеру, если производство одного вашего продукта остановлено на неопределенный срок, можно настроить редирект на страницу с аналогами. Это позволит не терять пользователей, а предложить им другое решение, к тому же страница не выпадет из поиска. Когда товар снова появится в наличии, редирект нужно просто удалить.

    Также и с информационными страницами: если статья нетрафиковая или потеряла актуальность, можно перенаправлять пользователя на другую по той же теме.

    Почитать по теме:
    Как настроить 301 редирект самостоятельно

    Удаление страницы с сайта

    Другое быстрое решение — просто удалить страницу с сайта, если она не нужна. Если робот получит 404, 403 или 410 HTTP-код ответа сервера при обращении, он исключит ее из индекса.

    Если удаляете страницу, на других страницах сайта удалите или замените и ссылки на нее, чтобы пользователи на натыкались на недоступную страницу по ссылкам с другого контента или из закладок.

    Если страница сейчас получает трафик, имеет потенциал для получения трафика в будущем или приносит хорошие обратные ссылки, лучше все-таки не удалять ее, а настроить редирект на другую.

    Почитать по теме:
    Настройка отслеживания 404 ошибок с помощью Google Tag Manager
    Чем вредят сайту битые ссылки? Поиск и способы исправить

    Не удаляйте вообще

    В некоторых случаях можно не удалять неактуальную страницу, если она будет нужна через какое-то время. Когда дело доходит до регулярных распродаж, таких как Черная пятница, разумным решением может быть просто оставить страницу активной на неопределенный срок, разместив на ней сообщение о том, что распродажа начнется через «xxx месяцев или дней». Тогда не придется каждый раз развивать новую страницу, а старая будет прокачиваться со временем.

    Пример — страница Черной пятницы на сайте Argos. В январе 2021 года она работает и занимает место на первой странице Google по запросу «распродажа в черную пятницу», хотя акция начнется в ноябре.

    Пример страницы для ежегодной распродажи

    Ненадежные способы

    Для удаления страниц из индекса поисковых систем иногда используют канонические теги, но их лучше использовать для отметки похожего контента, а не устаревшего. Нет гарантии, что поисковые боты будут обращать внимания на канонический тег, часто они принимают свои решения о показе страницы.

    Кто-то использует указания об индексировании в файле robots.txt, но этот файл боты Google воспринимают как рекомендации, а не как правила. Если использовать robots.txt для удаления страниц из индекса, то в совокупности с другими способами.

    Метод, который вы выбрали для удаления контента из индекса поисковых систем, должен зависеть от ценности контента и от того, на какой срок вы хотите его удалить — навсегда или временно. Выбирайте с умом!

    На основе статьи «How To Remove Outdated Content From Search Engines» Joe Johnson

    Автор:

    Елена Жмурина

    Теги поста или какие разделы почитать еще:

    Источник: pr-cy.ru

    Ссылка на основную публикацию