Вебмастера часто сталкиваются с проблемой, когда страницы неделями не попадают в индекс поисковой системы. Особенно актуальна она в Яндексе – новые страницы в нем появляются значительно позже, чем в Google. А в последнее время Яндекс еще и редко делает текстовые апдейты – 2-3 раза в месяц. В этой статье мы рассмотрим, что влияет на индексацию сайта, как ее можно ускорить и как следить за ней.

Быстрые ссылки:

  • — Что влияет на частоту индексирования сайта поисковым роботом
  • — Как улучшить индексацию сайта
  • — Как следить за индексированием сайта
  • — Как сообщить роботу ПС об изменениях на сайте

Что влияет на частоту индексирования сайта поисковым роботом

— Загруженность сервера, на котором находится сайт (качество хостинга)

Если на сервере находится много других ресурсов, а технические характеристики сервера не позволяют оперативно справляться со всеми запросами робота, робот начинает посещать такой сайт реже. Соответственно, ему потребуется больше времени для включения страниц в результаты поиска.

— Частота обновления сайта в целом

Поисковые роботы анализируют частоту обновления контента на сайте, в результате чего определяют, как часто будут посещать тот или иной сайт.

Чем чаще на сайт добавляется новый контент, тем чаще роботы ПС посещают его.

— Интерес посетителей к сайту (ПФ)

Поисковый робот может пересмотреть политику планирования и посещать сайт чаще, если на сайт регулярно добавляются новые материалы, интересные пользователям (например, новости, статьи):

  • пользователи задерживаются на сайте;
  • переходят по внутренним страницам;
  • добавляют сайт в закладки;
  • делятся материалом в соц. сетях и т.д.

Как улучшить индексацию сайта

Поисковый робот за один визит индексирует определенное количество страниц согласно выделенной квоте, которая зависит от множества параметров сайта. Т.е. даже если робот посетил ваш сайт, это еще не значит, что он проиндексирует и включит в свою базу все страницы сайта. Поэтому очень важно, чтобы робот-индексатор не только посетил ваш сайт, но и включил в свою базу все новые и измененные страницы сайта.

Ниже в статье мы рассмотрим, как заставить робота ПС чаще посещать ваш сайт и при этом увеличить количество страниц, которое за раз может проиндексировать робот ПС, – краулинговый бюджет.

1. Проанализируйте сайт на наличие дублей

Данный пункт поставили первым, так как дубли страниц – одна из основных проблем, которая ухудшает индексацию сайта поисковыми роботами.

Когда на сайте есть дубли, краулинговый бюджет тратится на бесполезные страницы вместо новых страниц или страниц с обновленным материалом.

О том, как найти на сайте дубли, подробно написано в статьях нашего блога:

  • — Дубли страниц. Чем опасны? Как найти и удалить?
  • — Как провести технический аудит сайта

2. Настройте сервер на выдачу правильного HTTP-статуса

Корректная настройка кодов статуса HTTP очень важна для правильной индексации сайта.

Когда робот ПС запрашивает страницу сайта, код статуса предоставляет ему информацию о сайте и конкретной странице:

  • существует страница или нет,
  • настроена ли переадресация,
  • нет ли на стороне сервера ошибки.

Например, код http «404 Not Found» сообщает, что страница по запрашиваемому адресу не существует, а код http «OK 200» сообщает, что страница доступна.

Также рекомендуем настроить заголовок Last-Modified.

Заголовок Last-Modified информирует робота ПС о дате последнего изменения документа. Таким образом, робот-индексатор проверяет на обновление только документы, действительно изменившиеся со времени предыдущего обхода, или новые страницы, не тратя при этом краулинговый бюджет на страницы, которые не менялись.

Подробно о заголовке Last-Modified здесь.

3. Мониторте время отклика сервера и скорость загрузки страниц

Время ответа сервера на запрос браузера напрямую влияет на индексацию сайта.

С учетом сетевых задержек оно должно быть не более 300 мс.

Сервисы по измерению отклика сервера:

Для индексации сайта также очень важна скорость загрузки сайта.

Время загрузки страницы не должно превышать 3-5 секунд.

Сервисы по проверке скорости загрузки:

Увидеть, есть ли недочеты, можно с помощью сервиса Google PageSpeed.

4. Грамотно организуйте структуру сайта

Чем понятней для поискового робота выглядит структура сайта, тем он лучше будет его индексировать.

Рекомендации по структуре сайта:

  • — Уровень вложенности страниц

Любая продвигаемая страница должна быть не дальше, чем в 3 кликах от главной. Это очень важно для индексации, так как поисковому роботу потребуется гораздо меньше времени на индексацию простого и неглубокого сайта, чем на сложный ресурс с запутанной системой навигации.

  • — Реализуйте на сайте хабовые страницы

Хабовые страницы – это страницы, которые содержат ссылки на разделы и подразделы, служащие для навигации пользователей по сайту.

Для того чтобы улучшить индексацию, хабовые страницы необходимо реализовать в один клик от главной страницы сайта.

Что нам даст реализация хабовых страниц:

  • А. Уменьшит уровень вложенности
  • Б. Ускорит индексацию страниц поисковым ботом
  • В. Поможет пользователям легче найти нужный материал

Пример хабовой страницы:

  • — Выводите анонсы на новые страницы на главную сайта

Поисковый робот чаще всего посещает главную страницу сайта. Если на ней будут размещены ссылки на новые страницы или страницы с обновленным контентом, есть большая вероятность, что робот их проиндексирует.

Например:

  • — Реализуйте виджет в сайдбаре последних статей

Еще один хороший способ связать между собой страницы сайта:

  • — Не делайте меню на скриптах и flash

Главным недостатком использования меню на скриптах и flash является то, что поисковые роботы его не видят.

5. Настройте файл robots.txt

Корректно составленный robots.txt позволит исключить возможные проблемы, возникающие при сканировании сайта роботом. Это может значительно ускорить индексацию ресурса в целом.

В файле robots.txt нужно прописать инструкции для роботов поисковых систем: какие страницы сайта индексировать, а какие – нет. В таком случае поисковикам потребуется меньше времени для сканирования сайта.

Например, в robots.txt можно закрыть:

  • служебные файлы и папки CMS;
  • внутренние и внешние дубли (если есть);
  • формы ответа на форуме;
  • технические страницы;
  • файлы, которые не несут пользу для пользователя (например, статистика посещений, страницы с результатами поиска).

Как создать правильный robots.txt?

1. Создайте файл robots.txt в текстовом редакторе.

2. Заполните его в соответствии с правилами. Синтаксис Robots можно посмотреть в рекомендациях Яндекса для вебмастеров.

3. Проверьте файл в сервисе Яндекс.Вебмастер — > Анализ robots.txt.

Скриншот из Яндекс.Вебмастера:

4. Если проверка прошла успешно и ошибок не обнаружено, загрузите файл в корень сайта.

6. Внешние сигналы ссылками

Чтобы ускорить индексацию сайта, рекомендуем привлекать на него роботов ПС с помощью внешних ссылок. Например:

Зарегистрируйте сайт в трастовых каталогах, справочниках и рейтингах (например, Яндекс.Каталог, DMOZ и Каталог Mail.ru);

Размещайте свои статьи на платной основе на сайтах такой же тематики;

Общайтесь на тематических форумах (о крауд-маркетинге подробнее здесь);

Интегрируйте сайт с социальными сетями;

Создайте RSS-трансляцию на сайте;

Размещайте статьи в сервисах социальных новостей;

Работайте с социальными закладками.

7. Пишите качественный и уникальный контент

Качество контента также влияет на скорость индексации сайта. Плохой контент, который не дает полный ответ на запрос пользователя, в котором есть грамматические ошибки, большая плотность ключевых слов, индексируется хуже.

При написании текста важно учитывать, что:

Тексты должны содержать только наиболее важную информацию, полезную посетителям.

Материал должен давать полный ответ на запрос, после прочтения которого пользователь перестанет искать информацию на эту тему.

Акцентируйте внимание на важных нюансах, убирайте «воду» и рассуждения ни о чем.

Тексты должны быть грамотно структурированы (используйте заголовки, подзаголовки, делите текст на абзацы, делайте списки, когда они уместны, и т. д.)

Тексты должны содержать ключевые слова, но в умеренном количестве – избегайте переспама.

Желательно, чтобы уникальность текстов была не ниже 70%, согласно сервису https://advego.ru/plagiatus/ или https://www.etxt.ru/antiplagiat/.

РР°РРµСС