Pinzes.ru SEO блог Богданова Дениса
Я в соц. сетях:
Главная » Статьи » Продвижение сайта » Основы продвижения

Как помочь поисковым роботом лучше индексировать ваш сайт

Добиться качественной индексации сайта- одна из первых задач вебмастера на этапе продвижения сайта. От того, насколько эффективно эта задача решена, зависит затраты на его дальнейшую раскрутку и успешность сайта в целом.
Итак, каким образом мы можем повлиять на качество индексирования сайта:

1. Начинать внутреннюю СЕО оптимизацию проекта для успешной индексации лучше всего с создания карты сайта в формате xml (sitemap.xml). Такой формат представления карты сайта был создан для удобства поисковых систем. В этом файле должны содержаться ссылки на все значимые страницы вашего сайта.


Не включайте в sitemap.xml служебные страницы, страницы с дублирующим содержимым, а также те страницы, которые требуют авторизации для просмотра. Помимо адресов, в sitemap можно указать дополнительную информацию для каждой ссылки. Это lastmod (дата последней модификации страницы), changefraq (частота обновлений страницы), priority(относительная значимость страницы) и некоторые другие.

2. Создание файла robots.txt. Этот файл содержит рекомендации поисковым роботам по индексированию тех или иных страниц сайта. Основными директивами, на которые стоит обратить свое внимание, является allow и disallow (разрешить или запретить индексирование страниц). Помните, что для лучшей индексации сайта необходимо запретить индексирование всех незначащих и содержащих дубли страниц.

Кроме этого, не забудьте указать в файле robots.txt главное зеркало (Host: www.mysite.ru), а также ссылку на карту сайта (Sitemap:http://www.mysite.ru/sitemap.xml). Для крупных проектов, состоящих из нескольких сотен тысяч страниц может быть полезным указать специальную директиву Crawl-delay (Например: Crawl-delay:2). Это задает таймаут между окончанием загрузки одной страницы и началом загрузки другой поисковым роботом, что позволит снизить нагрузку на сервер.

3. Использование мета-тегов для управления поисковыми роботами. Для того чтобы разрешить индексацию страницы достаточно добавить в ее код (в head) <meta name=“robots” content=“index,follow” />

Содержащиеся в content, index говорит о том, что разрешена индексация страницы (для запрета нужно заменить на noindex), а follow означает, что поисковому роботу разрешено переходить по ссылкам на страницах сайта (если нужно запретить, то ставим nofollow)/

При использовании мета-тегов для управления поисковыми роботами стоит помнить, что поисковый робот посещает только те страницы, которые разрешены к индексированию в robots.txt. То есть, если вы запретите индексировать какой-то раздел в robots, а затем разрешите индексацию одной из статей с помощью мета-тегов, то поисковый робот никогда не увидит это разрешение, а значит страница не попадет в индекс.

4. Корректные ответы сервера при запросе страниц. Все существующие страницы должны отдавать ответ сервера 200, а уделенные 404. При использование специальных страниц ошибки 404 убедитесь, что ответ сервера 404, иначе эти несуществующие страницы будут долго болтаться в поисковой выдаче. Кроме этого, если страница меняет адрес и происходит редирект, ответ сервера должен быть 301 (при ответе 302 перемещение страницы считается временный, а значит уделенная страница не выпадет из индекса).

5. Если информация на страницах вашего сайта часто изменяется (например: посетители активно комментируют статьи), то обязательно стоит настроить корректный ответ на запрос поискового робота о последнем обновлении страницы (last-modified). Так поисковый робот будет чаще индексировать ваш сайт.

После того, как вы настроите все необходимо для эффективной индексации вашего сайта, можно переходить к следующим этапам продвижения.

Категория: Основы продвижения | Добавил: admin (05.11.2015)
Просмотров: 732 | Рейтинг: 5.0/1
Всего комментариев: 0
Имя *:
Email:
Буду признателен за плюсик ))). Укажите свой сайт и оставьте комментарий. WWW и Email адреса автоматически превращаются в ссылки!
Код *:
Категории
Меню сайта
Поиск
Статистика
Счетчик тИЦ ип pr Блог в каталоге DMOZ