Новая SEO-директива robots.txt от всеми любимого Яндекса

Яндекс продолжает лидировать на поисковом рынке Рунета и в очередной раз доказывает нам, что он готов так или иначе частично сотрудничать с оптимизаторами, введя директиву Clean-param во всем известный файл robots.txt. Директива имеет название Clean-param и служит для управления работой поисковика – какие страницы с параметрами динамического характера не нужно индексировать.

Новая директива Clean-param позволяет показать поисковому роботу Яндекса, какие динамические страницы, динамические параметры которых не влияют на их содержимое не нужно индексировать. А мы знаем, что динамическими параметрами страниц и целого сайта может быть идентификатор сессии, пользовательский ID или реферральский.

Например, Ваш сайт использует параметр ‘ref=’ для отслеживания источника трафика, приходящего на страницы Вашего сайта. В этом случае ссылки, при заходе на этот сайт будут выглядеть таким образом:

• www.domain.ru/some_dir/get_book.pl?ref=site_1&book_id=123
• www.domain.ru/some_dir/get_book.pl?ref=site_2&book_id=123
• www.domain.ru/some_dir/get_book.pl?ref=site_3&book_id=123

Переходы пользователя по каждой из этих ссылок загрузят одну и ту же страницу с одним и тем же контентом, а параметр ref=site_1 лишь позволяет отследить, с какого источника поступил запрос. Таким образом, директива Clean-param позволяет сказать Яндексу, что это идентичные страницы и переиндексировать вновь и вновь их не следует, что позволяет значительно сократить время, затрачиваемое роботом на обход этих страниц, что естественно повышает качество индексации остальных наиболее важных страниц.

Был даже проведен опрос нескольких специалистов по оптимизации и продвижению сайтов по поводу пользы новой директивы robots.txt для Яндекса, и все они в конечном счете сошлись во мнении, что польза директивы не вызывает сомнений для очень многих сайтов, ведь теперь вебмастера смогут почистить форумы от ненужных страниц в индексе и сократить число индексированных страниц, оставляя только самые важные, что ускоряет не только работу самого поискового робота но и улучшает индексацию остальных страниц.

Ознакомьтесь с формой типового договора Российской Корпорации Поисковой Оптимизации корпорация | спецпредложения | аудит сайта | seo | реклама сайта | оптимизаторы сайтов | раскрутить сайт | форма заказа | раскрутка сайтов новости 2 | контакты