Дубли страниц это случай, когда по разным адресам сайта открывается одна и та же страница, или страницы практически с идентичным содержимым. Это приводит к сложностям индексирования поисковыми машинами, ведь в поиске может принимать участие только один экземпляр таких страниц. Перед роботом встает задача выбрать главное зеркало среди множества одинаковых страниц. Почему возникает дублирование страниц?
Технические ошибки в работе сайта
Чаще всего дублирование происходит из-за технических особенностей работы той или иной системы управления, или ошибок программистов.
- Недостаточный контроль наличия или отсутствия слеша в конце адреса страницы, например, site.рф/news и site.рф/news/;
- Использование переменных в запросах, например, site.рф?action=news&id=123, этот адрес можно переписать site.рф?id=123&action=news это разные адреса, но страница будет одна и та же;
- Ошибки в структуре сайта, например, в магазине товар может принадлежать разным категориям товара, соответственно страница товара может открываться по разным адресам, например, site.рф/каталог/гаражное-оборудование/подъемник1 и site.рф/каталог/подъемники/подъемник1;
Ошибки наполнения контентом
Ошибки наполнения чаще всего возникают в магазинах, когда товар имеет схожие параметры и характеристики, отличается, например, размером или цветом, но имеют разные адреса страниц.
Естественное дублирование
Такой вид возникает сам по себе, например, site.рф и site.рф?что-то=чему-то в этом случае программа сайта как правило не контролирует паразитные параметры в адресе. Конечно робот поисковой системы сам не сочинит такого рода запрос, но если где-то в Сети от встретит ссылку на ваш сайт в таком виде, то он получит дублирование при сканировании. Такое встречается очень редко и решить ее довольно сложно.
Как бороться с дублированием
В первую очередь нужно начать с технического аудита системы управления сайтом или фреймворка которые предполагается использовать для создания сайта. Если такие ошибки заложены в самой структуре, то лучше отказаться от таких систем. Использовать только те системы, в структуре которых использование человекопонятных адресов заложено в саму структуру. Мы используем Zend Framework 3 в котором используется строгий маршрутизатор, исключающий техническое дублирование. Многие, например, «Битрикс» тянут в себе грехи многолетней давности, которые пытаются скрыть запретом индексации в файле robots.txt, однако недавно Гугл изменил правила работы с этими запретами, и в итоге запрещенные к индексации страницы могут быть просканированы, что приведет к дублированию.
Если убрать дублирование невозможно, то на помощь может прийти специальный метатег «canonical» в котором можно указать адрес каноничной страницы, в этом случае робот сразу поймет все, правда использовать его может быть затруднительно.
Если вы хотите разработать интернет-магазин с множеством сходного товара, то вам перед разработкой нужно решить проблему с интеграцией с 1С или аналогичной системой, т.к. из-за особенностей бухгалтерского учета однотипный товар, это отдельные объекты учета. На помощь может прийти все тот же метатег «canonical», однако коробочная версия бухгалтерской программы выгружает все как есть, для решения проблемы потребуется помощь стороннего программиста бухгалтерской программы. Специалисты студии "Мастер Флеш" нашли простое решение для 1С, правда наполнять каталог товаром стало немного сложнее.
