Использование конструкций, препятствующих индексации. К этому типу ошибок относятся скрипты и флэш, используемые для создания меню (поисковые машины не умеют их индексировать). Также множество проблем приносит использование фреймов. Когда на главной странице открываются три разных html-файла, то неизвестно, какой из них поисковая машина посчитает главной страницей. Использование фреймов существенно замедляет индексацию документа. Однозначно воспринимается поисковыми машинами как спам редирект, т.е. его часто используют владельцы дорвеев. Редирект на стороне сервера не относится к запрещенным технологиям, но также может вызвать проблемы. Например, с учетом внешних ссылок на документ. Динамические страницы также далеко не всегда корректно индексируются поисковыми машинами.

Засорение индекса дубликатами страниц. Это чаще всего происходит при использовании идентификаторов сессии. Они позволяют собирать информацию о поведении посетителей на сайте, но в то же время затрудняют индексацию ресурса. При каждом визите поисковый робот получает одни и те же страницы с разными адресами (из-за идентификаторов) и в поисковой машине копятся дубликаты страниц. В итоге сайт могут пессимизировать либо удалить из индекса большую часть документов. Если на вашем сайте используются идентификаторы, лучше от них избавиться или прописать запрет на присвоение идентификаторов поисковым роботам.

Препятствия индексированию сайта. Такое может произойти, если Ваш сайт очень крупный и содержит тысячи страниц. Так как поисковые роботы за один визит индексируют определенное количество документов, то на их индексацию потребуется несколько визитов ботов и соответственно больше времени. Для решения проблемы можно создать поддомены, например, отдельный поддомен для форума и т.д.. Для каждого поддомена выделяется своя квота индексации и в итоге за один визит обрабатывается больше документов. Другое решение - запретить для индексации малоинформативные страницы. Тогда в индекс попадут только самые интересные для посетителей и поисковых машин документы.

Ручное добавление адреса сайта через соответствующую форму поисковой системы. В этом случае вы сами сообщаете поисковой системе о новом сайте и его адрес попадает в очередь на индексацию. Добавлять следует лишь главную страницу сайта, остальные будут найдены поисковым роботом по ссылкам.

Предоставить поисковому роботу самостоятельно найти ваш сайт. Если на ваш новый ресурс есть хотя бы одна внешняя ссылка с других ресурсов, уже проиндексированных поисковой системой, то поисковый робот в короткие сроки сам посетит и проиндексирует ваш сайт. В большинстве случаев рекомендуется использовать именно этот вариант, то есть получить несколько внешних ссылок на сайт и просто дождаться прихода робота. Чем больше внешних ссылок имеет ваш сайт, тем быстрее происходит его индексация. Добавление сайта вручную может даже увеличить время ожидания робота.

Страницы вашего сайта должны быть доступны по ссылкам с главной страницы не более чем за 3 перехода. Если структура сайта этого не допускает, то сделайте так называемую карту сайта, которая позволит выполнять указанное правило.

Для управления поведением поисковых роботов используйте файла robots.txt. В нем можно явно разрешить или запретить для индексации те или иные страницы. Используйте тег <noindex> - </noindex>, позволяющий закрыть для индексации отдельные части страницы, однако этот тег поддерживается только российскими поисковыми системами.