Интервью с представителями Яндекса и Рамблера

Рамблер

Я считаю, что современные тенденции развития поиска — это, во-первых, персонализированный поиск, а во-вторых, взаимопомощь тех, кто ищет. Пару лет назад мы в Рамблере внедрили разработку, которая позволяет данным посещаемости страниц Тор 100 влиять на ранжирование результатов поиска. То есть при поисковом запросе первая пятерка Тор 100 по запрошенной тематике выходила в результатах поиска на первые места. Мы ранжировали сайты по посещаемости. Это был только первый шаг. Затем мы стали учитывать коэффициент посещаемости при ранжировании. Если данный коэффициент приближается к нулю, значит, сайт никому не интересен, а если число близко к миллиону — страница очень популярна и авторитетна.

КП: Насколько эффективно поисковая машина противодействует недобросовестной «профессиональной оптимизации» сайтов?
Рамблер: Рамблер не ставит своей целью кому-либо противодействовать. Мы делаем свою работу — успешно ищем документы. Наша задача — угодить пользователю, чтобы он возвращался к нам вновь и вновь. Именно для этого мы настраиваем поисковые алгоритмы таким образом, чтобы пользователь попадал на хорошие ресурсы.
КП: Какие советы вы можете дать разработ¬чикам Web-страниц для более уверенной индексации сайтов в вашей поисковой системе?
Рамблер: Совет один — создавайте хорошие сайты для людей

Яндекс

КП: Насколько эффективно поисковая машина противодействует недобросовестной «профессиональной оптимизации» сайтов?
Яндекс: Как записано в «Лицензии на использование поисковой системы Яндекса», «Яндекс понимает релевантность как наилучшее соответствие интересам пользователей, ищущих информацию, что в общем случае может не совпадать с интересами авторов сайтов». Эвфемизм «недобросовестная профессиональная оптимизация» скрывает за собой некрасивые действия — поисковый спам, то есть ухудшение результатов поиска для пользователя. Поэтому мы вынуждены бороться со спамом. Насколько успешно мы это делаем, оценивать уже не нам, а пользователям.
По статистике многих поисковых систем, доля спама среди новых страниц за пару последних лет выросла вдвое, но в результатах поиска доля спама увеличивалась гораздо медленнее. Яндекс использует как автоматические методы обнаружения и запрета спама, так и ручные (обработка жалоб). Конечно, автомат вылавливает в 5-10 раз больше спама, чем это могут сделать люди. Зато люди находят образцы новых видов спама, на которых разработчики тренируют автомат и совершенствуют методики отлова.
КП: Какие советы вы можете дать разработчикам веб-страниц для более уверенной индексации сайтов в вашей поисковой системе?
Яндекс.: Вот несколько простых советов:
* если при создании сайта вы используете JavaScript и Flash, то подумайте и о
пользователях со старыми браузерами, то есть не поленитесь сделать текстовый вариант сайта — ведь поисковый робот в первую очередь обращает внимание на тексты;
* запретите в файле robots.txt — индексацию страниц, неинтересных пользователям, таких как формы ответа на форуме, статистика посещений, сайты-зеркала, документы на не распространенных в Рунете языках, — тогда робот не будет тратить на них время, а быстрее сможет переиндексиро¬вать именно важные страницы;
* структура сайта должна быть иерархической и сбалансированной, то есть не должно быть важных страниц, которые можно найти по ссылкам лишь за 5-7 кликов. Создайте карту сайта, где есть ссылки на все страницы сайта;
сервер должен выдавать роботу корректные заголовки ответа, в том числе сообщения об ошибках, причем заголовки должны соответствовать стандартам RFC;
* каждой уникальной странице сайта по возможности должен  соответствовать
только один URL. Генерация URL с незначащим параметром (например, ID пользовательской сессии) может замедлить индексацию сайта.