Netpeak Spider логотип

Netpeak Spider — удобный инструмент оптимизатора

В работе нам часто приходится выполнять рутинные операции с большим количеством сайтов, а именно: проверить все страницы сайта на типичные SEO-огрехи, проверить все внутренние ссылки на всем сайте, найти дублирования контента, заголовков, описаний и прочее. Конечно же, существует масса сервисов, которые могут выполнить все или почти все эти задачи, но всё равно я предпочитаю иметь для этого отдельный инструмент. В своё время я перепробовал массу их, и остановился на Netpeak Spider. В этой статье хочу рассказать про этот инструмент, и показать некоторые операции, которые он выполняет.

Сканирование сайта

Итак, Netpeak Spider – это быстрый сканер сайтов. То есть, изначально для начала работы и анализа программа должна отсканировать все URL указанного сайта, собрав довольно много информации о каждом URL. Понятно, время на сканирование зависит и от числа страниц на исходном сайте и от вашего канала интернет. Оно может занимать от нескольких минут до нескольких часов, если сайт действительно велик.

Начать сканирование очень просто, достаточно ввести начальный адрес сайта и нажать кнопку [Старт], но желательно всё же сначала настроить сканер. Это можно сделать быстрыми настройками или через основные, полные настройки.

Быстрые настройки Netpeak Spider

Здесь важная настройка — число потоков сканирования. То есть указывается сколько параллельных потоков будут запрашивать страницы. Это напрямую зависит от мощности вашего компьютера и скорости интернета. Я обычно ставлю 15 – 20 потоков, но этим числом можно поиграть. Попробуйте поставить больше и если вы не замечаете притормаживания всей системы, то можно так и оставить. Также нужно отметить, что если вы используете подключение к интернету по медленному Wi-Fi или мобильному соединению, то больше число потоков может потребовать более широкого канала, поэтому убедитесь, что пропускная способность вашего канала связи позволяет выполнять сканирование большим числом потоков. Для этого запустите сканирование, запустите Диспетчер задач Windows (нажмите на клавиатуре Ctrl + Shift + Esc), переключитесь на вкладку производительность и убедитесь, что ЦП не нагружается на 100% и сеть не утилизируется на полную свою емкость.

Нагрузка на сеть при сканировании

Но вообще, нужно отдать должное разработчикам, сканер работает очень экономно в плане потребляемых ресурсов.

Чтобы сократить время на сканирование больших сайтов я обычно оставляю «галочку» сканировать только HTML, и не брать другие файлы в настройках:

Основные параметры Netpeak Spider

Но старайтесь не ставить число потоков более 30 – 40, этим вы можете значительно нагружать сервер, на котором работает сайт. У меня в практике был случай, когда мой IP попросту внесли в черный список при агрессивном сканировании.

Вот, к примеру, работа нашего VPS, который сканируется большой сайт 40 потоками:

Статистика сервера при сканировании 40 потоками

Для сервера это не сильно критично, но видно, что оба ядра CPU работают на 80% нагрузке.

Вообще, настройки сканера очень богатые, рекомендую их внимательно изучить, там можно настроить практически всё.

Результаты сканирования

Результаты сканирования появляются в виде довольно обширной таблицы. Очень приятной и востребованной функцией программы является возможность поставить любой фильтр на любые колонки таблицы результатов и экспортировать таблицу в Excel для дальнейшей обработки. Но даже без выгрузки Netpeak Spider уже сгруппировал страницы сайта по основном ошибкам:

Ошибки сканирования сайта

Достаточно просто методично пройти по всем этим ошибкам и устранить большую их часть, вы уже резко улучшите внутренние факторы сайта. По опыту могу сказать, что одно только это исправление в 9 из 10 случаев приводит к значительному росту позиций и трафика на сайт из поисковых систем!

Но Netpeak Spider умеет делать гораздо больше!

Типовая задача: Подготовка списка редиректов при переезде сайта на новый движок

Такая задача часто возникает, когда вводится новая версия сайта или сайт меняет движок. Структура URL в таком случае, как правило, не соответствует предыдущей версии сайта. Понятно, нам нужно сохранить все URL, которые сейчас в поиске. Для этого обычно используют 301-й редирект. Но что делать, если у сайта несколько тысяч или десятков тысяч страниц? Написать универсальные правила переадресации, как правило, бывает достаточно сложно, и, что самое важное, их надо сделать без ошибок с первой же попытки, поскольку любая ошибка приведет к выбросу части результатов из поиска.

Мы обычно решаем эту задачу так. Получаем список страниц из основного индекса ПС, и делаем явные редиректы именно для них. Обычно их значительно меньше, чем общее число URL сайта — сотни вместо тысяч.

Попробуем получить этот список с помощью Netpeak Spider. Укажем адрес сайта, выберем режим сканирования «По выдаче Google» и запустим сканирование.

Сканирование по выдаче Google

Буквально через минуту мы получим результат.

Результат сканирования по выдаче Google

Отфильтруем только реально существующие страницы:

Фильтр результатов, оставим только существующие страницы

Экспортируем ее в Excel, перенесем колонку URL на новый лист, отсортируем ее по алфавиту и заполним вторую колонку с новыми адресами.

Экспорт результатов сканирования в Excel

Теперь осталось выгрузить этот список в CMS на новом сайте, если, кончено, ваша CMS это позволяет делать… Ну а если не позволяет – пишем правила редиректов по этой таблице вручную.

Задача решена.

Типовая задача: Улучшение внутренней перелинковки сайта

Внутренняя перелинковка играет огромную роль в оптимизации сайта для поисковых машин. Наша задача максимально сосредоточить вес на нужных страницах сайта, проставив на них внутренние ссылки и еще и с нужными для нас анкорами. К сожалению, подавляющее число сеошнегов попросту не умеют этого делать! Мало того, они плохо себе представляют вообще механизм ссылочного ранжирования, не понимая, как поисковые системы считают вес страниц. В результате рождаются эти чудовищные советы и конструкции с <noindex> в меню, попытки проставления сквозной ссылки в подвале с ВЧ запросами и т.п. Ладно, оставим в покое теорию, перейдем к практике.

Перед нами стоит задача построить список страниц с оценкой качестве их перелинковки и выработать решение по улучшению этой перелинковки. На исходном сайте около 300 страниц, что вообще-то очень и очень немного. Но так вот попалось, взял первый же сайт из нашей очереди на анализ. Ладно, приступим!

Для начала отсканируем только разрешенные к индексации страницы. Убедимся, что в настройках стоят следующие галочки:

Инструкции по индексации при сканировании

Запустим сканирование и получим результаты.

Далее выберем в инструментах «Расчёт внутреннего PR»:

Включаем расчет PR

Укажем число итераций 10 – 15 и запустим расчёт.

Результаты расчета внутреннего PR

Результат экспортируем в Excel. Откроем полученную таблицу. Выделим первые 14 промежуточных колонок (у нас было 15 итераций) и скроем их. Они нам не нужны, нужны данные только последней итерации:

Скрытие колонок с промежуточными итерациями

Теперь в 15-ой колонке выделим все значения и далее выберем в Экселе «Условное форматирование – цветовые шкалы»:

Установка цветовых шкал для анализа

Теперь выберем сортировку и отсортируем данные по 15-ой колонке в порядке убывания:

Сортировка PR по убыванию при анализе

Всё готово! Перед нами таблица с URL страниц, в порядке убывания их качества перелинковки. Зеленая зона – перелинковка более-менее есть, желтая – перелинковка требует работы, красная зона – перелинковки этих страниц нет! Просматриваем список и убеждаемся, что все нужные для нас страницы в зеленой зоне:

Результат расчета PR для перелинковки

Если это не так, выписываем проблемные страницы и формируем рекомендации, как на них привести побольше ссылок, особенно со страниц из зеленой зоны. Когда эти рекомендации будут выполнены, выполняем повторное сканирование и расчёт внутреннего PR. Обычно достаточно одного-двух подходов, чтобы добиться «зеленой зоны» для всех важных страниц сайта. Результаты в поисковиках не заставляют себя долго ждать: после одного-двух апдейтов страницы из зеленой зоны начинают уверенно набирать позиции и трафик.

Задача решена.

Заключение

Конечно же, в пределах одной статьи обо всех возможностях Netpeak Spider рассказать невозможно, программа очень развитая и многогранная. В нашей компании Netpeak Spider является одним из наиболее часто используемых инструментов.

Но если вас заинтересовали те или иные приёмы использования этого инструмента – пишите в комментариях или описывайте свои задачи, которые вам нужно решать, по крайней мере, подскажем, как это сделать проще с помощью . Может быть мне вообще стоит сделать рубрику на сайте «Типовые задачи SEO» и регулярно рассказывать, как решать такие задачи? Что думаете?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Howdy,
Recent Access
Back To Top