Краткий обзор Netpeak Checker 3.0: парсинг выдачи поисковых систем

< >

Друзья, комaнда Netpeak Software рада поделиться с вами новостью о долгожданном обновлении Netpeak Checker, которое мы готовили больше года. В этом посте мы расскажем о том, что ждёт вас в новом Netpeak Checker 3.0, а также как изменялся функционал программы за последний год. Спойлер: теперь с его помощью вы сможете выполнять ещё больше задач ;)

1. Парсер Google, Bing и других поисковых систем

Благодаря новому инструменту, который мы прозвали «Парсер ПС», и без того внушительный функционал Netpeak Checker стал ещё шире. Парсер позволяет получить развёрнутые данные из выдачи поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.

1.2. Какие данные можно получить:

• URL → конечный адрес результата;
• Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС.
• Тип сниппета → обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
• Заголовок → название страницы в сниппете поисковой выдачи, может быть запросозависимым.
• Описание → описание страницы под заголовком в сниппете поисковой выдачи. Аналогично, является запросозависимым параметром.
• Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы выделяют точное совпадение запроса или похожие термины (синонимы).
• Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата.
• Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи.
• Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
• Хост → например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
• Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.

2. Настройки «Поисковые системы»

Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого local SEO) и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».

Итак, вот какие настройки были реализованы:

• Google:
  • геолокация (город / регион),
  • страна,
  • язык,
  • дата и время (результаты за час, за 24 часа, за неделю, за месяц или за год).
• Bing:
  • параметр «Страна» либо «Страна / Язык»,
  • дата и время (результаты за 24 часа, за неделю или за месяц).
• Yahoo:
  • дата и время аналогично Bing.
• Яндекс:
  • геолокация,
  • язык,
  • дата и время (за 24 часа, за неделю, за месяц или за год).

3. Новый алгоритм «Антибан Прокси»

Эта фишка Netpeak Checker 3.0 тоже призвана помочь эффективнее работать с поисковыми системами. Прокси позволяют быстрее получать данные от Alexa, Google SERP, Bing SERP, Yahoo SERP, Яндекс SERP, Wayback Machine, Facebook, Pinterest и On-Page параметры, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов.

Мы придумали, как свести к минимуму вероятность попадания прокси в бан:

• Определили временные задержки и количество прокси, которые могут одновременно использоваться для каждого сервиса;
• Улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки;
• Если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.

4. Кастомные шаблоны

Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.

4.1. Шаблоны параметров

Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:

• Все бесплатные → подключение платных сервисов не потребуется;
• Линкбилдинг → для оценки ссылочных доноров мы учли базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape (можно заменить на платный сервис по желанию) ;
• Дропы: упрощённый → самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов;
• Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу;
• Поиск контактов → код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей, все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).

4.2. Шаблоны фильтров

Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».

5. Фильтрация и поиск

5.1. Обновлённые «Отфильтрованные результаты»

Теперь на вкладке «Отфильтрованные результаты» показывается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).

Вызвать окно с настройками фильтра можно тремя способами:

• нажав кнопку «Фильтр» на панели управления;
• через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
• с помощью комбинации клавиш Ctrl+F.

5.2. Функция «Фильтровать по значению»

Новая функция позволит вам быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:

5.3. Быстрый поиск по таблице

Во всех таблицах программы (включая инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:

6. Оптимизация потрeбления оперативной памяти (×2)

В новой версии Netpeak Checker мы применили все свои последние наработки по оптимизации потрeбления оперативной памяти, в результате чего удалось уменьшить его более чем в 2 раза.

7. Изменения в интерфейсе и юзабилити

7.1. Параметры:

• Вкладка со всеми параметрами переехала в боковую панель справа;
• Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
• Клик по параметру позволит промотать текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица промотается до первого параметра этого сервиса.

7.2. Добавление списка URL для анализа:

• Вручную,
• Из файла (это могут быть файлы с расширениями .txt, .xlsx, .csv, .xml, .nspj и .ncpj),
• Из XML Sitemap (XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы),
• Из буфера обмена,
• Drag and Drop.

7.3. Сохранение текущего списка URL в TXT-файл.

7.4. Перепроверка данных в таблицах «Все результаты» и «Отфильтрованные результаты»:

• перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
• перепроверить строки → повторно анализирует все параметры только у выбранных URL;
• перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.

7.5. Улучшенная генерация отчётов

• В экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
• Отныне если при экспорте результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобьёт массив данных на несколько файлов и пронумерует их.

8. Проверка работоспособности прокси

Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к сети Интернет, Google, Bing, Yahoo, Яндекс.

Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.

9. Отображение лимитов и баланса

В настройках программы на сооветствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам Serpstat, Ahrefs, Majestic, SEMrush, anti-captcha.com. Теперь вам будет ещё удобнее следить за балансом, чтобы вовремя его пополнять.

10. Изменения в параметрах для анализа

Были реализованы новые параметры:

• Новый показатель от Яндекс «ИКС» → индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса.
• On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1.
• Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).

Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.

Также были полностью удалены параметры следующих сервисов:

• LinkedIn → API для получения данных по запросу было закрыто;
• Twitter → аналогичная ситуация;
• StumbleUpon → сервис переехал на Mix.com (мы с комaндой пока что думаем о необходимости интеграции с этим сервисом).

11. Специальные статус-коды

Мы реализовали новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:

• Disallowed → данный URL заблокирован в файле robots.txt;
• Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL;
• Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке), указывающий на другой URL;
• Noindex / Nofollow → данный URL содержит инструкции (в HTTP-заголовках ответа сервера или в блоке), запрещающие индексацию и/или переход по ссылкам соответственно.

Иными словами, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:

12. Остальные изменения этого релиза

• Добавлена функция «Рестарт» (клавиша F6) — при нажатии будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
• При сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S).
• Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
• Мониторинг лимита оперативной памяти → реализована проверка объёма свободной оперативной памяти: для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
• Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
• В контекстном меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу.
• Также в контекстном меню появился пункт «Открыть robots.txt», который открывает файл robots.txt в корневой папке выбранного хоста.
• Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
• При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
• Полностью ликвидирована отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
• Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
• Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».
• По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
• Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
• Существенно улучшен алгоритм добавления списка URL вручную. Теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]) ; также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол). Помимо этого, реализована поддержка экранирования #! для Ajax.
• Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.

Коротко о главном

Netpeak Checker в версии 3.0 обзавёлся мощным встроенным инструментом для парсинга выдачи поисковых систем, а также стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач линкбилдеров, SEO и PPC-специалистов, вебмастеров, маркетинг и контент-комaнд, блогеров и sales-менеджеров.

Более детальную информацию о конкретных задачах, а также всех внедрённых изменениях читайте на блоге Netpeak Software.