Краткий обзор Netpeak Checker 3.0: парсинг выдачи поисковых систем
Друзья, комaнда Netpeak Software рада поделиться с вами новостью о долгожданном обновлении Netpeak Checker, которое мы готовили больше года. В этом посте мы расскажем о том, что ждёт вас в новом Netpeak Checker 3.0, а также как изменялся функционал программы за последний год. Спойлер: теперь с его помощью вы сможете выполнять ещё больше задач ;)
1. Парсер Google, Bing и других поисковых систем
Благодаря новому инструменту, который мы прозвали «Парсер ПС», и без того внушительный функционал Netpeak Checker стал ещё шире. Парсер позволяет получить развёрнутые данные из выдачи поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.
1.2. Какие данные можно получить:
- URL → конечный адрес результата;
- Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС.
- Тип сниппета → обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
- Заголовок → название страницы в сниппете поисковой выдачи, может быть запросозависимым.
- Описание → описание страницы под заголовком в сниппете поисковой выдачи. Аналогично, является запросозависимым параметром.
- Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы выделяют точное совпадение запроса или похожие термины (синонимы).
- Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата.
- Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи.
- Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
- Хост → например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
- Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.
2. Настройки «Поисковые системы»
Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого local SEO) и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».
Итак, вот какие настройки были реализованы:
- Google:
- геолокация (город / регион),
- страна,
- язык,
- дата и время (результаты за час, за 24 часа, за неделю, за месяц или за год).
- Bing:
- параметр «Страна» либо «Страна / Язык»,
- дата и время (результаты за 24 часа, за неделю или за месяц).
- Yahoo:
- дата и время аналогично Bing.
- Яндекс:
- геолокация,
- язык,
- дата и время (за 24 часа, за неделю, за месяц или за год).
3. Новый алгоритм «Антибан Прокси»
Эта фишка Netpeak Checker 3.0 тоже призвана помочь эффективнее работать с поисковыми системами. Прокси позволяют быстрее получать данные от Alexa, Google SERP, Bing SERP, Yahoo SERP, Яндекс SERP, Wayback Machine, Facebook, Pinterest и On-Page параметры, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов.
Мы придумали, как свести к минимуму вероятность попадания прокси в бан:
- Определили временные задержки и количество прокси, которые могут одновременно использоваться для каждого сервиса;
- Улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки;
- Если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.
4. Кастомные шаблоны
Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.
4.1. Шаблоны параметров
Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:
- Все бесплатные → подключение платных сервисов не потребуется;
- Линкбилдинг → для оценки ссылочных доноров мы учли базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape (можно заменить на платный сервис по желанию) ;
- Дропы: упрощённый → самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов;
- Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу;
- Поиск контактов → код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей, все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).
4.2. Шаблоны фильтров
Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».
5. Фильтрация и поиск
5.1. Обновлённые «Отфильтрованные результаты»
Теперь на вкладке «Отфильтрованные результаты» показывается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).
Вызвать окно с настройками фильтра можно тремя способами:
- нажав кнопку «Фильтр» на панели управления;
- через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
- с помощью комбинации клавиш Ctrl+F.
5.2. Функция «Фильтровать по значению»
Новая функция позволит вам быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:
5.3. Быстрый поиск по таблице
Во всех таблицах программы (включая инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:
6. Оптимизация потрeбления оперативной памяти (×2)
В новой версии Netpeak Checker мы применили все свои последние наработки по оптимизации потрeбления оперативной памяти, в результате чего удалось уменьшить его более чем в 2 раза.
7. Изменения в интерфейсе и юзабилити
7.1. Параметры:
- Вкладка со всеми параметрами переехала в боковую панель справа;
- Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
- Клик по параметру позволит промотать текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица промотается до первого параметра этого сервиса.
7.2. Добавление списка URL для анализа:
- Вручную,
- Из файла (это могут быть файлы с расширениями .txt, .xlsx, .csv, .xml, .nspj и .ncpj),
- Из XML Sitemap (XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы),
- Из буфера обмена,
- Drag and Drop.
7.3. Сохранение текущего списка URL в TXT-файл.
7.4. Перепроверка данных в таблицах «Все результаты» и «Отфильтрованные результаты»:
- перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
- перепроверить строки → повторно анализирует все параметры только у выбранных URL;
- перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.
7.5. Улучшенная генерация отчётов
- В экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
- Отныне если при экспорте результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобьёт массив данных на несколько файлов и пронумерует их.
8. Проверка работоспособности прокси
Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к сети Интернет, Google, Bing, Yahoo, Яндекс.
Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.
9. Отображение лимитов и баланса
В настройках программы на сооветствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам Serpstat, Ahrefs, Majestic, SEMrush, anti-captcha.com. Теперь вам будет ещё удобнее следить за балансом, чтобы вовремя его пополнять.
10. Изменения в параметрах для анализа
Были реализованы новые параметры:
- Новый показатель от Яндекс «ИКС» → индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса.
- On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1.
- Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).
Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.
Также были полностью удалены параметры следующих сервисов:
- LinkedIn → API для получения данных по запросу было закрыто;
- Twitter → аналогичная ситуация;
- StumbleUpon → сервис переехал на Mix.com (мы с комaндой пока что думаем о необходимости интеграции с этим сервисом).
11. Специальные статус-коды
Мы реализовали новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:
- Disallowed → данный URL заблокирован в файле robots.txt;
- Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL;
- Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке), указывающий на другой URL;
- Noindex / Nofollow → данный URL содержит инструкции (в HTTP-заголовках ответа сервера или в блоке), запрещающие индексацию и/или переход по ссылкам соответственно.
Иными словами, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:
12. Остальные изменения этого релиза
- Добавлена функция «Рестарт» (клавиша F6) — при нажатии будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
- При сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S).
- Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
- Мониторинг лимита оперативной памяти → реализована проверка объёма свободной оперативной памяти: для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
- Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
- В контекстном меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу.
- Также в контекстном меню появился пункт «Открыть robots.txt», который открывает файл robots.txt в корневой папке выбранного хоста.
- Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
- При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
- Полностью ликвидирована отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
- Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
- Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».
- По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
- Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
- Существенно улучшен алгоритм добавления списка URL вручную. Теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]) ; также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол). Помимо этого, реализована поддержка экранирования #! для Ajax.
- Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.
Коротко о главном
Netpeak Checker в версии 3.0 обзавёлся мощным встроенным инструментом для парсинга выдачи поисковых систем, а также стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач линкбилдеров, SEO и PPC-специалистов, вебмастеров, маркетинг и контент-комaнд, блогеров и sales-менеджеров.
Более детальную информацию о конкретных задачах, а также всех внедрённых изменениях читайте на блоге Netpeak Software.
Комментарии:
Несколько полезных советов перед запуском. Tрaнcпорт и путешествия, ритейл, медиа и развлечения — тематики, в которых чаще используют мобильные приложения. Есть и другие факторы популярности приложений. Узнать!...
22 04 2025 4:13:41
Создать BI-систему собственного кошелька. Для ввода и хранения данных выбор стоял между Google Forms и Google Sheets или Airtable.Читайте дальше, что выбрал автор, чтобы оптимизировать расход, планировать траты на месяц и контролировать результаты в PowerBI....
21 04 2025 19:40:23
Не стучитесь к Алексею на ФБ с предложением что-то придумать для бренда. У Ломоносова целый тред таких непрочитанных сообщений. Узнать больше....
20 04 2025 15:53:59
Чтобы создать позитивный образ компании, бренда, персоны или работодателя в поисковых системах, нужно приложить много усилий. Но, поверьте, результат того стоит. И начать стоит с репутационного аудита....
19 04 2025 5:21:17
Основная цель CTA — помочь посетителю принять решение о покупке, скачивании, регистрации или подписке...
18 04 2025 17:17:46
Для продвижения интернет-магазина женского нижнего белья мы решили попробовать новый источник привлечения клиентов....
17 04 2025 17:15:44
Скрипт для распределения бюджета на отстающую семантику, чтобы получать больше трафика по меньшей цене...
16 04 2025 19:27:22
Как найти релевантный сайт-донор для размещения своей ссылки...
15 04 2025 17:52:26
Анализируя поведение аудитории, вы сможете понять, почему клиенты приходят на сайт, почему уходят, и почему не делают заказы....
14 04 2025 2:37:42
Рассказываем о приемах, которые помогут вам заинтересовать читателей рассылки....
13 04 2025 6:39:29
Анализ данных о 7,6 миллионах поисковых запросов в французском Google...
12 04 2025 2:59:18
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
11 04 2025 11:42:57
Комaнда Serpstat проанализировала стратегии продвижения лидеров ниши онлайн-образования. Читайте о главных инсайтах в посте....
10 04 2025 1:40:11
Если выполнить настройку не корректно, поисковик воспримет материалы как дубли контента....
09 04 2025 8:29:13
Facebook buttons. Пора поделиться самым волнующим вопросом 2011-го года...
08 04 2025 17:23:51
Расскажем в двух словах о всеми забытой функции «Анализ конкуренции»....
07 04 2025 8:36:29
Тренды, рекомендации, уроки, инструкции, а также вакансии, идеи, кейсы и всё, что поможет оставаться в теме, находить интересные проекты и вдохновляться. Читать дальше....
06 04 2025 14:57:52
Учимся выстраивать коммуникацию по специальным сценариям....
05 04 2025 23:50:10
Структура обзора, правила написания и важные хаpaктеристики этого формата. Подача информации в обзоре и запрещенные методы, которые отпугнут клиентов. Узнать больше!...
04 04 2025 7:16:29
«Настольная» методичка для предпринимателей и маркетологов....
03 04 2025 7:56:53
Стив Рейсон назвал 20 уроков, которые BuzzSumo усвоил на пути к топу самых популярных сервисов для контент-маркетологов....
02 04 2025 16:41:22
Расширения, горячие клавиши и мгновенный перевод слов на другой язык — минимум лайфаков, которые можно использовать для удобства пользователей Google Chrome...
01 04 2025 20:11:31
Интерфейс прикладного программирования для работы с аккаунтами десятка сайтов....
31 03 2025 16:41:11
Нескучный инструктаж на примере @netpeak_ua о том, зачем компании корпоративный Twitter для продвижения контента, компании или персоны. А еще про хештеги, поиск читателей, аналитику, стиль ведения вашего микроблога, создание сообщества и акции...
30 03 2025 5:39:29
Выдержка из интервью Дэнни Салливаном с представителями компаний Google и Bing...
29 03 2025 19:32:28
От идеи для стартапа до плана развития и масштабирования бизнеса. Познавательные, полезные каналы, которые помогут реализовать смелые бизнес-цели. Узнать больше!...
28 03 2025 11:25:26
Пора сделать так, чтобы мобильная версия сайта приносила прибыль....
27 03 2025 15:24:28
Что делать, если вы специально или нет попали под фильтр: руководство от выявления до спасения...
26 03 2025 14:56:59
Низкочастотные, низкоконкурентные, Long Tail и другие термины, которые нужно знать и понимать....
25 03 2025 18:46:34
SMM для агентства перформанс-маркетинга. Как уйти от сухих текстов и стандартных баннеров для бизнес-страницы....
24 03 2025 15:37:41
Редполитика Netpeak Journal (ex блог Netpeak) — руководство по написанию понятных, полезных, продающих и удобочитаемых текстов. Документ для внутреннего использования в открытом доступе. Применяйте, адаптируйте. Читать!...
23 03 2025 13:17:46
Как сохранить статистику переходов из органики Google, а также автоматизировать отчетность: подробное руководство для технического специалиста....
22 03 2025 22:54:23
Как протестировать MVP мобильного приложения, получить обратную связь и сформировать гипотезы...
21 03 2025 1:32:35
Раскрутка музыки онлайн: способы, методы, нюансы и примеры...
20 03 2025 8:55:21
Аудит юзабилити способствует следованию современным тенденциям, пониманию целевого посетителя и увеличению конверсии....
19 03 2025 11:23:40
Почти 50 тыс. контактов за год принесли формы подписки и регистрации....
18 03 2025 4:37:38
Объявление в тематике автошин — отличная тема для рекламы в интернете....
17 03 2025 5:11:41
Почти 4,5 млрд людей имеют аккаунты в соцсетях. Огромная и активная аудитория. Но как среди нее найти своего клиента? Поможет таргетированная реклама....
16 03 2025 16:25:53
Идеи для интернет-маркетологов, как получить дополнительные каналы трафика и сделать заметным сниппет в поисковой выдаче....
15 03 2025 8:18:59
Тонкости настройки предпраздничной рекламной промо кампании на примере Citrus.ua....
14 03 2025 15:47:30
Создаём страницы, которые быстро загружаются на мобильных устройствах....
13 03 2025 7:37:45
Увлекательные истории от специалиста по контекстной рекламе....
12 03 2025 20:53:21
FAQ (frequently asked questions), HowTo и Q&A (questions and answers)....
11 03 2025 3:12:24
Компании и продукты, социальные инициативы, главные проекты и миссия группы. Разложили все о Netpeak Group по полочкам в новом посте....
10 03 2025 4:26:48
Шаблон по настройке и оптимизации динамических поисковых объявлений...
09 03 2025 1:26:57
Тошнота и процент воды в тексте не должны превышать допустимую норму, иначе не только пользователи уйдут с сайта, поисковые роботы понизят сайт в рейтинге. Узнать больше!...
08 03 2025 20:56:42
В течение 2016 года Алексей Селезнев собирал данные о стоимости клика в разрезе разных стран, регионов и тематик. Итоги исследования, тренды и прогнозы читайте в этой статье....
07 03 2025 20:52:17
Сооснователь SUPERLUDI Влад Ноздрачев рассказал в своем подкасте о развитии инфобизнеса. Предлагаем вам вольный пересказ....
06 03 2025 12:27:59
Неля Серебро рассказывает про внутреннюю кухню блога Netpeak...
05 03 2025 23:34:21
Почему синергия штатных специалистов и рекламное дело агентства SEO/PPC выгодна бизнесу...
04 03 2025 14:12:20
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::