Краткий обзор Netpeak Checker 3.0: парсинг выдачи поисковых систем
Друзья, комaнда Netpeak Software рада поделиться с вами новостью о долгожданном обновлении Netpeak Checker, которое мы готовили больше года. В этом посте мы расскажем о том, что ждёт вас в новом Netpeak Checker 3.0, а также как изменялся функционал программы за последний год. Спойлер: теперь с его помощью вы сможете выполнять ещё больше задач ;)
1. Парсер Google, Bing и других поисковых систем
Благодаря новому инструменту, который мы прозвали «Парсер ПС», и без того внушительный функционал Netpeak Checker стал ещё шире. Парсер позволяет получить развёрнутые данные из выдачи поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.
1.2. Какие данные можно получить:
- URL → конечный адрес результата;
- Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС.
- Тип сниппета → обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
- Заголовок → название страницы в сниппете поисковой выдачи, может быть запросозависимым.
- Описание → описание страницы под заголовком в сниппете поисковой выдачи. Аналогично, является запросозависимым параметром.
- Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы выделяют точное совпадение запроса или похожие термины (синонимы).
- Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата.
- Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи.
- Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
- Хост → например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
- Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.
2. Настройки «Поисковые системы»
Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого local SEO) и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».
Итак, вот какие настройки были реализованы:
- Google:
- геолокация (город / регион),
- страна,
- язык,
- дата и время (результаты за час, за 24 часа, за неделю, за месяц или за год).
- Bing:
- параметр «Страна» либо «Страна / Язык»,
- дата и время (результаты за 24 часа, за неделю или за месяц).
- Yahoo:
- дата и время аналогично Bing.
- Яндекс:
- геолокация,
- язык,
- дата и время (за 24 часа, за неделю, за месяц или за год).
3. Новый алгоритм «Антибан Прокси»
Эта фишка Netpeak Checker 3.0 тоже призвана помочь эффективнее работать с поисковыми системами. Прокси позволяют быстрее получать данные от Alexa, Google SERP, Bing SERP, Yahoo SERP, Яндекс SERP, Wayback Machine, Facebook, Pinterest и On-Page параметры, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов.
Мы придумали, как свести к минимуму вероятность попадания прокси в бан:
- Определили временные задержки и количество прокси, которые могут одновременно использоваться для каждого сервиса;
- Улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки;
- Если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.
4. Кастомные шаблоны
Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.
4.1. Шаблоны параметров
Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:
- Все бесплатные → подключение платных сервисов не потребуется;
- Линкбилдинг → для оценки ссылочных доноров мы учли базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape (можно заменить на платный сервис по желанию) ;
- Дропы: упрощённый → самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов;
- Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу;
- Поиск контактов → код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей, все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).
4.2. Шаблоны фильтров
Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».
5. Фильтрация и поиск
5.1. Обновлённые «Отфильтрованные результаты»
Теперь на вкладке «Отфильтрованные результаты» показывается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).
Вызвать окно с настройками фильтра можно тремя способами:
- нажав кнопку «Фильтр» на панели управления;
- через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
- с помощью комбинации клавиш Ctrl+F.
5.2. Функция «Фильтровать по значению»
Новая функция позволит вам быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:
5.3. Быстрый поиск по таблице
Во всех таблицах программы (включая инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:
6. Оптимизация потрeбления оперативной памяти (×2)
В новой версии Netpeak Checker мы применили все свои последние наработки по оптимизации потрeбления оперативной памяти, в результате чего удалось уменьшить его более чем в 2 раза.
7. Изменения в интерфейсе и юзабилити
7.1. Параметры:
- Вкладка со всеми параметрами переехала в боковую панель справа;
- Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
- Клик по параметру позволит промотать текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица промотается до первого параметра этого сервиса.
7.2. Добавление списка URL для анализа:
- Вручную,
- Из файла (это могут быть файлы с расширениями .txt, .xlsx, .csv, .xml, .nspj и .ncpj),
- Из XML Sitemap (XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы),
- Из буфера обмена,
- Drag and Drop.
7.3. Сохранение текущего списка URL в TXT-файл.
7.4. Перепроверка данных в таблицах «Все результаты» и «Отфильтрованные результаты»:
- перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
- перепроверить строки → повторно анализирует все параметры только у выбранных URL;
- перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.
7.5. Улучшенная генерация отчётов
- В экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
- Отныне если при экспорте результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобьёт массив данных на несколько файлов и пронумерует их.
8. Проверка работоспособности прокси
Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к сети Интернет, Google, Bing, Yahoo, Яндекс.
Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.
9. Отображение лимитов и баланса
В настройках программы на сооветствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам Serpstat, Ahrefs, Majestic, SEMrush, anti-captcha.com. Теперь вам будет ещё удобнее следить за балансом, чтобы вовремя его пополнять.
10. Изменения в параметрах для анализа
Были реализованы новые параметры:
- Новый показатель от Яндекс «ИКС» → индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса.
- On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1.
- Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).
Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.
Также были полностью удалены параметры следующих сервисов:
- LinkedIn → API для получения данных по запросу было закрыто;
- Twitter → аналогичная ситуация;
- StumbleUpon → сервис переехал на Mix.com (мы с комaндой пока что думаем о необходимости интеграции с этим сервисом).
11. Специальные статус-коды
Мы реализовали новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:
- Disallowed → данный URL заблокирован в файле robots.txt;
- Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL;
- Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке), указывающий на другой URL;
- Noindex / Nofollow → данный URL содержит инструкции (в HTTP-заголовках ответа сервера или в блоке), запрещающие индексацию и/или переход по ссылкам соответственно.
Иными словами, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:
12. Остальные изменения этого релиза
- Добавлена функция «Рестарт» (клавиша F6) — при нажатии будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
- При сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S).
- Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
- Мониторинг лимита оперативной памяти → реализована проверка объёма свободной оперативной памяти: для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
- Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
- В контекстном меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу.
- Также в контекстном меню появился пункт «Открыть robots.txt», который открывает файл robots.txt в корневой папке выбранного хоста.
- Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
- При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
- Полностью ликвидирована отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
- Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
- Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».
- По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
- Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
- Существенно улучшен алгоритм добавления списка URL вручную. Теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]) ; также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол). Помимо этого, реализована поддержка экранирования #! для Ajax.
- Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.
Коротко о главном
Netpeak Checker в версии 3.0 обзавёлся мощным встроенным инструментом для парсинга выдачи поисковых систем, а также стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач линкбилдеров, SEO и PPC-специалистов, вебмастеров, маркетинг и контент-комaнд, блогеров и sales-менеджеров.
Более детальную информацию о конкретных задачах, а также всех внедрённых изменениях читайте на блоге Netpeak Software.
Комментарии:
Быстрый и бесплатный способ настройки целей через Google Tag Manager....
03 10 2023 11:45:18
Как пользоваться одной из самых важных функций Google Таблиц — подробное руководство по Query...
02 10 2023 14:15:59
Как грамотно раскрутить пиццерию. Сняли фильтр и достигли хороших результатов....
01 10 2023 5:10:42
Вывод информационного сайта из-под алгоритмического YMYL фильтра Google...
30 09 2023 13:24:28
Пример, как 4000+ гривен превращаются в 45000+ гривен. Ниша интернет-магазинов, да еще и бытовой техники уже давно является высококонкурентной. Но при правильном продвижении даже новичок может добиться результатов....
29 09 2023 6:27:53
Используем маску ввода для оптимизации сбора телефонных номеров в формах на сайте: кейсы агентства Netpeak...
28 09 2023 10:50:18
Надежный сайт позволит вести успешную деятельность, защитить плоды собственного труда и результаты работы исполнителей, с которыми вы сотрудничали. Для реализации задумки вам понадобятся авторские права....
27 09 2023 18:56:49
Бесплатная регистрация сайта в поисковых системах и каталогах – отличный способ увеличить объемы трафика и раскрутить собственный ресурс....
26 09 2023 4:31:33
Как создать аккаунт в Google Merchant Center, загрузить и изменить фид с информацией о товарах, — делимся тонкостями настройки кампаний шопинга...
25 09 2023 18:50:35
Данные, приведенные в исследовании, могут помочь в составлении медиапланов по продвижению в интернете. Читать дальше....
24 09 2023 1:16:30
Советы специалистов по продвижению интернет-магазинов в сверхконкурентной нише одежды и обуви...
23 09 2023 9:24:20
Кейс: контент-маркетинг сервиса в США, или как SerpStat покорил англоязычный мир...
22 09 2023 6:30:18
Что бывает, когда работа над продвижением сайта начинается до его выхода в паблик....
21 09 2023 4:43:18
Расскажу, как подобрать картинку на рабочий стол объявления в Рекламной сети Яндекса, и приведу небольшой кейс о том, как это делали мы для агентства путешествий...
20 09 2023 10:32:22
Как использовать игровые механики для вовлечения аудитории....
19 09 2023 6:42:50
Подробнейшая статья об эффективном использовании ремаркетинга. Мотаем на ус!...
18 09 2023 18:21:15
Как добавить свою рекламу через поисковый сервис с картинками в Google....
17 09 2023 17:45:46
Не стучитесь к Алексею на ФБ с предложением что-то придумать для бренда. У Ломоносова целый тред таких непрочитанных сообщений. Узнать больше....
16 09 2023 3:21:53
15 09 2023 11:43:31
Украинские реалии того, в каких тематиках трафик из Yandex.Direct дороже Google Ads. Новое исследование Алексея Селезнева....
14 09 2023 15:51:52
Товарные объявления торговых кампаний заметнее в выдаче, да и показываться будут и в Bing, и в Yahoo, и в AOL...
13 09 2023 22:20:52
Программа знаний и умений, чтобы стать Project Manager в агентстве интернет-маркетинга...
12 09 2023 17:53:31
12 идей для видеоконтента и расскажем, где их лучше размещать, чтобы зрители стали клиентами. Как использовать видео для повышения продаж? Длинный, но все равно неполный список форматов. Читайте дальше и предлагайте свои варианты!...
11 09 2023 9:53:11
Нет прокрастинации! Советы для личной эффективности от руководителя двух стартапов...
10 09 2023 9:27:55
Как специалисту оптимизировать рабочее время, качественно развивать проекты и меньше нервничать...
09 09 2023 21:59:13
Благодаря внедрению интеpaктивной формы подписки увеличили количество ежемecячных подписок на 100%, доход — на 51%, а коэффициент транзакций — на 71%....
08 09 2023 2:35:55
Почему бизнесу нужно настраивать мультикaнaльную модель атрибуции на основе воронки продаж и как это сделать....
07 09 2023 11:27:32
Как делать большие деньги даже, когда случаются кассовые разрывы и каким образом строить процессы внутри компании, чтобы сотрудники горели своим (вашим) делом? Узнать!...
06 09 2023 14:45:13
А сейчас про конференцию Netpeak Friends Day для друзей Netpeak Group...
05 09 2023 4:40:47
RFM — это аббревиатура слов Recency, Frequency, Money — новизна, частота, деньги. То есть считаем, как давно клиент купил товар в последний раз, сколько всего покупок он сделал и сколько денег принес нам за все время заказов....
04 09 2023 15:45:46
Как регулярно мониторить перспективные товары, по которым можно запускать контекстную рекламу...
03 09 2023 5:25:53
Что делать перед составлением рекламного бюджета — инструкция для предпринимателей...
02 09 2023 12:26:11
Не существует универсальных решений - есть эффективные инструменты и удачные их сочетания....
01 09 2023 0:24:43
Ещё один проект, который продвигался во время карантина....
31 08 2023 10:10:15
Как работают SEO-специалисты, что нужно знать о принципах работы алгоритмов Гугл, как продвигать мобильные приложения и каким образом может монетизироваться Телеграм. Узнать больше!...
30 08 2023 9:20:10
Истории бизнеса и советы от Игоря Жаданова (Readdle), Александра Галкина (Competera) и Рагнара Саас (Pipedrive)...
29 08 2023 3:44:58
Казахстанские реалии: данные по более 1 млн кликов в 23 тематиках и 15 городах....
28 08 2023 21:46:16
Многие специалисты недооценивают эффективность отчетов Яндекс.Метрики. Очень зря. Вот чем они могут быть полезны....
27 08 2023 1:34:17
Сторителлинг — это способ рассказывать истории, его цель — дать возможность читателю или зрителю почувствовать себя героем этой истории,...
26 08 2023 18:32:51
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
25 08 2023 9:56:17
Сколько прибыли вы не получили в Google Ads из-за нехватки бюджета или низкого рейтинга ключевых слов. Метод покажется сложным, но в дальнейшем вы сможете бесплатно обновлять данные и контролировать потери показов и дохода по всем рекламным кампаниям...
24 08 2023 15:34:32
История свидания двух ботов как иллюстрация развития искусственного интеллекта...
23 08 2023 16:31:29
Николь Лаззаро из XEODesign провела исследование о том, почему мы играем или не играем в игры....
22 08 2023 11:47:32
Узнайте, как пользоваться Инспектором и внутренними диаграммами Facebook, чтобы быть в лидерах своей ниши!...
21 08 2023 9:51:37
Какой движок сайта стоит выбрать...
20 08 2023 18:11:33
Как вернуть клиентов с помощью реактивационных email-рассылок. Внутри идеи таких брендов: Bershka, Wildberries, LinguaLeo, Facebook, Mail.ru, Coub, BlaBlaCar, Repka.ua и другие. Узнайте принципы красивой реактивации!...
19 08 2023 20:30:52
Microsoft, Facebook и другие технологические компании заявляют, что метавселенная — это будущее интернета. Или настоящее? Давайте разберемся...
18 08 2023 14:16:35
Партнерская программа — это когда сервис дает партнеру вознаграждение за приведенных клиентов. Получить деньги и/или другие плюшки можно также по реферальной программе. Как это работает? Разбираемся на примерах....
17 08 2023 16:20:22
Стандартный образец для новичков. Форматы объявлений в РСЯ, чтобы начинающие специалисты по контекстной рекламе смогли быстро и эффективно запустить рекламные кампании. Интересно? Читайте дальше!...
16 08 2023 9:47:29
Как не облажаться при выборе подрядчика для SEO-аудита....
15 08 2023 19:18:51
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::