Краткий обзор Netpeak Checker 3.0: парсинг выдачи поисковых систем
Друзья, комaнда Netpeak Software рада поделиться с вами новостью о долгожданном обновлении Netpeak Checker, которое мы готовили больше года. В этом посте мы расскажем о том, что ждёт вас в новом Netpeak Checker 3.0, а также как изменялся функционал программы за последний год. Спойлер: теперь с его помощью вы сможете выполнять ещё больше задач ;)
1. Парсер Google, Bing и других поисковых систем
Благодаря новому инструменту, который мы прозвали «Парсер ПС», и без того внушительный функционал Netpeak Checker стал ещё шире. Парсер позволяет получить развёрнутые данные из выдачи поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.
1.2. Какие данные можно получить:
- URL → конечный адрес результата;
- Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС.
- Тип сниппета → обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
- Заголовок → название страницы в сниппете поисковой выдачи, может быть запросозависимым.
- Описание → описание страницы под заголовком в сниппете поисковой выдачи. Аналогично, является запросозависимым параметром.
- Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы выделяют точное совпадение запроса или похожие термины (синонимы).
- Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата.
- Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи.
- Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
- Хост → например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
- Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.
2. Настройки «Поисковые системы»
Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого local SEO) и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».
Итак, вот какие настройки были реализованы:
- Google:
- геолокация (город / регион),
- страна,
- язык,
- дата и время (результаты за час, за 24 часа, за неделю, за месяц или за год).
- Bing:
- параметр «Страна» либо «Страна / Язык»,
- дата и время (результаты за 24 часа, за неделю или за месяц).
- Yahoo:
- дата и время аналогично Bing.
- Яндекс:
- геолокация,
- язык,
- дата и время (за 24 часа, за неделю, за месяц или за год).
3. Новый алгоритм «Антибан Прокси»
Эта фишка Netpeak Checker 3.0 тоже призвана помочь эффективнее работать с поисковыми системами. Прокси позволяют быстрее получать данные от Alexa, Google SERP, Bing SERP, Yahoo SERP, Яндекс SERP, Wayback Machine, Facebook, Pinterest и On-Page параметры, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов.
Мы придумали, как свести к минимуму вероятность попадания прокси в бан:
- Определили временные задержки и количество прокси, которые могут одновременно использоваться для каждого сервиса;
- Улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки;
- Если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.
4. Кастомные шаблоны
Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.
4.1. Шаблоны параметров
Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:
- Все бесплатные → подключение платных сервисов не потребуется;
- Линкбилдинг → для оценки ссылочных доноров мы учли базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape (можно заменить на платный сервис по желанию) ;
- Дропы: упрощённый → самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов;
- Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу;
- Поиск контактов → код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей, все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).
4.2. Шаблоны фильтров
Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».
5. Фильтрация и поиск
5.1. Обновлённые «Отфильтрованные результаты»
Теперь на вкладке «Отфильтрованные результаты» показывается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).
Вызвать окно с настройками фильтра можно тремя способами:
- нажав кнопку «Фильтр» на панели управления;
- через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
- с помощью комбинации клавиш Ctrl+F.
5.2. Функция «Фильтровать по значению»
Новая функция позволит вам быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:
5.3. Быстрый поиск по таблице
Во всех таблицах программы (включая инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:
6. Оптимизация потрeбления оперативной памяти (×2)
В новой версии Netpeak Checker мы применили все свои последние наработки по оптимизации потрeбления оперативной памяти, в результате чего удалось уменьшить его более чем в 2 раза.
7. Изменения в интерфейсе и юзабилити
7.1. Параметры:
- Вкладка со всеми параметрами переехала в боковую панель справа;
- Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
- Клик по параметру позволит промотать текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица промотается до первого параметра этого сервиса.
7.2. Добавление списка URL для анализа:
- Вручную,
- Из файла (это могут быть файлы с расширениями .txt, .xlsx, .csv, .xml, .nspj и .ncpj),
- Из XML Sitemap (XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы),
- Из буфера обмена,
- Drag and Drop.
7.3. Сохранение текущего списка URL в TXT-файл.
7.4. Перепроверка данных в таблицах «Все результаты» и «Отфильтрованные результаты»:
- перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
- перепроверить строки → повторно анализирует все параметры только у выбранных URL;
- перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.
7.5. Улучшенная генерация отчётов
- В экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
- Отныне если при экспорте результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобьёт массив данных на несколько файлов и пронумерует их.
8. Проверка работоспособности прокси
Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к сети Интернет, Google, Bing, Yahoo, Яндекс.
Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.
9. Отображение лимитов и баланса
В настройках программы на сооветствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам Serpstat, Ahrefs, Majestic, SEMrush, anti-captcha.com. Теперь вам будет ещё удобнее следить за балансом, чтобы вовремя его пополнять.
10. Изменения в параметрах для анализа
Были реализованы новые параметры:
- Новый показатель от Яндекс «ИКС» → индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса.
- On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1.
- Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).
Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.
Также были полностью удалены параметры следующих сервисов:
- LinkedIn → API для получения данных по запросу было закрыто;
- Twitter → аналогичная ситуация;
- StumbleUpon → сервис переехал на Mix.com (мы с комaндой пока что думаем о необходимости интеграции с этим сервисом).
11. Специальные статус-коды
Мы реализовали новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:
- Disallowed → данный URL заблокирован в файле robots.txt;
- Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL;
- Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке), указывающий на другой URL;
- Noindex / Nofollow → данный URL содержит инструкции (в HTTP-заголовках ответа сервера или в блоке), запрещающие индексацию и/или переход по ссылкам соответственно.
Иными словами, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:
12. Остальные изменения этого релиза
- Добавлена функция «Рестарт» (клавиша F6) — при нажатии будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
- При сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S).
- Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
- Мониторинг лимита оперативной памяти → реализована проверка объёма свободной оперативной памяти: для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
- Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
- В контекстном меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу.
- Также в контекстном меню появился пункт «Открыть robots.txt», который открывает файл robots.txt в корневой папке выбранного хоста.
- Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
- При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
- Полностью ликвидирована отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
- Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
- Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».
- По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
- Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
- Существенно улучшен алгоритм добавления списка URL вручную. Теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]) ; также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол). Помимо этого, реализована поддержка экранирования #! для Ajax.
- Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.
Коротко о главном
Netpeak Checker в версии 3.0 обзавёлся мощным встроенным инструментом для парсинга выдачи поисковых систем, а также стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач линкбилдеров, SEO и PPC-специалистов, вебмастеров, маркетинг и контент-комaнд, блогеров и sales-менеджеров.
Более детальную информацию о конкретных задачах, а также всех внедрённых изменениях читайте на блоге Netpeak Software.
Комментарии:
Мы предложили фанам бренда прокатиться на автомобиле SEAT Altea Freetrack!...
26 04 2024 4:48:38
Что ждет новичка в его первый день работы в Netpeak — подарки, первые задачи и традиции компании. Все, что нужно знать, чтобы меньше волноваться и влиться в коллектив. Узнать больше!...
25 04 2024 18:11:40
Примеры креативного авторского стиля копирайтеров, которые старались обыграть УТП продукта, услуги, стремились необычно подать обычное. Узнать больше!...
24 04 2024 13:42:13
Как помешать фейковым 404 страницам испортить статистику вашего сайта?...
23 04 2024 14:54:57
Встречайте Netpeak Spider 2.1 — программу, предназначенную для обнаружения и уничтожения ошибок внутренней оптимизации сайта. Мы хотим, чтобы 4 августа 2016 года запомнилось вам как «День кроулинга»!...
22 04 2024 3:23:49
За 10 месяцев сотрудничества увеличили небрендовый на 99%, а общий трафик — в два раза. Рассказываем не только о результатах, но и подходе создания реалистичного прогноза SEO-продвижения сайта. Читать дальше!...
21 04 2024 4:50:56
Пошагово подключаем скрипт проверки бюджета аккаунтов Google Ads. Скрипт отправляет уведомление на почту и в Telegram — это поможет вовремя пополнить счет. Узнать больше!...
20 04 2024 8:46:12
Пиксель Facebook — инструмент аналитики рекламной системы, который можно использовать и для Instagram....
19 04 2024 4:16:40
Относящиеся к низкочастотным long-tail запросы при правильном подходе могут стать эффективным инструментом для увеличения трафика. Рассказываем почему, а главное — как....
18 04 2024 23:12:22
Мы попросили спикеров ответить на острые для многих онлайн-проектов вопросы о развитии мобайла как канала, программатике и строительстве инхаус комaнд...
17 04 2024 22:57:48
Нам удалось увеличить количество органических показов на 63% и установок на 25%....
16 04 2024 3:31:48
Основатель Depositphotos и Clashot Дмитрий Сергеев рассказал нам о базовых правилах ведения бизнеса на западном рынке....
15 04 2024 1:14:45
Отличный кейс Ольги Костовой. Увеличивая бюджет на рекламу вдвое, вы начинаете заpaбатывать не вдвое больше, а в 2.5, 3 и так далее раз больше. На примере кейса показываем, как это происходит. Читать дальше....
14 04 2024 8:39:28
Создаём страницы, которые быстро загружаются на мобильных устройствах....
13 04 2024 14:50:47
Когда email-маркетинг становится точкой роста. Кейс интернет-магазина книг Book24....
12 04 2024 15:12:54
Почему кого-то ругают за плохие тексты, а у кого-то из-за таких же текстов берет интервью Юрий Дудь? И другие особенности контента: авторское право, копирайтинг. Читать!...
11 04 2024 3:34:20
Сравнительная хаpaктеристика B2B и B2C. Как строятся отношения с клиентом, какой объем рынка, особенности сервиса, на чем делать акцент при создании контента. Подробнее....
10 04 2024 2:14:11
Быстрые ссылки и другие советы на тему того, как эффективно работать в Директ Коммaндере....
09 04 2024 20:22:20
Бизнесу следует позаботиться о том, чтобы представить отзывы на всех площадках (как минимум на тех, которые есть на трех страницах выдачи), где только может искать информацию пользователь. Узнать больше!...
08 04 2024 3:38:26
Пример пользовательских отчетов в Google ***ytics, созданных за 15 минут...
07 04 2024 15:55:24
Как специалисту сэкономить время для создания и оптимизации кампаний, проверки орфографии и другие фишки. Советы из пpaктики....
06 04 2024 15:16:52
Внедрение скрама, чтобы решить проблемы в управлении бизнесом, год работы на нем и отказ от методологии. Читайте об опыте Boosta, которая объединяет 9 SEO-комaнд на удаленке....
05 04 2024 15:54:30
Как работать с новой функцией, чтобы набирать подписчиков и делать продажи. Подробное и актуальное руководство в 2021 году....
04 04 2024 17:30:38
Все успешные люди немного сомневаются в своих достижениях и рефлексируют о большом количестве ошибок. Не ок, когда сомнения затягивают и разрушают самооценку, создают постоянное напряжение. Давайте разбираться с синдромом самозванца....
03 04 2024 16:12:19
Грамотно оформленные метатеги презентуют сайт, помогают пользователям быстро найти нужную информацию, а поисковым системам — повысить ресурс в выдаче...
02 04 2024 18:19:16
Увольнять сотрудника — это неприятно и порой сложно. Прежде надо убедиться, что такой шаг оправдан, но он же потребует от руководителя понимания, как действовать в подобной ситуации. На этом и остановимся...
01 04 2024 5:40:48
Сегодня стоит озвучить особенности страниц и групп в социальной сети Фейсбук...
31 03 2024 10:37:21
Больше пятисот человек из Украины, России, Болгарии и Казахстана. Я зашел в зал и увидел толпу каких-то гопарей и воровайок родом из 90-х, а само помещение было оформлено под свадьбу. Выпьем за молодых!...
30 03 2024 14:58:17
Бесплатные CMS помогают решить много задач без привлечения программиста или самостоятельного изучения кодов. Но у таких движков есть свои недостатки. Узнать больше!...
29 03 2024 16:44:46
Наш результат ведения рекламных кампаний в Facebook показывает, что при правильно подобранной стратегии можно даже за короткий период в авральном режиме попасть точно в цель...
28 03 2024 15:35:33
Грамотная группировка поисковых запросов позволяет максимально увеличить поисковой трафик....
27 03 2024 6:58:24
Алексей Селезнев проанализировал 29 млн кликов, и в этой статье вы прочитаете, как дорого обходятся рекламодателям клики в Google Ads....
26 03 2024 14:27:14
Артем Шевченко (Epicentr), Михаил Рогальский (Monobank), Максим Дмитров (BSH Hausgeräte), Андрей Чумаченко (Netpeak) и другие участники конференции 8Р о том, как они рассчитывают инвестиции в интернет-маркетинг....
25 03 2024 6:44:28
Лучшие маркетинговые и бизнес-фишки от Давида Брауна (Weblium), Владислава Флакса (OWOX), Александра Галкина (Competera), Люси Литерадо (Reply.io), Вадима Нехая (Depositphotos), Валерия Грабко (PromoRepublic), Игоря Дебатура (Uploadcare), Руслана Савчишин...
24 03 2024 23:55:39
Специалистам часто приходится проводить вебинары и для этого нужна адекватная площадка. В инсайдерском посте мы рассказываем, как выбирали подходящую платформу для проведения вебинаров и что из этого вышло....
23 03 2024 21:33:32
Как создавать интеpaктивные рассылки-сайты и чем они хороши...
22 03 2024 23:58:13
В аккаунте ***ytics появилась возможность подключения ремаркетинга в поисковой сети Google. Расскажем о результатах применения инструмента на примере кейса крупного проекта ecommerce....
21 03 2024 16:59:48
Создать BI-систему собственного кошелька. Для ввода и хранения данных выбор стоял между Google Forms и Google Sheets или Airtable.Читайте дальше, что выбрал автор, чтобы оптимизировать расход, планировать траты на месяц и контролировать результаты в PowerBI....
20 03 2024 20:18:36
Анализ пути — это как многокaнaльные последовательности в Universal ***ytics, только лучше....
19 03 2024 23:22:18
Дублирование контента на разных сайтах, ориентированных на рынки разных стран, например, на публику Канады...
18 03 2024 16:48:34
Работ по оптимизации всегда много, а выделить приоритеты при продвижении онлайн — непросто. Что стоит проверять и исправлять в первую очередь?...
17 03 2024 10:48:28
Влияет ли значение показателя отказов на ранжирование сайта в поисковых системах и стоит ли переживать из-за высоких показателей отказов? Узнать больше....
16 03 2024 8:52:52
Chrome Extensions экономят время тех, кто продвигает мобильные приложения...
15 03 2024 8:21:34
Товарные объявления торговых кампаний заметнее в выдаче, да и показываться будут и в Bing, и в Yahoo, и в AOL...
14 03 2024 11:55:17
О запуске новых услуг по SEO и PPC, обновлениях Netpeak Cloud и конференциях по интернет-маркетингу...
13 03 2024 22:41:27
Почему в рекламе недвижимости стоит запускать динамический ремаркетинг...
12 03 2024 8:53:23
SEOmoz создал систему, которая определяет релевантность страницы поисковому запросу....
11 03 2024 23:15:57
Nommi — сокращение от nomadic MiFi: роутер для современных цифровых кочевников...
10 03 2024 2:20:46
Проделанные шаги и полученные результаты при раскрутке магазина великов в интернете...
09 03 2024 10:52:36
Вам тоже нужно предоставлять отчеты о работе рекламной кампании, посещение сайтов? Держите три примера работы с Google ***ytics и понятных отчета по ним, которые можно продемонстрировать, не открывая доступ к аккаунту....
08 03 2024 5:17:26
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::