Краткий обзор Netpeak Checker 3.0: парсинг выдачи поисковых систем
Друзья, комaнда Netpeak Software рада поделиться с вами новостью о долгожданном обновлении Netpeak Checker, которое мы готовили больше года. В этом посте мы расскажем о том, что ждёт вас в новом Netpeak Checker 3.0, а также как изменялся функционал программы за последний год. Спойлер: теперь с его помощью вы сможете выполнять ещё больше задач ;)
1. Парсер Google, Bing и других поисковых систем
Благодаря новому инструменту, который мы прозвали «Парсер ПС», и без того внушительный функционал Netpeak Checker стал ещё шире. Парсер позволяет получить развёрнутые данные из выдачи поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.
1.2. Какие данные можно получить:
- URL → конечный адрес результата;
- Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС.
- Тип сниппета → обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
- Заголовок → название страницы в сниппете поисковой выдачи, может быть запросозависимым.
- Описание → описание страницы под заголовком в сниппете поисковой выдачи. Аналогично, является запросозависимым параметром.
- Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы выделяют точное совпадение запроса или похожие термины (синонимы).
- Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата.
- Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи.
- Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
- Хост → например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
- Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.
2. Настройки «Поисковые системы»
Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого local SEO) и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».
Итак, вот какие настройки были реализованы:
- Google:
- геолокация (город / регион),
- страна,
- язык,
- дата и время (результаты за час, за 24 часа, за неделю, за месяц или за год).
- Bing:
- параметр «Страна» либо «Страна / Язык»,
- дата и время (результаты за 24 часа, за неделю или за месяц).
- Yahoo:
- дата и время аналогично Bing.
- Яндекс:
- геолокация,
- язык,
- дата и время (за 24 часа, за неделю, за месяц или за год).
3. Новый алгоритм «Антибан Прокси»
Эта фишка Netpeak Checker 3.0 тоже призвана помочь эффективнее работать с поисковыми системами. Прокси позволяют быстрее получать данные от Alexa, Google SERP, Bing SERP, Yahoo SERP, Яндекс SERP, Wayback Machine, Facebook, Pinterest и On-Page параметры, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов.
Мы придумали, как свести к минимуму вероятность попадания прокси в бан:
- Определили временные задержки и количество прокси, которые могут одновременно использоваться для каждого сервиса;
- Улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки;
- Если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.
4. Кастомные шаблоны
Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.
4.1. Шаблоны параметров
Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:
- Все бесплатные → подключение платных сервисов не потребуется;
- Линкбилдинг → для оценки ссылочных доноров мы учли базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape (можно заменить на платный сервис по желанию) ;
- Дропы: упрощённый → самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов;
- Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу;
- Поиск контактов → код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей, все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).
4.2. Шаблоны фильтров
Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».
5. Фильтрация и поиск
5.1. Обновлённые «Отфильтрованные результаты»
Теперь на вкладке «Отфильтрованные результаты» показывается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).
Вызвать окно с настройками фильтра можно тремя способами:
- нажав кнопку «Фильтр» на панели управления;
- через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
- с помощью комбинации клавиш Ctrl+F.
5.2. Функция «Фильтровать по значению»
Новая функция позволит вам быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:
5.3. Быстрый поиск по таблице
Во всех таблицах программы (включая инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:
6. Оптимизация потрeбления оперативной памяти (×2)
В новой версии Netpeak Checker мы применили все свои последние наработки по оптимизации потрeбления оперативной памяти, в результате чего удалось уменьшить его более чем в 2 раза.
7. Изменения в интерфейсе и юзабилити
7.1. Параметры:
- Вкладка со всеми параметрами переехала в боковую панель справа;
- Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
- Клик по параметру позволит промотать текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица промотается до первого параметра этого сервиса.
7.2. Добавление списка URL для анализа:
- Вручную,
- Из файла (это могут быть файлы с расширениями .txt, .xlsx, .csv, .xml, .nspj и .ncpj),
- Из XML Sitemap (XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы),
- Из буфера обмена,
- Drag and Drop.
7.3. Сохранение текущего списка URL в TXT-файл.
7.4. Перепроверка данных в таблицах «Все результаты» и «Отфильтрованные результаты»:
- перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
- перепроверить строки → повторно анализирует все параметры только у выбранных URL;
- перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.
7.5. Улучшенная генерация отчётов
- В экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
- Отныне если при экспорте результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобьёт массив данных на несколько файлов и пронумерует их.
8. Проверка работоспособности прокси
Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к сети Интернет, Google, Bing, Yahoo, Яндекс.
Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.
9. Отображение лимитов и баланса
В настройках программы на сооветствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам Serpstat, Ahrefs, Majestic, SEMrush, anti-captcha.com. Теперь вам будет ещё удобнее следить за балансом, чтобы вовремя его пополнять.
10. Изменения в параметрах для анализа
Были реализованы новые параметры:
- Новый показатель от Яндекс «ИКС» → индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса.
- On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1.
- Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).
Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.
Также были полностью удалены параметры следующих сервисов:
- LinkedIn → API для получения данных по запросу было закрыто;
- Twitter → аналогичная ситуация;
- StumbleUpon → сервис переехал на Mix.com (мы с комaндой пока что думаем о необходимости интеграции с этим сервисом).
11. Специальные статус-коды
Мы реализовали новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:
- Disallowed → данный URL заблокирован в файле robots.txt;
- Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL;
- Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке), указывающий на другой URL;
- Noindex / Nofollow → данный URL содержит инструкции (в HTTP-заголовках ответа сервера или в блоке), запрещающие индексацию и/или переход по ссылкам соответственно.
Иными словами, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:
12. Остальные изменения этого релиза
- Добавлена функция «Рестарт» (клавиша F6) — при нажатии будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
- При сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S).
- Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
- Мониторинг лимита оперативной памяти → реализована проверка объёма свободной оперативной памяти: для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
- Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
- В контекстном меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу.
- Также в контекстном меню появился пункт «Открыть robots.txt», который открывает файл robots.txt в корневой папке выбранного хоста.
- Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
- При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
- Полностью ликвидирована отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
- Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
- Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».
- По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
- Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
- Существенно улучшен алгоритм добавления списка URL вручную. Теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]) ; также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол). Помимо этого, реализована поддержка экранирования #! для Ajax.
- Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.
Коротко о главном
Netpeak Checker в версии 3.0 обзавёлся мощным встроенным инструментом для парсинга выдачи поисковых систем, а также стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач линкбилдеров, SEO и PPC-специалистов, вебмастеров, маркетинг и контент-комaнд, блогеров и sales-менеджеров.
Более детальную информацию о конкретных задачах, а также всех внедрённых изменениях читайте на блоге Netpeak Software.
Комментарии:
Сооснователь SUPERLUDI Влад Ноздрачев рассказал в своем подкасте о развитии инфобизнеса. Предлагаем вам вольный пересказ....
26 04 2024 17:44:57
Как упростить работу с данными и сэкономить на оплате сервиса...
25 04 2024 3:24:36
Гифка — это зациклиненное видеоизображение, рисунок-ролик, крохотный фильм, без которого трудно представить современный сайт. Как быстро создавать гифки и получать профит....
24 04 2024 18:32:38
Как бесплатно отключить смс уведомление. Плюс — подсказки для маркетологов: как снизить негативное отношение к бренду. То есть, как красиво предоставить возможность отписаться от смс клиентам, и не слить бюджет на ненужные сообщения. Узнать больше!...
23 04 2024 20:43:57
Продвижение казахстанского онлайн-издания, новостника informburo.kz....
22 04 2024 10:31:22
Используя для продвижения контекстную рекламу, большинство рекламодателей в Украине отдают предпочтение системе Google Ads. Директ однозначно не стоит недооценивать. Почему? Читайте в статье!...
21 04 2024 9:47:44
Предложение для крупных и средних бизнес-проектов по эффективному использованию больших бюджетов при запуске на новых рынках...
20 04 2024 1:49:52
Что учитывать при продвижении недвижимости, клиник красоты, магазинов косметики, сайтов по продаже семян, шин?...
19 04 2024 3:58:29
Ошибка на странице 404 может выглядеть креативно. Страница не найдена и не может быть найдена, потому что она в розыске, утеряна, украдена ниндзей, путь заснежен и дороги дальше нет, а принцесса находится в другом замке. О чем это?...
18 04 2024 1:36:59
Какую тактику выбрать, чтобы написать внятный доклад. Хедлайнеры интернет-маркетинговых конференций делятся опытом...
17 04 2024 19:11:32
Аналитик Алексей Селезнев описал простой алогритм прогнозирования поисковой активности пользователей в Яндексе....
16 04 2024 21:25:17
Киев, Одесса, Харьков, Днепр и другие города — в офис и обратно IT-специалисты добираются от 10 минут до более чем полутора часа. В дороге они слушают музыку, подкасты, читают книги. Узнать больше!...
15 04 2024 6:25:15
Голосуй за первых лиц маркетинга ecommerce-проектов Украины...
14 04 2024 11:58:36
Мануал для SEO-специалистов, как автоматизировать сбор данных из блока People also ask (Пользователи также ищут). Это блок, который показывается в верхней части страницы результатов поиска. Он нужен, чтобы уточнить запрос пользователя....
13 04 2024 8:59:13
Callback от Ringostat: пример того, как увеличить конверсии с помощью формы заказа обратного звонка...
12 04 2024 14:33:24
Как увеличить количество транзакциий, сохранив прибыльность кампании в РСЯ?...
11 04 2024 10:31:48
Айти эксперт Женя Розинский о том, почему нацию айти развивают продуктовые бизнесы, а не outsourcing сервисы...
10 04 2024 6:13:37
Как найти в Twitter лидеров мнений и сети ботов с помощью надстройки для Excel...
09 04 2024 20:12:42
Бренды поделились инсайтами на ДиВи Конф — фишки от MEGOGO, Google, TikTok, Banda, McCann, I am IDEA, AIR Brands, Rocket и Фокстрот...
08 04 2024 6:21:56
О неправильных тpaктовках отчета по времени загрузки страниц сайта в ***ytics...
07 04 2024 3:10:23
Как правильно оформлять свое портфолио, писать сопроводительные письма и делать посты в соцсетях. С помощью простой человеческой адекватности можно выигрывать у 90% других подрядчиков. Как это использовать? Читайте дальше!...
06 04 2024 5:30:48
Сотрудник не справляется? Значит с ним пора прощаться. Эмоции в сторону, действуем по алгоритму....
05 04 2024 10:49:28
Пиксель Facebook — инструмент аналитики рекламной системы, который можно использовать и для Instagram....
04 04 2024 9:11:21
Чтобы и клиенту не стыдно было показать и свои ожидания не обмануть....
03 04 2024 22:43:40
Быстрые ссылки и другие советы на тему того, как эффективно работать в Директ Коммaндере....
02 04 2024 20:55:27
Как с помощью Google Tag Manager отслеживать исходящие ссылки на сайте и загрузки файлов с него...
01 04 2024 2:20:59
Используйте и интерпретируйте карты знаний Netpeak Group, чтобы экономить свои силы и время на создании собственных карт с нуля. Узнать больше!...
31 03 2024 17:11:19
Как получить больше конверсионного трафика из поиска и не выйти за рамки KPI? Запустите SNDS-кампании...
30 03 2024 20:37:55
Образ гармонии, почерк и потребности — рецензия на книгу Яна Чихольда «Облик книги»....
29 03 2024 4:19:58
Работа — рекламировать. Интервью с директором по стратегии агентства Smartica/Skykillers....
28 03 2024 10:23:24
Уроки, написанные понятным и доступным языком экспертами по контекстной рекламе, поисковому продвижению, SMM....
27 03 2024 22:24:44
Для максимальной прибыли с YouTube-канала нужно выбрать одну из наиболее посещаемых ниш. Не всегда прибыльная тема соответствует личным предпочтениям владельца канала...
26 03 2024 11:50:39
Ноу-хау, интересные для бизнеса, которые вошли в ежегодный рейтинг журнала Time....
25 03 2024 14:48:32
Зачем нужен мемуарник, как отличить истинные цели от навязанных и многое другое....
24 03 2024 3:14:51
Экспорт/импорт с помощью Excel-файла или таблиц Google позволит скопировать и перенести кампании, группы объявлений и объявления в Facebook вместе с креативами, текстами, ссылками и utm-метками...
23 03 2024 8:47:43
Специалисты дропшиппинг-платформы делятся данными по самым продаваемым товарам на крупных онлайн-площадках. Информация для масштабирования бизнеса. Читать!...
22 03 2024 7:24:19
Нейронные сети, нейросети онлайн, сверхточные нейронные сети. Я рассажу, как они устроены, как написать свою нейронную сеть с нуля, как правильно обучить нейронную сеть на имеющихся данных...
21 03 2024 4:50:37
Google «выкатил» алгоритм Панда 2.2, как пару недель назад обещал Мэтт Каттс....
20 03 2024 15:49:15
Оживший бар. О том, как один украинский бренд за полтора месяца получил более 4 000 фанов!...
19 03 2024 6:28:24
Вес страниц — один из факторов ранжирования в поисковых системах Google и Яндекс....
18 03 2024 12:36:50
Как добавить данные о компании на карты Google и Яндекс....
17 03 2024 14:20:40
Занимайтесь оптимизацией определенной категории товаров за полгода до скачка спроса....
16 03 2024 9:43:57
Зная стоимость клика в вашей тематике или регионе, и коэффициент конверсии на вашем сайте, вы можете оценить объем необходимых инвестиций в рекламу и прогнозировать стоимость конверсии. Узнать больше!...
15 03 2024 19:53:36
Если у вас есть продукт, о котором миру стоит узнать, книга Pitch perfect придется вам очень кстати....
14 03 2024 0:51:36
Удача и везение — не случайность. Это выбор. Любопытные эксперименты профессора Ричарда Вайсмена инсайде...
13 03 2024 4:48:13
Понятные людям и роботам URL. Это уникальный набор символов, который дает возможность идентифицировать всевозможные ресурсы в интернете (страницы сайтов, файлы, изображения, видео и так далее). Чтобы узнать больше, читайте далее!...
12 03 2024 10:34:21
Как в Google Search можно найти мелодию по примерному напеву...
11 03 2024 3:17:45
Не стучитесь к Алексею на ФБ с предложением что-то придумать для бренда. У Ломоносова целый тред таких непрочитанных сообщений. Узнать больше....
10 03 2024 13:16:35
Рассылка ежемecячно занимает второе место среди источников реферального трафика BuzzFeed. Уроки увеличения базы подписчиков от BuzzFeed от базы до метрик оценки. Принцип BuzzFeed — как можно быстрее внедрять в рассылку то, что нравится читателям....
09 03 2024 1:26:38
Адвент-календарь, конкурсы и викторины, праздничные линейки товаров, подборки подарков для родных и близких, опросы, тесты и другие интересности. Используйте, если нужны идеи и вдохновение....
08 03 2024 3:42:32
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::