Обзор Netpeak Spider 3.0: краткая версия
Коллеги, буквально вчера комaнда Netpeak Software представила новую версию нашего флагманского инструмента — Netpeak Spider 3.0. Это самое крупное обновление за всё время существования программы, которое включает в себя около 300 изменений: от супер-фич до небольших фиксов в юзабилити. Пока что оно доступно только на Windows, однако очень скоро мы портируем его и на Mac OS.
Ниже перечислю для вас самые масштабные изменения в программе, с которыми можно ознакомиться бесплатно в течение недели с момента релиза (до 4 апреля включительно).
Кстати, кодовое название нового обновлённого продукта — ни много ни мало «Новая SEO-надежда», и в следующем видео вы поймёте, почему.
А теперь давайте перейдём к обзору главных улучшений.
1. Скорость сканирования до 30 раз выше, чем в версии 2.1
Благодаря оптимизации процессов сканирования в Netpeak Spider 3.0 произошёл значительный прирост скорости работы.
Исходя из тестов, в рамках которых мы сравнивали скорость пробивки сайта на 100 000 URL c помощью Netpeak Spider 3.0 и предыдущей версии Netpeak Spider 2.1 с одинаковыми условиями, новая версия показывает увеличение скорости где-то в 30 раз.
2. Оптимальное потрeбление оперативной памяти
При анализе небольших сайтов (10 000 URL) мы сократили потрeбление оперативной памяти в 3 раза и ускорили сканирование в 8 раз.
Анализ больших сайтов (100 000 URL) раскрывает сильные стороны новой версии: потрeбление оперативной памяти ещё сильнее уменьшилось (в 4 раза), а сканирование заняло в 30 раз меньше времени.
3. Возможность продолжения сканирования после загрузки проекта
Теперь вы можете остановить сканирование, сохранить проект и потом досканировать сайт:
- к примеру, на следующий день → для этого необходимо просто открыть проект и нажать на кнопку «Старт»;
- на другом компьютере → для этого необходимо перенести всю папку с проектом на нужный компьютер (например, более мощный), открыть проект там и снова нажать на заветную кнопку «Старт».
4. Перепробивка URL или списка URL
Раньше, чтобы проверить корректность исправления определённой ошибки, нужно было сканировать весь сайт заново или мучиться со списками URL. Теперь же вы можете выбрать ошибку в боковой панели и запустить пересканирование только тех страниц, которые ей соответствуют → на выходе вы получите полностью обновлённый отчёт по всему сайту.
Также вы можете пересканировать как один URL, так и любой список URL на вкладках «Все результаты» или «Отфильтрованные результаты».
5. Удаление URL из отчёта
Если вы просканировали что-то лишнее, и вам мешают эти данные в отчётах, теперь вы можете без проблем удалить их, и все стандартные отчёты будут обновлены.
Также теперь вы можете просто очистить результаты, не удаляя сами URL — крайне полезно, когда вам необходимо как-то по-новому просканировать уже существующие страницы.
6. Изменение параметров в ходе сканирования
Возможность изменения параметров в процессе сканирования — одна из наиболее долгожданных функций, внедрить которую нас уже давно просят юзеры. Суть её заключается в следующем:
Если вы начали сканирование, а потом вспомнили, что не включили какой-то важный параметр или парсинг какого-то фрагмента HTML-кода, то теперь вы можете остановить сканирование, включить необходимые параметры и продолжить сканирование дальше. Уже просканированные страницы не будут перепробиваться, а включённые параметры начнут появляться только для новых страниц.
Если вы начали сканирование и понимаете, что данных слишком много, а они забивают оперативную память, при этом вы спокойно сможете без них прожить, то аналогично — останавливаете сканирование, выключаете ненужные параметры или парсеры, продолжаете сканирование. Эта опция позволяет освободить больше оперативной памяти и пробить ещё больше результатов.
7. Сегментация данных
Сегменты — это уникальная для десктопных продуктов функция, позволяющая изменить представление данных, ограничивая их определённым фильтром. Применение сегментов влияет на все отчёты в программе, включая ошибки, сводку, структуру сайта, дашборд и т.д.
8. Отчёт по структуре сайта
Мы реализовали новый отчёт с полной структурой сайта в виде дерева и возможностью отфильтровать страницы на любом уровне вложенности.
Выделив категорию и нажав кнопку «Расширенное копирование», вы скопируете в буфер обмена интересные результаты, которые можно вставить в любую внешнюю таблицу (например, Google Таблицы или Microsoft Excel).
9. Дашборд (информация о ходе сканирования и диаграммы после окончания сканирования)
В новой версии Netpeak Spider вы найдёте новую вкладку «Дашборд», которая включает в себя сводные данные о настройках и ходе сканирования, круговые и столбчатые диаграммы, SEO-инсайты и удобные преднастроенные фильтры.
В процессе сканирования на этой панели отображается удобная сводка по ходу сканирования и всем важным настройкам. Если необходимо, можно выгрузить её полный скриншот с помощью кнопки «Экспорт...».
Когда сканирование завершено, или вы его специально остановили, на «Дашборде» можно будет найти наглядные графики и диаграммы с полезными инсайтами о просканированных страницах. Все графики интеpaктивные: можно нажать на любую часть диаграммы или на любое значение рядом с ней и перейти на отфильтрованные результаты по этому значению.
10. Экспорт 10+ новых отчётов и 60+ отчётов об ошибках в два клика
В новой версии программы были реализованы новые удобные шаблоны, с помощью которых можно выгрузить необходимые отчёты в два клика. В их числе значатся следующие форматы отчётов:
- Все ошибки → все отчёты по ошибкам в одну папку;
- Специальные отчёты по ошибкам → отчёты с удобным представлением данных по определённым ошибкам:
- Битые ссылки,
- Изображения без атрибута ALT,
- Цепочки редиректов,
- Редиректы, заблокированные в robots.txt,
- Редиректы с неправильным форматом URL,
- Цепочки Canonical,
- Canonical, заблокированный в robots.txt,
- Ссылки с неправильным форматом URL.
- Все ссылки → отдельная выгрузка всех внешних и внутренних ссылок, которые присутствуют на просканированных страницах;
- Все уникальные URL и анкоры → аналогично, выгружаются отдельно все внешние и внутренние ссылки: данные в первом отчёте группируются по URL, а во втором — сразу по URL и анкору.
11. Определение индексируемых URL
Теперь Netpeak Spider разделяет страницы по степени индексируемости на 3 типа:
- Индексируемые — это HTML-документы с 2xx кодом ответа сервера, не закрытые от индексации с помощью различных инструкций (robots.txt, Canonical, Meta Robots и т.д.). Это самые важные страницы на сайте, которые потенциально могут приносить органический трафик.
- Неиндексируемые — это HTML-документы с отличным от 2xx кодом ответа сервера или закрытые от индексации. Такие страницы зачастую не приносят трафик из поисковых систем и расходуют краулинговый бюджет.
- Не HTML — все остальные документы, которые имеют меньший потенциал для ранжирования в выдаче поисковых систем.
Индексируемость станет единым унифицированным понятием для инструментов и аналитики внутри программы, а большинство ошибок теперь будет определяться исключительно среди индексируемых URL.
12. Специальные отчёты по каждой ошибке
Для удобства фильтрации определённых страниц, содержащих те или иные ошибки, мы сделали быстрый доступ по спецкнопке «Отчёт по ошибке». В рамках данной функции доступны отчёты для таких ошибок:
- Битые ссылки,
- Ссылки с неправильным форматом URL,
- Редирект, заблокированный в robots.txt,
- Canonical, заблокированный в robots.txt,
- Изображения без атрибута ALT,
- Внутренние nofollow ссылки,
- Внешние nofollow ссылки.
13. Полностью переработаны инструменты «Расчёт внутреннего PageRank», «Валидатор XML Sitemap», «Анализ исходного кода и HTTP-заголовков» и «Генератор Sitemap»
Расчёт внутреннего PageRank
- Добавлен отдельный параметр «Внутренний PR» для каждой ссылки.
- Теперь расчёт внутреннего PageRank происходит только для индексируемых URL: в нём больше не принимают участие изображения и другие типы файлов, отличные от HTML.
- Появился новый параметр «Вес ссылки», который показывает сколько веса передаётся по каждой конкретной ссылке. Он помогает оптимизировать внутренний ссылочный вес, если вы после моделирования перенесёте созданную структуру на сайт.
- Добавлена таблица «Динамика сумм PageRank» — на каждой итерации производится подсчёт отношения суммы внутреннего PageRank на текущей итерации к сумме на нулевой итерации.
Валидатор XML Sitemap
В предыдущей версии валидатор XML-карт сайта был режимом сканирования, однако теперь мы вынесли его в отдельный инструмент для решения следующих задач:
- Парсинг ссылок из XML Sitemap с возможностью передачи их в основную таблицу для дальнейшего сканирования;
- Валидация карты сайта → здесь мы полностью переработали все ошибки (теперь их 34 штуки) и учли основные рекомендации Google и Яндекса;
- Отправка ping в поисковые системы для того, чтобы обратить их внимание на изменения в ваших файлах XML Sitemap.
Обратите внимание, что теперь правила сканирования учитываются при парсинге ссылок из XML-карт сайта. Также инструмент хранит все ваши запросы: начните вводить URL, и он подскажет, какие XML Sitemap вы анализировали ранее.
Анализ исходного кода и HTTP-заголовков
Аналогично, был полностью переработан интерфейс и добавлена вкладка «Извлечённый текст», на которой отображается весь контент страницы без HTML-тегов. Эта функция не заменяет, например, просмотр текстовой копии в Google (это более надёжный источник данных), однако показывает, как именно Netpeak Spider анализирует текст при расчётах количества слов или символов на странице.
Генератор Sitemap
Кроме переработки интерфейса, инструмент теперь создаёт карты сайта исключительно для индексируемых URL. Это означает, что в карту наверняка не попадут, например, страницы, закрытые от индексации.
14. Кастомные шаблоны настроек, фильтров / сегментов и параметров
В Netpeak Spider 3.0 мы реализовали преднастроенные шаблоны с возможностью создавать свои собственные шаблоны для:
- Настроек → такие шаблоны хранят информацию на всех вкладках настроек сканирования (кроме «Экспорт», «Аутентификация» и «Прокси») и позволяют переключаться между нужными настройками в два клика.
- Фильтров и сегментов → создавайте свои шаблоны, если часто фильтруете данные по одним и тем же условиям;
- Параметров → доступ к этим шаблонам вы можете получить на вкладке «Параметры» в боковой панели.
15. Возможность настроить виртуальный robots.txt
В Netpeak Spider 3.0 предусмотрена функция «Виртуальный robots.txt». Благодаря ней вместо актуального файла robots.txt в корневой директории вашего сайта будет использоваться именно составленный вами виртуальный файл. В первую очередь этот функционал будет полезен для тестирования нового файла robots.txt.
16. Совмещение всех режимов сканирования в один
В новой версии программы URL для сканирования можно добавлять следующими способами:
- Сканируя сайт → просто добавьте нужный адрес в поле «Начальный URL» и нажмите кнопку «Старт»: страницы будут добавляться по мере продвижения краулера по сайту.
- Вручную → программа откроет отдельное окно для ввода списка страниц, где каждый URL должен быть прописан с новой строки.
- Из файла → URL импортируются из файлов с расширениями .xlsx (Microsoft Excel), .csv (comma-separated values), .xml (Extensible Markup Language), .nspj (проект Netpeak Spider) и .ncpj (проект Netpeak Checker) ;
- Из XML Sitemap → этот способ откроет инструмент валидации XML Sitemap, через который уже можно выгрузить URL для сканирования в основной таблице.
- Из буфера обмена → просто нажмите комбинацию Ctrl+V, находясь в главном окне программы, и список URL из буфера обмена добавится в таблицу, а в уведомлении будет приведена краткая информация (что успешно добавилось, что уже есть в таблице, а что не добавилось по причине несоответствия стандартному формату URL).
- Drag and Drop → вы можете просто перенести проект или любой файл с вышеуказанным расширением из папки прямо в основную таблицу: Netpeak Spider проанализирует файлы и загрузит необходимые данные.
17. Таблица пропущенных при сканировании ссылок
Для случаев, когда сайт по каким-то причинам не сканируется, в программе был реализован следующий функционал:
Адрес, который вы вводите в поле «Начальный URL» всегда будет добавляться в таблицу. Таким образом, вы получите информацию, если этот URL редиректит на какой-то другой сайт или просто недоступен на данный момент.
Мы создали отдельную вкладку «Пропущенные URL», которая появляется только в тех случаях, если при сканировании были проигнорированы какие-то страницы. Здесь будут отображаться URL страницы и причина, по которой они были пропущены: например, вы включили учёт инструкций из файла robots.txt, применили правила сканирования или отключили проверку какого-то типа контента.
18. Быстрый поиск по таблице
Во всех интерфейсах программы реализована возможность быстрого поиска по соответствующей таблице — просто нажмите Ctrl+E и введите поисковый запрос.
Если вам необходимо отфильтровать данные по какому-то определённому параметру или сегментировать все данные, то можно воспользоваться соответствующими функциями:
- Ctrl+F → настройка фильтра;
- Ctrl+Shift+F → настройка сегмента.
19. Отложенный анализ тяжёлых данных
Все массивы тяжёлых данных были вынесены и сведены в единый модуль. С его помощью вы можете просматривать огромные списки:
- входящих, исходящих, внутренних и внешних ссылок,
- изображений,
- ошибок,
- редиректов,
- Canonical,
- заголовков H1-H6.
20. Новая вкладка «Параметры» с поиском и переходом к параметру в таблице
Установка анализируемых параметров была перенесена из настроек сканирования на вкладку «Параметры» в боковой панели. Теперь, аналогично Netpeak Checker, здесь можно осуществить поиск по всем параметрам, а также выбрать параметр и увидеть подробную подсказку о нём в блоке «Информация».
Если уже имеются результаты в основной таблице, то можно нажать на параметр (или воспользоваться кнопкой «Перейти» на этой панели), чтобы быстро перейти к соответствующему параметру в текущей таблице.
21. Мониторинг лимита памяти для сохранности данных
В новой версии программы реализована проверка объёма свободной оперативной памяти и места на жёстком диске: и там, и там для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то сканирование останавливается, и данные остаются в сохранности.
Коротко о главном
Netpeak Spider в версии 3.0 превратился в супербыстрый инструмент, позволяющий без проблем работать с большими сайтами и проводить их комплексную SEO-аналитику. По сравнению с версией 2.1 мы улучшили потрeбление оперативной памяти в 4 раза и уменьшили время сканирования в 30 раз (на примере пробивки большого сайта). А детальную информацию касательно всех обновлений, которые мы внедрили в Netpeak Spider 3.0, и сравнение по производительности с основными конкурентами вы можете найти в отдельном посте на блоге Netpeak Software.
Комментарии:
Как передавать данные пpaктически о каждом «шаге» пользователя на сайте...
28 03 2024 13:39:41
Нужен ли вашему проекту редактор? Как правильно его выбрать и оценить на собеседовании, а затем и в процессе работы?...
27 03 2024 4:59:52
Перед нами стояла цель увеличить поисковый трафик и видимость, не охватывая новые города. Через 8 месяцев после старта сотрудничества сайт переносили на новый front-end. Узнать больше!...
26 03 2024 2:34:31
Программа покорения онлайн мира мобайла — самому и с ограниченными средствами на маркетинг...
25 03 2024 5:33:59
Настройка в четыре шага и другие отличия AdWords Express от Adwords...
24 03 2024 11:10:28
Объявление или кабинет блокируют из-за эмоджи. Что делать?...
23 03 2024 17:45:31
Благодаря внедрению интеpaктивной формы подписки увеличили количество ежемecячных подписок на 100%, доход — на 51%, а коэффициент транзакций — на 71%....
22 03 2024 12:24:23
Значит так, делаем из лимонов лимонад — «выжимаем» максимум из ошибки 404...
21 03 2024 6:38:12
Делимся полезным скриптом — он проверяет код ответа сервера для списка страниц, до 1000 за сутки....
20 03 2024 18:53:29
Как посты и ролики Reels становятся первыми в ленте, сториз, попадают в рекомендации. Instagram впервые напрямую рассказали о том, как оценивают контент....
19 03 2024 4:37:29
Если на вашем смартфоне установлен только стандартный набор Uber, Glovo, 2ГИС и нескольких мессенджеров — смотрите подборку необычных и смешных приложений....
18 03 2024 6:58:53
Каким образом бизнес-модель маркетплейса может помочь увеличить трафик интернет-магазина в целом....
17 03 2024 4:29:49
Что, если бы покупка в супермаркете происходила так же, как в онлайн-магазине?...
16 03 2024 3:31:23
Как проверить качество текста от копирайтера. Составляем техническое задания для копирайтера, проверяем уникальность, наличие ключевых слов, использование LSI, проводим семантический анализ текста....
15 03 2024 5:23:35
Данные по более 26 млн кликов в 23 тематиках и 402 городах Украины...
14 03 2024 18:17:36
Решение для поискового продвижения крупных проектов (от 300 000 страниц)....
13 03 2024 15:28:17
Как сделать креативный мобильный баннер. Зачем нужны особенные баннеры для мобильных? Что делать с картинкой? Что делать с текстом? Что делать с другими рекламными форматами? Дополнительные элементы. Обо всем этом детально и спримерами...
12 03 2024 4:27:29
О работе, креативности, мотивации и многом другом....
11 03 2024 21:37:38
Предложение для крупных и средних бизнес-проектов по эффективному использованию больших бюджетов при запуске на новых рынках...
10 03 2024 19:41:50
Портал-каталог организаций и его продвижение. В этом кейсе мы детальнее остановимся на выгодах для проекта от синергии усилий клиента и агентских специалистов по контекстной рекламе...
09 03 2024 16:55:36
Всё о вебхуках. Как настроить механизм получения уведомлений о событиях с помощью функций обратных вызовов....
08 03 2024 21:26:57
Как быстро систематизировать мысли и заметки? Используйте систему Zettelkasten....
07 03 2024 4:12:33
Это исследование для тех, кто хочет выяснить, эффективно ли работать с лидами, если им год и больше...
06 03 2024 5:32:49
То, как вы читаете на мониторе или в смартфоне, значительно отличается от чтения книги или печатного журнала. Когда вы пишете текст для веба, очень важно знать об этой особенности....
05 03 2024 8:17:49
Не хотите настраивать объявление в Google Рекламе и Яндекс.Директ по отдельности? Узнайте, как сделать экспорт кампании и сэкономить время....
04 03 2024 10:28:28
Предположим, что оптимизация в аккаунте похожа на реальный мир и рассмотрим несколько примеров :)...
03 03 2024 0:36:58
Direct way. Как вложить 200 у.е. и получить 800 у.е....
02 03 2024 20:14:28
Эти данные пригодятся в составлении медиапланов по продвижению в интернете. Понимания стоимость конверсии и необходимое количество конверсий, вы можете прогнозировать, сколько денег на рекламу нужно выделить. Читать!...
01 03 2024 0:39:20
Про работу мозга и запоминание из книги Торкеля Клинберга «Информационный поток и пределы рабочей памяти» и обзор игр Lumosity....
29 02 2024 1:30:22
Чем радовала, смущала и шокировала реклама в социальных сетях в марте 2021-го...
28 02 2024 21:40:29
21 апреля Google официально начнет учитывать совместимость с мобильными девайсами в качестве одного из факторов ранжирования сайта в мобильном поиске. Что это значит для владельцев сайтов и вебмастеров? Мы подготовили небольшой FAQ по теме для рубрики «SE...
27 02 2024 0:12:22
Контент может информировать, вовлекать и продавать, при этом для каждой цели нужен свой тип контента...
26 02 2024 22:18:39
Вывод информационного сайта из-под алгоритмического YMYL фильтра Google...
25 02 2024 19:30:41
Аккаунт менеджеры это... Быть лицом компании, проводником между заказчиком и комaндой агентства, ментором для коллег и суперменом, готовым прийти на помощь клиенту в любой час дня и ночи… Эти задачи по плечу аккаунт-менеджерам Netpeak...
24 02 2024 3:50:31
Счетчик Яндекс.Метрики: создание и установка кода, важные настройки....
23 02 2024 19:27:27
Эффективность продвинутой сегментации стала заметна уже в первый месяц ее функционирования....
22 02 2024 20:37:25
Supplemental results, они же «сопли» или дополнительные результаты — страницы и документы сайта, которые не находятся в основном индексе Google...
21 02 2024 20:44:56
Агентство интернет-маркетинга Netpeak вышла на новые рекламные горизонты и приобрело 51% доли болгарской компании Optimization.bg....
20 02 2024 11:49:54
Важный вопрос, если вы рассчитываете на вирусный эффект своих рекламных идей....
19 02 2024 1:18:15
Нужно организовать конференцию с участием многих пользователей? Этот пост будет полезен, если до важного ивента есть хотя бы несколько дней в запасе....
18 02 2024 3:47:35
Создание репутации крутого специалиста — дело рук крутого специалиста....
17 02 2024 7:52:47
Как создать онлайн кампанию по продвижению мобильного приложения с максимальной отдачей....
16 02 2024 4:15:19
За каждым проектом стоят прежде всего люди. Как часто мы пользуемся сложными системами и не думаем о том, кто их создал и продолжает развивать? Интересно о том, кто и что стоит за «ПланФиксом». Читайте далее!...
15 02 2024 23:30:42
Почему в рекламе недвижимости стоит запускать динамический ремаркетинг...
14 02 2024 5:59:41
Прайс-менеджерам: покупаем и моделируем недостающие данные с помощью алгоритмов машинного обучения...
13 02 2024 18:22:52
Наибольшее количество онлайн транзакций было получено по брендовым запросам женского белья...
12 02 2024 5:55:41
О новых функциях Universal App Campaigns — специально для тех, кто хочет эффективно вовлекать пользователей приложений...
11 02 2024 3:10:22
Специалисты, занимающиеся seo копирайтингом, рассказывают об использовании LSI: определение текста, кол во символов, подсчет слов онлайн...
10 02 2024 0:57:20
Чтобы понять, как работает Роскомнадзор, пришлось разбираться в деталях и делать опрос по топовым хостингам. Ответы и выводы читайте в статье....
09 02 2024 21:43:33
Хотите видеть в отчетах точный ROMI в разрезе рекламных кампаний, групп объявлений и ключевых слов? Импортируйте себестоимость товаров в Google ***ytics...
08 02 2024 7:22:54
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::