Обзор Netpeak Spider 3.0: краткая версия
Коллеги, буквально вчера комaнда Netpeak Software представила новую версию нашего флагманского инструмента — Netpeak Spider 3.0. Это самое крупное обновление за всё время существования программы, которое включает в себя около 300 изменений: от супер-фич до небольших фиксов в юзабилити. Пока что оно доступно только на Windows, однако очень скоро мы портируем его и на Mac OS.
Ниже перечислю для вас самые масштабные изменения в программе, с которыми можно ознакомиться бесплатно в течение недели с момента релиза (до 4 апреля включительно).
Кстати, кодовое название нового обновлённого продукта — ни много ни мало «Новая SEO-надежда», и в следующем видео вы поймёте, почему.
А теперь давайте перейдём к обзору главных улучшений.
1. Скорость сканирования до 30 раз выше, чем в версии 2.1
Благодаря оптимизации процессов сканирования в Netpeak Spider 3.0 произошёл значительный прирост скорости работы.
Исходя из тестов, в рамках которых мы сравнивали скорость пробивки сайта на 100 000 URL c помощью Netpeak Spider 3.0 и предыдущей версии Netpeak Spider 2.1 с одинаковыми условиями, новая версия показывает увеличение скорости где-то в 30 раз.
2. Оптимальное потрeбление оперативной памяти
При анализе небольших сайтов (10 000 URL) мы сократили потрeбление оперативной памяти в 3 раза и ускорили сканирование в 8 раз.
Анализ больших сайтов (100 000 URL) раскрывает сильные стороны новой версии: потрeбление оперативной памяти ещё сильнее уменьшилось (в 4 раза), а сканирование заняло в 30 раз меньше времени.
3. Возможность продолжения сканирования после загрузки проекта
Теперь вы можете остановить сканирование, сохранить проект и потом досканировать сайт:
- к примеру, на следующий день → для этого необходимо просто открыть проект и нажать на кнопку «Старт»;
- на другом компьютере → для этого необходимо перенести всю папку с проектом на нужный компьютер (например, более мощный), открыть проект там и снова нажать на заветную кнопку «Старт».
4. Перепробивка URL или списка URL
Раньше, чтобы проверить корректность исправления определённой ошибки, нужно было сканировать весь сайт заново или мучиться со списками URL. Теперь же вы можете выбрать ошибку в боковой панели и запустить пересканирование только тех страниц, которые ей соответствуют → на выходе вы получите полностью обновлённый отчёт по всему сайту.
Также вы можете пересканировать как один URL, так и любой список URL на вкладках «Все результаты» или «Отфильтрованные результаты».
5. Удаление URL из отчёта
Если вы просканировали что-то лишнее, и вам мешают эти данные в отчётах, теперь вы можете без проблем удалить их, и все стандартные отчёты будут обновлены.
Также теперь вы можете просто очистить результаты, не удаляя сами URL — крайне полезно, когда вам необходимо как-то по-новому просканировать уже существующие страницы.
6. Изменение параметров в ходе сканирования
Возможность изменения параметров в процессе сканирования — одна из наиболее долгожданных функций, внедрить которую нас уже давно просят юзеры. Суть её заключается в следующем:
Если вы начали сканирование, а потом вспомнили, что не включили какой-то важный параметр или парсинг какого-то фрагмента HTML-кода, то теперь вы можете остановить сканирование, включить необходимые параметры и продолжить сканирование дальше. Уже просканированные страницы не будут перепробиваться, а включённые параметры начнут появляться только для новых страниц.
Если вы начали сканирование и понимаете, что данных слишком много, а они забивают оперативную память, при этом вы спокойно сможете без них прожить, то аналогично — останавливаете сканирование, выключаете ненужные параметры или парсеры, продолжаете сканирование. Эта опция позволяет освободить больше оперативной памяти и пробить ещё больше результатов.
7. Сегментация данных
Сегменты — это уникальная для десктопных продуктов функция, позволяющая изменить представление данных, ограничивая их определённым фильтром. Применение сегментов влияет на все отчёты в программе, включая ошибки, сводку, структуру сайта, дашборд и т.д.
8. Отчёт по структуре сайта
Мы реализовали новый отчёт с полной структурой сайта в виде дерева и возможностью отфильтровать страницы на любом уровне вложенности.
Выделив категорию и нажав кнопку «Расширенное копирование», вы скопируете в буфер обмена интересные результаты, которые можно вставить в любую внешнюю таблицу (например, Google Таблицы или Microsoft Excel).
9. Дашборд (информация о ходе сканирования и диаграммы после окончания сканирования)
В новой версии Netpeak Spider вы найдёте новую вкладку «Дашборд», которая включает в себя сводные данные о настройках и ходе сканирования, круговые и столбчатые диаграммы, SEO-инсайты и удобные преднастроенные фильтры.
В процессе сканирования на этой панели отображается удобная сводка по ходу сканирования и всем важным настройкам. Если необходимо, можно выгрузить её полный скриншот с помощью кнопки «Экспорт...».
Когда сканирование завершено, или вы его специально остановили, на «Дашборде» можно будет найти наглядные графики и диаграммы с полезными инсайтами о просканированных страницах. Все графики интеpaктивные: можно нажать на любую часть диаграммы или на любое значение рядом с ней и перейти на отфильтрованные результаты по этому значению.
10. Экспорт 10+ новых отчётов и 60+ отчётов об ошибках в два клика
В новой версии программы были реализованы новые удобные шаблоны, с помощью которых можно выгрузить необходимые отчёты в два клика. В их числе значатся следующие форматы отчётов:
- Все ошибки → все отчёты по ошибкам в одну папку;
- Специальные отчёты по ошибкам → отчёты с удобным представлением данных по определённым ошибкам:
- Битые ссылки,
- Изображения без атрибута ALT,
- Цепочки редиректов,
- Редиректы, заблокированные в robots.txt,
- Редиректы с неправильным форматом URL,
- Цепочки Canonical,
- Canonical, заблокированный в robots.txt,
- Ссылки с неправильным форматом URL.
- Все ссылки → отдельная выгрузка всех внешних и внутренних ссылок, которые присутствуют на просканированных страницах;
- Все уникальные URL и анкоры → аналогично, выгружаются отдельно все внешние и внутренние ссылки: данные в первом отчёте группируются по URL, а во втором — сразу по URL и анкору.
11. Определение индексируемых URL
Теперь Netpeak Spider разделяет страницы по степени индексируемости на 3 типа:
- Индексируемые — это HTML-документы с 2xx кодом ответа сервера, не закрытые от индексации с помощью различных инструкций (robots.txt, Canonical, Meta Robots и т.д.). Это самые важные страницы на сайте, которые потенциально могут приносить органический трафик.
- Неиндексируемые — это HTML-документы с отличным от 2xx кодом ответа сервера или закрытые от индексации. Такие страницы зачастую не приносят трафик из поисковых систем и расходуют краулинговый бюджет.
- Не HTML — все остальные документы, которые имеют меньший потенциал для ранжирования в выдаче поисковых систем.
Индексируемость станет единым унифицированным понятием для инструментов и аналитики внутри программы, а большинство ошибок теперь будет определяться исключительно среди индексируемых URL.
12. Специальные отчёты по каждой ошибке
Для удобства фильтрации определённых страниц, содержащих те или иные ошибки, мы сделали быстрый доступ по спецкнопке «Отчёт по ошибке». В рамках данной функции доступны отчёты для таких ошибок:
- Битые ссылки,
- Ссылки с неправильным форматом URL,
- Редирект, заблокированный в robots.txt,
- Canonical, заблокированный в robots.txt,
- Изображения без атрибута ALT,
- Внутренние nofollow ссылки,
- Внешние nofollow ссылки.
13. Полностью переработаны инструменты «Расчёт внутреннего PageRank», «Валидатор XML Sitemap», «Анализ исходного кода и HTTP-заголовков» и «Генератор Sitemap»
Расчёт внутреннего PageRank
- Добавлен отдельный параметр «Внутренний PR» для каждой ссылки.
- Теперь расчёт внутреннего PageRank происходит только для индексируемых URL: в нём больше не принимают участие изображения и другие типы файлов, отличные от HTML.
- Появился новый параметр «Вес ссылки», который показывает сколько веса передаётся по каждой конкретной ссылке. Он помогает оптимизировать внутренний ссылочный вес, если вы после моделирования перенесёте созданную структуру на сайт.
- Добавлена таблица «Динамика сумм PageRank» — на каждой итерации производится подсчёт отношения суммы внутреннего PageRank на текущей итерации к сумме на нулевой итерации.
Валидатор XML Sitemap
В предыдущей версии валидатор XML-карт сайта был режимом сканирования, однако теперь мы вынесли его в отдельный инструмент для решения следующих задач:
- Парсинг ссылок из XML Sitemap с возможностью передачи их в основную таблицу для дальнейшего сканирования;
- Валидация карты сайта → здесь мы полностью переработали все ошибки (теперь их 34 штуки) и учли основные рекомендации Google и Яндекса;
- Отправка ping в поисковые системы для того, чтобы обратить их внимание на изменения в ваших файлах XML Sitemap.
Обратите внимание, что теперь правила сканирования учитываются при парсинге ссылок из XML-карт сайта. Также инструмент хранит все ваши запросы: начните вводить URL, и он подскажет, какие XML Sitemap вы анализировали ранее.
Анализ исходного кода и HTTP-заголовков
Аналогично, был полностью переработан интерфейс и добавлена вкладка «Извлечённый текст», на которой отображается весь контент страницы без HTML-тегов. Эта функция не заменяет, например, просмотр текстовой копии в Google (это более надёжный источник данных), однако показывает, как именно Netpeak Spider анализирует текст при расчётах количества слов или символов на странице.
Генератор Sitemap
Кроме переработки интерфейса, инструмент теперь создаёт карты сайта исключительно для индексируемых URL. Это означает, что в карту наверняка не попадут, например, страницы, закрытые от индексации.
14. Кастомные шаблоны настроек, фильтров / сегментов и параметров
В Netpeak Spider 3.0 мы реализовали преднастроенные шаблоны с возможностью создавать свои собственные шаблоны для:
- Настроек → такие шаблоны хранят информацию на всех вкладках настроек сканирования (кроме «Экспорт», «Аутентификация» и «Прокси») и позволяют переключаться между нужными настройками в два клика.
- Фильтров и сегментов → создавайте свои шаблоны, если часто фильтруете данные по одним и тем же условиям;
- Параметров → доступ к этим шаблонам вы можете получить на вкладке «Параметры» в боковой панели.
15. Возможность настроить виртуальный robots.txt
В Netpeak Spider 3.0 предусмотрена функция «Виртуальный robots.txt». Благодаря ней вместо актуального файла robots.txt в корневой директории вашего сайта будет использоваться именно составленный вами виртуальный файл. В первую очередь этот функционал будет полезен для тестирования нового файла robots.txt.
16. Совмещение всех режимов сканирования в один
В новой версии программы URL для сканирования можно добавлять следующими способами:
- Сканируя сайт → просто добавьте нужный адрес в поле «Начальный URL» и нажмите кнопку «Старт»: страницы будут добавляться по мере продвижения краулера по сайту.
- Вручную → программа откроет отдельное окно для ввода списка страниц, где каждый URL должен быть прописан с новой строки.
- Из файла → URL импортируются из файлов с расширениями .xlsx (Microsoft Excel), .csv (comma-separated values), .xml (Extensible Markup Language), .nspj (проект Netpeak Spider) и .ncpj (проект Netpeak Checker) ;
- Из XML Sitemap → этот способ откроет инструмент валидации XML Sitemap, через который уже можно выгрузить URL для сканирования в основной таблице.
- Из буфера обмена → просто нажмите комбинацию Ctrl+V, находясь в главном окне программы, и список URL из буфера обмена добавится в таблицу, а в уведомлении будет приведена краткая информация (что успешно добавилось, что уже есть в таблице, а что не добавилось по причине несоответствия стандартному формату URL).
- Drag and Drop → вы можете просто перенести проект или любой файл с вышеуказанным расширением из папки прямо в основную таблицу: Netpeak Spider проанализирует файлы и загрузит необходимые данные.
17. Таблица пропущенных при сканировании ссылок
Для случаев, когда сайт по каким-то причинам не сканируется, в программе был реализован следующий функционал:
Адрес, который вы вводите в поле «Начальный URL» всегда будет добавляться в таблицу. Таким образом, вы получите информацию, если этот URL редиректит на какой-то другой сайт или просто недоступен на данный момент.
Мы создали отдельную вкладку «Пропущенные URL», которая появляется только в тех случаях, если при сканировании были проигнорированы какие-то страницы. Здесь будут отображаться URL страницы и причина, по которой они были пропущены: например, вы включили учёт инструкций из файла robots.txt, применили правила сканирования или отключили проверку какого-то типа контента.
18. Быстрый поиск по таблице
Во всех интерфейсах программы реализована возможность быстрого поиска по соответствующей таблице — просто нажмите Ctrl+E и введите поисковый запрос.
Если вам необходимо отфильтровать данные по какому-то определённому параметру или сегментировать все данные, то можно воспользоваться соответствующими функциями:
- Ctrl+F → настройка фильтра;
- Ctrl+Shift+F → настройка сегмента.
19. Отложенный анализ тяжёлых данных
Все массивы тяжёлых данных были вынесены и сведены в единый модуль. С его помощью вы можете просматривать огромные списки:
- входящих, исходящих, внутренних и внешних ссылок,
- изображений,
- ошибок,
- редиректов,
- Canonical,
- заголовков H1-H6.
20. Новая вкладка «Параметры» с поиском и переходом к параметру в таблице
Установка анализируемых параметров была перенесена из настроек сканирования на вкладку «Параметры» в боковой панели. Теперь, аналогично Netpeak Checker, здесь можно осуществить поиск по всем параметрам, а также выбрать параметр и увидеть подробную подсказку о нём в блоке «Информация».
Если уже имеются результаты в основной таблице, то можно нажать на параметр (или воспользоваться кнопкой «Перейти» на этой панели), чтобы быстро перейти к соответствующему параметру в текущей таблице.
21. Мониторинг лимита памяти для сохранности данных
В новой версии программы реализована проверка объёма свободной оперативной памяти и места на жёстком диске: и там, и там для работы программы должно быть не менее 128 Мбайт. Если лимит обнаружен, то сканирование останавливается, и данные остаются в сохранности.
Коротко о главном
Netpeak Spider в версии 3.0 превратился в супербыстрый инструмент, позволяющий без проблем работать с большими сайтами и проводить их комплексную SEO-аналитику. По сравнению с версией 2.1 мы улучшили потрeбление оперативной памяти в 4 раза и уменьшили время сканирования в 30 раз (на примере пробивки большого сайта). А детальную информацию касательно всех обновлений, которые мы внедрили в Netpeak Spider 3.0, и сравнение по производительности с основными конкурентами вы можете найти в отдельном посте на блоге Netpeak Software.
Комментарии:
Аналитики из SalesForce уже в четвертый раз опубликовали исследование о приоритетах, составе комaнд и распределении бюджетов ведущими маркетологами мира...
09 02 2025 4:44:22
Зачем амбициозным онлайн-проектам индивидуальные инструменты веб-аналитики....
08 02 2025 5:48:26
Менять карьеру страшно, особенно после тридцати. Поэтому мы спросили людей, у которых это получилось — через какие трудности им пришлось пройти....
07 02 2025 14:53:56
Когда на сайт добавляют новый контент, он тут же трaнcлируется в RSS-ленту и отображается в специальных программах для чтения, либо в email подписчиков. Как это работает?...
06 02 2025 12:14:28
Мы уже писали о Google Shopping, в каких странах он доступен и как его настроить. В этом посте я покажу один из способов создания и загрузки фида данных. Это важный этап подготовки к запуску Google Shopping...
05 02 2025 22:37:34
Нескучный инструктаж на примере @netpeak_ua о том, зачем компании корпоративный Twitter для продвижения контента, компании или персоны. А еще про хештеги, поиск читателей, аналитику, стиль ведения вашего микроблога, создание сообщества и акции...
04 02 2025 0:29:49
Интересные факты про Google Рекламу перевел Сергeй Бахарь для читателей нашего блога....
03 02 2025 7:23:26
У нас было 500 вечнозеленых постов и желание понять алгоритм ленты Facebook....
02 02 2025 17:40:17
Планируете создание бизнеса, связанного с торговлей в интернете? Сначала прочитайте этот текст....
01 02 2025 14:55:10
Нам удалось увеличить количество органических показов на 63% и установок на 25%....
31 01 2025 6:24:35
Обойдемся без теории, зато покажем пример SEO-аудита...
30 01 2025 11:53:33
Удача и везение — не случайность. Это выбор. Любопытные эксперименты профессора Ричарда Вайсмена инсайде...
29 01 2025 18:52:39
Цель — трафик facebook. Делимся кейсом проекта «Мой город»....
28 01 2025 20:15:57
Как исключить показы на нецелевых площадках в новом интерфейсе Google Ads. В конце статьи 30 000 минус-площадок, каналов YouTube, сайтов, приложений...
27 01 2025 12:14:46
Почти 3 миллиона клика в 24 тематиках в 15 городах Казахстана. Читайте новое исследование нашего аналитика....
26 01 2025 17:25:43
Программа знаний и умений, чтобы стать Project Manager в агентстве интернет-маркетинга...
25 01 2025 0:45:51
Создаем список тем, которые заинтересуют пользователя — для этого используем простые сервисы по типу Вордстат. Также изучаем деятельность конкурентов. Узнать больше!...
24 01 2025 7:21:38
Делимся полезным скриптом — он проверяет код ответа сервера для списка страниц, до 1000 за сутки....
23 01 2025 10:40:18
Что такое ускоренные мобильные страницы и как их посмотреть в Google ***ytics...
22 01 2025 5:23:52
Как упростить работу с данными и сэкономить на оплате сервиса...
21 01 2025 20:13:52
Причины, по которым имеет смысл работать в офисе хотя бы несколько дней в неделю, а может и больше. Конечно, только если эпидемиологическая ситуация не заставляет оставаться дома. Берегите себя....
20 01 2025 13:58:50
Не стучитесь к Алексею на ФБ с предложением что-то придумать для бренда. У Ломоносова целый тред таких непрочитанных сообщений. Узнать больше....
19 01 2025 19:57:21
Продвигаем медицинский проект. Кроме цифр рассказываем, что и как делали...
18 01 2025 7:22:25
Семнадцать крутых шагов к эффективному бренду Заг — это авторский неологизм от слова зигзаг (англ. zigzag). Он подразумевает движение в другом направлении....
17 01 2025 0:13:11
Email-маркетинг — хороший полицейский, спам — плохой....
16 01 2025 22:40:28
Как вывести в индекс страницы сайта на Ajax: от необходимости их создания, роли SEO, ускорении индексации и реальные рекомендации всего в трех пунктах, чтобы основное преимущество таких сайтов работало безотказно...
15 01 2025 11:35:28
Узнаем расширенную информацию о посещениях сайта с помощью языка R — кейс Netpeak...
14 01 2025 16:18:40
На что обращает внимание система и менеджеры Google при проверке сайта и аккаунта....
13 01 2025 0:15:31
Уроки, написанные понятным и доступным языком экспертами по контекстной рекламе, поисковому продвижению, SMM....
12 01 2025 19:17:17
Measurement Protocol — метод передачи данных о продажах или любых других взаимодействиях с покупателями на сервера Google ***ytics пpaктически из любого источника: внутренней CRM-системы, базы данных и даже платежного терминала...
11 01 2025 10:58:33
Рекламные кампании для брендинга, роста вовлечения пользователей, продаж, лояльности. Какой формат выбрать, чтобы получить необходимое целевое действие. Узнать!...
10 01 2025 5:31:23
Как создавать интеpaктивные рассылки-сайты и чем они хороши...
09 01 2025 18:48:12
Зная стоимость клика в вашей тематике или регионе, коэффициент конверсии на сайте, вы можете оценить объем необходимых в рекламу инвестиций и прогнозировать стоимость конверсии. Узнать больше!...
08 01 2025 1:43:23
Что такое идеальное время доставки почты и как его использовать для повышения кликабельности email-кампаний....
07 01 2025 3:37:42
Грамотный контент важен для всех, но особенно — для аутсорсов и стартапов в B2B. Если вы согласны с этим, давайте делать медиа....
06 01 2025 12:21:12
С каждым годом китайские маркетплейсы увеличивают свое влияние, и покупатели всё активней заказывают товары из Поднебесной. Но не всё скидки да покупки — обладатели интернет-аудитории и маркетологи могут еще и хорошо заработать на этих площадках....
05 01 2025 8:54:40
5 мая в 17:00 — митап в Zoom с Радомиром Новковичем — фаундером RadASO и CEO Tonti Laguna Mobile....
04 01 2025 4:24:22
В этом году часть пользователей предпочла вернуться к привычным покупкам в оффлайн-магазинах....
03 01 2025 4:24:12
Увольнять сотрудника — это неприятно и порой сложно. Прежде надо убедиться, что такой шаг оправдан, но он же потребует от руководителя понимания, как действовать в подобной ситуации. На этом и остановимся...
02 01 2025 8:26:53
Менеджер, маркетолог, дизайнер программист? Делимся секретами нетпик, каким должен быть специалист по рекламе...
01 01 2025 20:56:53
Перевод статьи Никки Джиллиленд из Econsultancy об уроках для маркетологов про то, каким должно быть хорошее видео. Узнайте 4 правила эффективного видеоконтента прямо сейчас!...
31 12 2024 18:17:30
Как бесплатно пользоваться преимуществами, особенностями и дополнительными инструментами сервиса...
30 12 2024 13:38:13
Повышаем эффективность рекламных кампаний. Как рекламодателю-новичку самостоятельно провести аудит своих кампаний в Google Ads, а также про наиболее частые ошибки новичков, связанные с работой и аудитами кампаний в Google Ads. Читайте дальше!...
29 12 2024 3:36:12
Каким правилам нужно следовать, чтобы создать эффективный рекламный ролик?...
28 12 2024 17:54:27
Цель этой статьи — предупредить от опасной ошибки в маркетинге: бездумного и неправильного внедрения NPS-опросника....
27 12 2024 1:41:44
Адаптивный линкбилдинг: будьте полезны людям, а не поисковикам....
26 12 2024 21:45:41
Учимся выстраивать коммуникацию по специальным сценариям....
25 12 2024 0:18:55
Чтобы понять, как работает Роскомнадзор, пришлось разбираться в деталях и делать опрос по топовым хостингам. Ответы и выводы читайте в статье....
24 12 2024 0:39:49
Каким образом бизнес-модель маркетплейса может помочь увеличить трафик интернет-магазина в целом....
23 12 2024 15:12:35
Экспорт/импорт с помощью Excel-файла или таблиц Google позволит скопировать и перенести кампании, группы объявлений и объявления в Facebook вместе с креативами, текстами, ссылками и utm-метками...
22 12 2024 20:37:52
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::