Как быстро собрать данные из блока People also ask в Google
Всем привет, меня зовут Евгений, я SEO-специалист компании FINOTEC. Сегодня я расскажу, как автоматизировать сбор данных из блока People also ask (Пользователи также ищут). Это блок, который показывается в верхней части страницы результатов поиска. Он нужен, чтобы уточнить запрос пользователя. Отображение этого блока начали тестировать в поисковой системе Google в 2015 году.
People also ask
SEO-специалистам этот блок может быть интересен для решения двух задач:
- Улучшение структуры статей: охват большего количества подтем.
- Идеи для новых статей.
Чтобы собрать список запросов, по которым показывается этот блок, и спарсить информацию, я использовал инструменты: Serpstat, Notepad++, Screaming Frog SEO Spider и разделил работу на четыре этапа.
Как собрать запросы?
Инструмент: SerpstatПример запроса: what is cto
Вводим свой запрос и выбираем регион.
Переходим к списку всех запросов по кнопке «Показать все».
Фильтруем результаты: Фильтр — Наличие элементов в выдаче — Содержит — Связанные вопросы — Применить.
Экспортируем данные.
Список запросов, который мы получили:
Подготовка
Инструменты: Notepad++.Формируем список URL для парсинга по шаблону https://www.google.com/search?q=[ваш+запрос]&hl=[язык]&gl=[ЛОКАЛЬ]. Например. Сделать это в Notepad++ можно в три этапа.
- Найти знак пробела ( ) и заменить на плюс (+).
- Найти начало строки (^) и заменить на: https://www.google.com/search?q=.
Важно: Должны быть включены «Регулярные выражения».
- Найти конец строки ($) и заменить на &hl=[язык]&gl=[ЛОКАЛЬ] (в моем примере: &hl=en&gl=US).
Важно: Должны быть включены «Регулярные выражения».
Получили список:
- https://www.google.com/search?q=what+is+a+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+a+cto+of+a+company&hl=en&gl=US
- https://www.google.com/search?q=what+is+ctos&hl=en&gl=US
- https://www.google.com/search?q=what+is+a+cto+salary&hl=en&gl=US
- https://www.google.com/search?q=what+is+the+role+of+a+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto+in+cardiology&hl=en&gl=US
- https://www.google.com/search?q=what+is+the+meaning+of+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto+means&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto+filter&hl=en&gl=US
- https://www.google.com/search?q=what+is+a+cto+filter&hl=en&gl=US
Отладка Screaming Frog
Несмотря на типичность задачи, первые попытки спарсить информацию у меня не увенчались успехом. На выходе получал пустой отчет. Поэтому опишу последовательность действий, которая привела меня к желаемому результату. Забегая наперед скажу — проблема заключалась в том, что для User-Agent, установленного в Screaming Frog по умолчанию, этот блок просто не отображался.
Выбираем Mode — List.
Переходим Configuration — Authentication.
Вкладка Forms Based — Add.
Вводим один из сгенерированных нами URL, например: https://www.google.com/search?q=what+is+a+cto&hl=en&gl=US.
Смотрим, как Screaming Frog видит страницу. В данном случае программа не видит нужный нам блок, точнее Google его не показывает.
Пробуем посмотреть под другим User-Agent.
Выбираем из списка. В данном случае мне подошел «Google bot for smartphones (pre April 18th 2016)».
Еще раз проверяем, как Screaming Frog будет видеть страницу, которую мы спарсим.
Парсинг для Screaming frog
Переходим в Configuration — Custom — Extraction.
Указываем, как будем искать элемент на странице (CSSPath, xPath, Regex etc) и нажимаем «Ok».
В данном случае я выбрал такие настройки:
Тип: CSSPath.Селектор: .cUnQKe .ifM9O.
Данные: только текст.
Берем подготовленные нами URL для парсинга.
Вставляем их в программу: Upload — Paste.
Нажимаем «OK».
Смотрим результаты: Custom — Extraction. Экспортируем.
После удаления дублей у нас есть список:
- How can I improve my ctos score?
- How do I register for CTOS?
- How do you use color correction gels?
- How does a GAC filter work?
- How long do charcoal water filters last?
- How much does a startup CTO make?
- What are the duties of a CTO?
- What contaminants do carbon filters remove?
- What does CTO stand for in cardiology?
- What does CTO stand for?
- What does CTO time off mean?
- What does a 5 micron filter remove?
- What does a CTO make?
- What does chronic total occlusion mean?
- What does it take to be a CTO?
- What is CTO gel?
- What is CTO in social media means?
- What is CTO salary?
- What is a CTO of a company?
- What is a CTO salary?
- What is a CTO water filter?
- What is a carbon block filter?
- What is chronic total occlusion of coronary artery?
- What is ctos score Malaysia?
- What is the CTO stand for?
- What is the difference between a CTO and a CIO?
- What is the meaning of CTOS?
- What is the role of a CTO in a company?
- What is the role of a CTO in a startup?
- Which is higher CIO or CTO?
- Who does the CTO report to?
- Why is CTO important?
Осталось удалить нерелевантные результаты, оформить это в статью и опубликовать на блоге Netpeak, всегда так делаю (нет).
Если у вас возникли вопросы, задавайте их в комментариях к посту или лично мне в сообщениях — отвечу.
Мнение авторов гостевых постов может не совпадать с позицией редакции и специалистов агентства Netpeak.
Комментарии:
Пошаговый чек-лист и описание действий SEO-специалиста на всех этапах переноса сайта на новую CMS....
04 10 2022 5:34:52
Обзор главных преимуществ, которые дают облачные академии бизнесу....
03 10 2022 13:47:14
Рассказываем о перспективном формате рекламы, который привлекает внимание потребителя даже в эпоху повсеместной «баннерной слепоты»....
02 10 2022 5:38:40
Клиенты, партнеры, потенциальные сотрудники — для каждой аудитории есть своя платформа. Какими нужно быть в соцсетях, чтобы вас заметили, читайте об опыте Reface....
01 10 2022 19:47:17
Настройка пикселя TikTok — короткий и понятный мануал. Устанавливаем пиксель вручную: вставка кода на сайт и интеграция через Install pixel code by 3rd party tool. Читать дальше....
30 09 2022 2:20:55
Украинские реалии того, в каких тематиках трафик из Yandex.Direct дороже Google Ads. Новое исследование Алексея Селезнева....
29 09 2022 6:22:17
Гайд по рекламе для SMM-, PPC-специалистов, блогеров и владельцев бизнеса...
28 09 2022 20:40:22
Обновление от Google, запущенный в октябре 2015 года. Это просто веб-страницы, но в их основе находится AMP HTML, формат для максимального ускорения загрузки на телефонах...
27 09 2022 16:51:26
Интерфейс прикладного программирования для работы с аккаунтами десятка сайтов....
26 09 2022 14:34:47
Рекомендации от Google для бизнеса о поведении в период распространения коронавируса....
25 09 2022 4:48:36
Самые точные данные статистики, которые вы получите с помощью Google Tag Manager....
24 09 2022 19:54:59
Статистика изменений долей рынка после майского и декабрьского апдейта Google в 2020 году....
23 09 2022 2:56:52
Как передавать данные пpaктически о каждом «шаге» пользователя на сайте...
22 09 2022 23:36:59
Вывод информационного сайта из-под алгоритмического YMYL фильтра Google...
21 09 2022 14:35:16
Чтобы проставить 301 редиректы, вначале надо выгрузить весь список топовых страниц по обратным ссылкам...
20 09 2022 16:34:48
Стратегия продвижения, благодаря которой удалось снизить стоимость заявки от покупателей. Рассказываем об особенностях проведения акций в нише. Узнать больше!...
19 09 2022 7:39:59
Одесские магазины, где продают вечерние и свадебные платья нуждаются в особом внимании интернет-маркетинга. Как настроить контекстную рекламу для малого и среднего бизнеса со скромными маркетинговыми бюджетами...
18 09 2022 13:55:58
Бонус в статье: как собрать аудитории для ремаркетинга на брошенную корзину...
17 09 2022 10:59:16
Netpeak Checker – это мультифункциональный инструмент для массового анализа и сравнения сайтов, который помогает выполнять самые разнообразные задачи в области интернет-маркетинга....
16 09 2022 15:24:53
Структура обзора, правила написания и важные хаpaктеристики этого формата. Подача информации в обзоре и запрещенные методы, которые отпугнут клиентов. Узнать больше!...
15 09 2022 1:43:22
А сейчас про конференцию Netpeak Friends Day для друзей Netpeak Group...
14 09 2022 7:53:33
О чем стоит задуматься владельцам бизнеса и пользователям больших сайтов и почему Марку Цукербергу надо брать пример с телефонных сетей...
13 09 2022 11:29:17
Первое подробное руководство по работе с оконными функциями в Google BigQuery....
12 09 2022 5:35:15
Тренинг по контекстной рекламе образовательных курсов в Google Ads, Яндекс.Директ, Target@mail...
11 09 2022 10:31:45
Пошагово подключаем скрипт проверки бюджета аккаунтов Google Ads. Скрипт отправляет уведомление на почту и в Telegram — это поможет вовремя пополнить счет. Узнать больше!...
10 09 2022 7:12:26
Время, потраченное на исправление ошибок, допущенных на этапе подготовки и создания сайта, убивает потенциал роста видимости ресурса....
09 09 2022 5:54:47
Список инструментов email-маркетолога для рассылок по англоязычной аудитории....
08 09 2022 1:23:36
Как установить счетчик Метрики, грамотно настроить цели, сегменты и запустить рекламную кампанию по ретаргетингу в Яндекс.Директ...
07 09 2022 12:45:26
Пpaктическая информация о том, что и куда нужно постить....
06 09 2022 22:26:53
Как надолго завоевать доверие покупателя с помощью грамотного email-маркетинга? Примеры обращений к клиенту в рассылках, текст писем для привлечения и благодарности за покупку....
05 09 2022 5:30:29
Контент может информировать, вовлекать и продавать, при этом для каждой цели нужен свой тип контента...
04 09 2022 9:17:38
Советы и даже требования SEO-специалистов к разработчикам сайтов....
03 09 2022 3:51:55
Требования к интернет-магазину, мануал по регистрации, что может пойти не так...
02 09 2022 22:14:17
То, как мы разговариваем, важно не только в жизни, но и в соцсетях. Зачем нужен tone of voice и как сделать, чтобы ваш голос отличался от других и был эффективен? Читайте наш гайд....
01 09 2022 0:26:50
Метод бoмжа в маркетинге. Как разработать позиционирование стартапа при ограниченных ресурсах...
31 08 2022 3:54:44
Представление — это уровень доступа в аккаунте Google ***ytics. На уровне представления можно предоставить или ограничить доступ пользователей к отчетам и аналитическим инструментам...
30 08 2022 3:15:37
Какой контент публиковать в Instagram, зачем ставить хештеги, какие активности интересны пользователям инсты, как ведут свой Инстаграм топовые бренды. Узнать больше!...
29 08 2022 12:10:44
Услуга уровня элит-класса в конкурентной нише и не в самом простом для продвижения регионе. Рассказываем, как привели целевой трафик по минимальной цене. Узнать!...
28 08 2022 12:12:44
Оплата покупок в Facebook и Instagram через платежные ссылки...
27 08 2022 15:49:58
Чтобы создавать удобные отчеты, импортируйте данные из Яндекс.Директ в Microsoft Power BI с помощью язык R...
26 08 2022 16:46:23
Как трафик CDN повлиял на систему интернет-магазина — палим кейсы...
25 08 2022 9:37:41
Как мы проводили самую летнюю конференцию в условиях постлокдayна, пандемии и неизвестности....
24 08 2022 5:34:46
Наш результат ведения рекламных кампаний в Facebook показывает, что при правильно подобранной стратегии можно даже за короткий период в авральном режиме попасть точно в цель...
23 08 2022 18:21:26
И зачем топ-менеджерам разбираться в настройках кампаний, повышать свою техническую грамотность? Показываем на примерах и раскладываем по полочкам....
22 08 2022 17:50:35
Исследование по 38,5 миллионам кликов в 22 тематиках в 391 городе страны....
21 08 2022 15:46:25
Терялись ли вы некогда в лабиринте Википедии из внутренних ссылок и побочных статей? Представьте, насколько непредсказуемым он может стать через несколько десятилетий....
20 08 2022 2:38:21
Что, если бы покупка в супермаркете происходила так же, как в онлайн-магазине?...
19 08 2022 20:23:54
Данные по 34 миллионам кликов в 24 тематиках и 386 городах...
18 08 2022 23:29:15
Актуальный обзор особенностей работы онлайн-проектов в Казахстане...
17 08 2022 1:46:16
База самых распространенных CMS и модулей для их SEO-оптимизации....
16 08 2022 13:24:17
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
Как автоматизировать работу комaнды поддержки — кейс Netpeak Cluster и ПланФикс
Библиотеки JavaScript для Google ***ytics: в чем разница между ***ytics.js, gtag.js и ga.js
Белое и черное SEO, алгоритм Google и будущее интернета — простые ответы от Артема Бородатюка
Система Планфикс — SaaS-система управления проектами
Инсайты Google Business Profile: от настройки до оптимизации