Как быстро собрать данные из блока People also ask в Google
Всем привет, меня зовут Евгений, я SEO-специалист компании FINOTEC. Сегодня я расскажу, как автоматизировать сбор данных из блока People also ask (Пользователи также ищут). Это блок, который показывается в верхней части страницы результатов поиска. Он нужен, чтобы уточнить запрос пользователя. Отображение этого блока начали тестировать в поисковой системе Google в 2015 году.
People also ask
SEO-специалистам этот блок может быть интересен для решения двух задач:
- Улучшение структуры статей: охват большего количества подтем.
- Идеи для новых статей.
Чтобы собрать список запросов, по которым показывается этот блок, и спарсить информацию, я использовал инструменты: Serpstat, Notepad++, Screaming Frog SEO Spider и разделил работу на четыре этапа.
Как собрать запросы?
Инструмент: SerpstatПример запроса: what is cto
Вводим свой запрос и выбираем регион.
Переходим к списку всех запросов по кнопке «Показать все».
Фильтруем результаты: Фильтр — Наличие элементов в выдаче — Содержит — Связанные вопросы — Применить.
Экспортируем данные.
Список запросов, который мы получили:
Подготовка
Инструменты: Notepad++.Формируем список URL для парсинга по шаблону https://www.google.com/search?q=[ваш+запрос]&hl=[язык]&gl=[ЛОКАЛЬ]. Например. Сделать это в Notepad++ можно в три этапа.
- Найти знак пробела ( ) и заменить на плюс (+).
- Найти начало строки (^) и заменить на: https://www.google.com/search?q=.
Важно: Должны быть включены «Регулярные выражения».
- Найти конец строки ($) и заменить на &hl=[язык]&gl=[ЛОКАЛЬ] (в моем примере: &hl=en&gl=US).
Важно: Должны быть включены «Регулярные выражения».
Получили список:
- https://www.google.com/search?q=what+is+a+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+a+cto+of+a+company&hl=en&gl=US
- https://www.google.com/search?q=what+is+ctos&hl=en&gl=US
- https://www.google.com/search?q=what+is+a+cto+salary&hl=en&gl=US
- https://www.google.com/search?q=what+is+the+role+of+a+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto+in+cardiology&hl=en&gl=US
- https://www.google.com/search?q=what+is+the+meaning+of+cto&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto+means&hl=en&gl=US
- https://www.google.com/search?q=what+is+cto+filter&hl=en&gl=US
- https://www.google.com/search?q=what+is+a+cto+filter&hl=en&gl=US
Отладка Screaming Frog
Несмотря на типичность задачи, первые попытки спарсить информацию у меня не увенчались успехом. На выходе получал пустой отчет. Поэтому опишу последовательность действий, которая привела меня к желаемому результату. Забегая наперед скажу — проблема заключалась в том, что для User-Agent, установленного в Screaming Frog по умолчанию, этот блок просто не отображался.
Выбираем Mode — List.
Переходим Configuration — Authentication.
Вкладка Forms Based — Add.
Вводим один из сгенерированных нами URL, например: https://www.google.com/search?q=what+is+a+cto&hl=en&gl=US.
Смотрим, как Screaming Frog видит страницу. В данном случае программа не видит нужный нам блок, точнее Google его не показывает.
Пробуем посмотреть под другим User-Agent.
Выбираем из списка. В данном случае мне подошел «Google bot for smartphones (pre April 18th 2016)».
Еще раз проверяем, как Screaming Frog будет видеть страницу, которую мы спарсим.
Парсинг для Screaming frog
Переходим в Configuration — Custom — Extraction.
Указываем, как будем искать элемент на странице (CSSPath, xPath, Regex etc) и нажимаем «Ok».
В данном случае я выбрал такие настройки:
Тип: CSSPath.Селектор: .cUnQKe .ifM9O.
Данные: только текст.
Берем подготовленные нами URL для парсинга.
Вставляем их в программу: Upload — Paste.
Нажимаем «OK».
Смотрим результаты: Custom — Extraction. Экспортируем.
После удаления дублей у нас есть список:
- How can I improve my ctos score?
- How do I register for CTOS?
- How do you use color correction gels?
- How does a GAC filter work?
- How long do charcoal water filters last?
- How much does a startup CTO make?
- What are the duties of a CTO?
- What contaminants do carbon filters remove?
- What does CTO stand for in cardiology?
- What does CTO stand for?
- What does CTO time off mean?
- What does a 5 micron filter remove?
- What does a CTO make?
- What does chronic total occlusion mean?
- What does it take to be a CTO?
- What is CTO gel?
- What is CTO in social media means?
- What is CTO salary?
- What is a CTO of a company?
- What is a CTO salary?
- What is a CTO water filter?
- What is a carbon block filter?
- What is chronic total occlusion of coronary artery?
- What is ctos score Malaysia?
- What is the CTO stand for?
- What is the difference between a CTO and a CIO?
- What is the meaning of CTOS?
- What is the role of a CTO in a company?
- What is the role of a CTO in a startup?
- Which is higher CIO or CTO?
- Who does the CTO report to?
- Why is CTO important?
Осталось удалить нерелевантные результаты, оформить это в статью и опубликовать на блоге Netpeak, всегда так делаю (нет).
Если у вас возникли вопросы, задавайте их в комментариях к посту или лично мне в сообщениях — отвечу.
Мнение авторов гостевых постов может не совпадать с позицией редакции и специалистов агентства Netpeak.
Комментарии:
Магазин детской обуви: конкретные цифры в кейсе по продвижению....
11 09 2024 9:35:42
Как отслеживать эффективность мобильного приложения в онлайн-режиме....
10 09 2024 8:48:56
Direct way. Как вложить 200 у.е. и получить 800 у.е....
09 09 2024 12:27:19
Как Netpeak продвигал Cifrus.ru, один из ведущих магазинов цифровой техники в Москве....
08 09 2024 12:20:48
Ссылка с сайта с высоким тИЦ уже не считается качественной. Хороший донор вычисляется по комплексу факторов. Большую часть работы придется делать вручную. Важно найти отличный сайт, с огромным количеством интересного контента, оцененного по достоинству читателями, и гармонично туда вписать свою статью со ссылкой...
07 09 2024 7:41:53
Благодаря сервисам оплаты частями у покупателей появляется возможность покупать товары и услуги по выгодным ценам. А у бизнеса — увеличивать объем продаж....
06 09 2024 20:31:46
Повышение эффективности продаж через звонки с помощью call tracking....
05 09 2024 7:28:14
Короткий интересный клип в Instagram — фишка маркетингового сезона 2015...
04 09 2024 1:32:21
Мы решили узнать, как дорого обходятся рекламодателям клики по объявлениям в разных странах и тематиках, чтобы читателям блога было удобнее планировать бюджет на рекламные кампании....
03 09 2024 19:27:16
Короткая история Serpstat — от сервиса «для своих» до международной SEO-платформы....
02 09 2024 18:48:43
Как нарисовать круговую или столбчатую диаграмму. Избавляемся от популярных ошибок при оформлении...
01 09 2024 5:34:19
Со старта сотрудничества, рост видимости сайтов клиента вырос в 15 раз....
31 08 2024 21:10:15
Отличная работа SEO-специалистов прошлого, породила касту PPC-специалистов настоящего, которые все еще ориентируются на публикации из 2017, ведь они все еще в ТОПе выдачи....
30 08 2024 21:44:21
Благодаря внедрению интеpaктивной формы подписки увеличили количество ежемecячных подписок на 100%, доход — на 51%, а коэффициент транзакций — на 71%....
29 08 2024 5:46:52
Формула изменения поведения Фогга и два красочных примера инсайде....
28 08 2024 10:12:51
Результаты рейтинга зарплат интернет-маркетологов....
27 08 2024 15:18:59
Как найти и быстро исправить причины падения трафика? Совет номер один — не паниковать....
26 08 2024 1:59:46
Что делать, если денег нет, но трафик очень нужен: советы по раскрутке бренда в фейсбуке. В бесплатном продвижении главный ресурс — время: часы, дни, недели, месяцы, проведенные на площадке. Как их применить? Читайте!...
25 08 2024 6:12:28
Инструкция для трудоголиков для тех, кто старается выполнить как можно больше заданий, а заметного прогресса при этом нет. Работать много и эффективно не всегда полезно. Если бы эффективная работа была залогом успеха, каждому хомяку воздвигли бы памятник...
24 08 2024 14:38:52
Советы бизнесу от зрителей Big Money и Артема Бородатюка. Предлагаем 11 универсальных, но простых и понятных идей....
23 08 2024 8:34:23
Определение и настройка главного зеркала сайта в поисковых системах — первое, что нужно сделать перед раскруткой сайта...
22 08 2024 15:52:34
Как METRO Cash & Carry Украина нашла индивидуальный подход к 1 000 000 клиентов....
21 08 2024 21:19:10
Google Penguin официально стал частью основного алгоритма поисковика. Как обезопасить свой бизнес и встретить апдейт алгоритма Google во всеоружии? О трафике, анкорах, бэклинках, ссылках и ссылочной массе, трастовости и постоянном мониторинге, с комментариями специалистов...
20 08 2024 1:45:35
Стоит ли торопиться с переходом на новый формат объявлений? Эксперимент PPC-специалистов агентства Netpeak....
19 08 2024 10:43:27
Лекции о ключевых этапах развития бизнеса в интернете: от создания сайта до подсчета ROMI (возврат маркетинговых инвестиций) рекламных каналов...
18 08 2024 6:35:47
«Что такое диджитал и чем это отличается от услуги продвижения в социальных сетях» — о цифровой стратегии, креативных концепциях и том, как это все происходит в крупных агентствах....
17 08 2024 22:38:19
Пошагово подключаем скрипт проверки бюджета аккаунтов Google Ads. Скрипт отправляет уведомление на почту и в Telegram — это поможет вовремя пополнить счет. Узнать больше!...
16 08 2024 2:59:25
K-pop заpaбатывает деньги: как и сколько...
15 08 2024 18:22:29
Красивое креативное описание страницы «о нас» — важная составляющая коммуникации с потенциальным клиентом. Покажите свою комaнду, опишите ценности и миссию. Сделайте эту страницу продающей. Узнать больше!...
14 08 2024 14:13:50
XML-фид представляет собой файл с кодом на языке XML, ссылку на который используют в различных сервисах...
13 08 2024 13:53:43
Клиенты, партнеры, потенциальные сотрудники — для каждой аудитории есть своя платформа. Какими нужно быть в соцсетях, чтобы вас заметили, читайте об опыте Reface....
12 08 2024 23:37:33
Инструкция для новичков по одновременной работе с кампаниями, а также объявлениями и группами в Яндекс.Директ...
11 08 2024 3:23:39
Стандартный образец для новичков. Форматы объявлений в РСЯ, чтобы начинающие специалисты по контекстной рекламе смогли быстро и эффективно запустить рекламные кампании. Интересно? Читайте дальше!...
10 08 2024 22:35:28
Настроенная бизнес-страница компании в Instagram и на Facebook помогает в продвижении товаров и услуг в интернете. Поэтому так важно сделать их seo-friendly. Читать!...
09 08 2024 21:55:46
Как без проблем пересылать данные в Google Покупки....
08 08 2024 12:57:40
Книга про пять полезных фишек + стратегия продвижения интернет-магазина...
07 08 2024 7:54:59
Контент может информировать, вовлекать и продавать, при этом для каждой цели нужен свой тип контента...
06 08 2024 18:35:12
Осторожно: очень страшно. Про теневой бан, гифки, цену клика, рекламный бюджет, ответы подписчикам, ошибки, наличие интернета подробно и в драматических деталях. Читайте в статье!...
05 08 2024 11:32:45
Бесплатные CMS помогают решить много задач без привлечения программиста или самостоятельного изучения кодов. Но у таких движков есть свои недостатки. Узнать больше!...
04 08 2024 0:46:29
Как регулярно мониторить перспективные товары, по которым можно запускать контекстную рекламу...
03 08 2024 2:43:18
Чем работа веб-студий отличается от конструкторов сайтов, как выбрать веб-студию и пять базовых понятий, которые должен знать каждый, кто решил создать сайт....
02 08 2024 13:34:18
Анализ данных о 7,6 миллионах поисковых запросов в французском Google...
01 08 2024 13:29:21
Как отключить блокировку API запрещенных сервисов в скриптах R и продолжать использовать пакеты ryandexdirect, rvkstat, rmytarget, Google Sheets и BigQuery...
31 07 2024 8:16:37
Пуш для рекламных кампаний накануне праздничных распродаж...
30 07 2024 21:35:34
Мы достигли поставленных на старте продвижения целей: вернули потерянный трафик, получили дальнейший рост видимости сайта и увеличили доход....
29 07 2024 9:20:52
Как создать Apple ID и настроить поисковую рекламу в App Store...
28 07 2024 8:14:16
Узнаем расширенную информацию о посещениях сайта с помощью языка R — кейс Netpeak...
27 07 2024 18:37:46
Как пользоваться «Совмещением данных» с учетом всех особенностей инструмента...
26 07 2024 12:34:45
Подробное руководство по настройке отслеживания событий в GA4...
25 07 2024 4:39:58
Техника безопасности по безукоризненным рекламным кампаниям...
24 07 2024 22:20:50
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
