Как быстро проверить индексацию сайта в Google и Яндекс
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описала в этом посте способы, которые чаще всего используют SEO-специалисты.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию сайта в консоли вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google. Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»:
Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.
Отдельно можно проверить есть ли в индексе конкретная страница. Для этого нужно только вставить интересующий вас URL в строку поиска:
Если все хорошо, вы увидите такое сообщение:
Если страница еще не в индексе сайта, вы увидите такое сообщение:
Если вы внесли изменения в страницу, на которой раньше были ошибки, ее можно отправить на переиндексацию с помощью кнопки «Запросить индексирование»:
После отправки запроса вы увидите сообщение:
Также с помощью этой кнопки можно самостоятельно отправить новые страницы в очередь на индексацию.
Яндекс. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц без ошибок растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:
На скриншоте — сайт, закрытый от индексации в файле robots.txt
2. Используйте операторы поисковых запросов
Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».
Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.
Например, сайт cubing.com.ru находится под фильтром АГС.
С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:
Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:
Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:
- inurl:example.com/post/
Для Яндекса это оператор url:. Запрос будет выглядеть так:
- url:example.com/post/
Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.
Download a free checklist. Are Your Site Sales Dropping?
Here is what to do! Get the checklist
3. Используйте плагины и букмарклеты
Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.
Это делают плагины и скрипты:
На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.
Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:
Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.
4. Установите сервисы для проверки индексации
Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.
Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.
Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.
Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:
- raskruty.ru/tools/index/ — до 10 отдельных URL или сразу весь домен;
- serphunt.ru/indexing/ — до 100 URL за раз;
- xseo.in/indexed — можно проверить количество проиндексированных страниц домена в Google, Яндекс, Bing.
Также похожий инструмент существует в сервисах Топвизор и SeRanking, но при использовании платного тарифного плана.
Почему не индексируется сайт
1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.
2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров и файл robots.txt.
3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.
4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:
5. Ошибка с X-Robot-Tag. X-Robots-Tag — HTTP-заголовок, но, в отличие от метатега robots, он находится не на странице, а непосредственно в файле конфигурации сервера. Вебмастера могут закрыть сайт, внося изменения или запуская тестовую версию, а потом забыть его удалить. Проверить, закрыт ли ваш сайт с помощью X-Robots-Tag, можно в Netpeak Spider или в консоли разработчика:
6. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для сканирования сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от сканирования, если вы видите у себя в robots.txt эту конструкцию:
User-agent: * Disallow: /
Что еще может стать поводом для проблем с индексацией сайта?- дубли страниц;
- неуникальный контент;
- проблемы с доступностью и скоростью загрузки.
Как ускорить сайт с помощью сервиса CDN — краш-тест Айри Читайте подробно,
Как ускорить индексацию сайта
Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт.
Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта.
Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом.
-
Что такое внутренние дубли страниц и как с ними бороться
Удаление дублей страниц и неуникального контента.
Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было.
Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще.
Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов.
Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости.
Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их.
- Вывод превью новых статей и товаров на главную страницу.
Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки».
- Размещение ссылки на новую страницу в соцсетях.
Влияние соцсетей на продвижение — спopный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.
Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты. Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.
Запомнить
Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:
- В панелях вебмастеров Google и Яндекс.
- С помощью поискового оператора site:.
- С помощью плагинов, вроде RDS bar, и букмарклетов.
- В специальных сервисах, например, Netpeak Spider.
Сайт может плохо индексироваться из-за ошибок на сайте, отсутствия файла sitemap. Также важно проверить, не закрыт ли сайт от индексации с помощью метатега robots, x-robots tag или в robots.txt.
Улучшить индексацию поможет:
- оптимизация и корректная настройка файлов sitemap robots.txt;
- оптимизация скорости загрузки сайта;
- удаление дублей страниц и контента;
- грамотная перелинковка (между страницами и при выводе превью новых страниц на главную) ;
- промоушен новых страниц в соцсетях;
- регулярное обновление и улучшение контента сайта.
Часто дело не в индексации, а в подходе к оптимизации. Отвечайте на запрос пользователя лучше всех. В таком случае все советы пригодятся вам только для фиксации хорошего результата.
Хочу быстро найти клиентов онлайнКомментарии:
Как создать популярный и удобный магазин в интернете, какой должна быть его раскрутка и многое другое, прозвучавшее на круглом столе 8P 2017...
26 04 2024 1:21:35
Клиентам не нужно ориентироваться на попадание к поисковым топам выдачи...
25 04 2024 16:22:11
Эффективность контекстной рекламы в тематике «тюнинг автомобилей»....
24 04 2024 20:52:37
Важный вопрос, если вы рассчитываете на вирусный эффект своих рекламных идей....
23 04 2024 7:26:24
Digital-маркетинг развивается и модернизируется: новые методы работы, инструменты и технологии. И стабильно растут требования к digital-специалистам. Чтобы оставаться в профессии, нужно мониторить тренды, отслеживать тенденции и повышать знания....
22 04 2024 18:32:12
Если вы автор телеграм-канала, то стоит задуматься об альтернативных контент-платформах. Мнение...
21 04 2024 9:38:53
Казахстанские реалии: данные по более 1 млн кликов в 23 тематиках и 15 городах....
20 04 2024 22:31:42
Как настроить и получить эффективную отдачу от Google Local Campaigns...
19 04 2024 11:41:53
Менеджер экспортного направления Гугл Украина — об особенностях выхода на рынки разных стран мира....
18 04 2024 23:51:18
На вопрос «как все успеть?» хочется ответить что-то вроде «никак». Особенно, если дело касается задач, связанных с творчеством. Но можно и не срывать дедлайны. Читать дальше....
17 04 2024 21:58:32
Нужен ли вашему проекту редактор? Как правильно его выбрать и оценить на собеседовании, а затем и в процессе работы?...
16 04 2024 1:53:54
У нас было 500 вечнозеленых постов и желание понять алгоритм ленты Facebook....
15 04 2024 23:48:49
Требования к интернет-магазину, мануал по регистрации, что может пойти не так...
14 04 2024 10:24:58
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
13 04 2024 21:34:38
Многие не догадываются о том, что в КМС Google можно разместить и редактировать графические объявления онлайн...
12 04 2024 11:39:35
Через тернии к кейсу. SEO-продвижение интернет-магазина отопительного оборудования с оплатой за трафик...
11 04 2024 9:36:26
Интервью с основателем школы английского языка Progress...
10 04 2024 16:30:35
Счетчик Яндекс.Метрики: создание и установка кода, важные настройки....
09 04 2024 13:10:33
Об особенностях реализации интернет-проектов в Великобритании, России и Казахстане и фишках успешного ведения бизнеса онлайн мы побеседовали с Владимиром Меркушевым — руководителем интернет-проектов успешной казахстанской компании Kolesa.kz....
08 04 2024 9:37:45
SEO-продвижение онлайн-сервиса доставки еды с новым сайтом. Цели продвижения, составление семантического ядра, формирование URL, поддомены, карточки товаров, тексты, внешняя оптимизация, дополнительные работы, а также полученные результаты...
07 04 2024 12:24:20
Как борьба с зарплатным неравенством становится трендом...
06 04 2024 15:14:48
О важных для разметки сайта тегах — alternate, hreflang, media, — и как их грамотно использовать при продвижении....
05 04 2024 17:46:51
Положительная динамика с первых месяцев работы....
04 04 2024 3:44:50
Уверены, что аппы в украине не приносят денег? В этом кейсе мы расскажем, как увеличить доход с мобильного приложения, и поделимся результатами продвижения LeBoutique...
03 04 2024 9:44:18
Как понравиться поисковым системам и пользователям....
02 04 2024 12:50:15
Flash онлайн объявлений в формат HTML5: нововведение гугл рекламы...
01 04 2024 22:59:50
Раскрываем тайны показателя качества в рекламе гугл с помощью API...
31 03 2024 12:59:58
Когда саппорт-отдел не справляется, подключайте к работе ПланФикс и Телеграм....
30 03 2024 8:51:39
Находим пользователей, которые не знали, что им нужен ваш товар или услуга....
29 03 2024 15:22:31
Новая услуга для бизнесов, которым большое количество подписчиков не приносит продаж...
28 03 2024 14:36:38
Семинар с примерами юзабилити решений от Twitter, Airbnb, Amazon и других компаний....
27 03 2024 7:53:24
Тестирования наличия важных тегов на целевых страница — бесплатный скрипт и алгоритм...
26 03 2024 9:16:27
В коробку [SEO 2.0] вместе с самим поисковым продвижением входят дополнительные ценности Netpeak: унифицированные действия по увеличению продаж, улучшения удобства работы и преимущества бренда Netpeak...
25 03 2024 15:50:30
Полезные советы для тех, кто делает контекст своими ручками :)...
24 03 2024 17:21:41
Кто ведет соцсети Netpeak и заказывает мерч для всего агентства...
23 03 2024 17:53:13
Как избежать ошибок при продвижении интернет-магазина с помощью видеоблогеров....
22 03 2024 20:28:47
На что обращает внимание система и менеджеры Google при проверке сайта и аккаунта....
21 03 2024 4:29:35
Самые точные данные статистики, которые вы получите с помощью Google Tag Manager....
20 03 2024 6:58:50
Нет новых идей для развития рекламной компании? Одобренные рекомендации по поисковому продвижению от экспертов: спикеров и участников 8P 2018...
19 03 2024 3:53:45
Раскрутить телеграм-канал с нуля до тысячи — реально. Раскрываем пошаговый алгоритм и даем рекомендации для SMM-специалистов....
18 03 2024 18:58:24
Бесплатные CMS помогают решить много задач без привлечения программиста или самостоятельного изучения кодов. Но у таких движков есть свои недостатки. Узнать больше!...
17 03 2024 19:16:28
Динамический ремаркетинг — один из самых эффективных способов продаж для любой группы товаров. В этой статье мы поделимся тонкостями технической подготовки к запуску динамического ремаркетинга в Facebook....
16 03 2024 2:39:22
Представление — это уровень доступа в аккаунте Google ***ytics. На уровне представления можно предоставить или ограничить доступ пользователей к отчетам и аналитическим инструментам...
15 03 2024 22:45:54
Вывод информационного сайта из-под алгоритмического YMYL фильтра Google...
14 03 2024 9:45:33
Как найти сетку сайтов конкурентов — рассказываем о популярных методах и секретных фишках. Бонус — инструкция по выявлению PBN конкурентов. Читать дальше!...
13 03 2024 17:24:44
Придумать цепляющие заголовки для 1000 репостов в соцсетях — что можно узнать в результате анализа миллиона заголовков в блогах....
12 03 2024 21:22:46
Контент может информировать, вовлекать и продавать, при этом для каждой цели нужен свой тип контента...
11 03 2024 15:28:51
89% предпринимателей не тестируют свои продающие тексты. О том, что и как нужно тестировать, рассказал в гостевом посте директор Студии эффективных текстов Владимир Руков....
10 03 2024 13:43:40
Ringostat и Binotel. Сравнение главных сервисов для коллтрекинга в Украине...
09 03 2024 7:56:37
Обидно терять сохраненные достижения. Почему падает трафик из поисковых систем и как это исправить...
08 03 2024 8:24:32
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::