Как быстро проверить индексацию сайта в Google и Яндекс
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описала в этом посте способы, которые чаще всего используют SEO-специалисты.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию сайта в консоли вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google. Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»:
Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.
Отдельно можно проверить есть ли в индексе конкретная страница. Для этого нужно только вставить интересующий вас URL в строку поиска:
Если все хорошо, вы увидите такое сообщение:
Если страница еще не в индексе сайта, вы увидите такое сообщение:
Если вы внесли изменения в страницу, на которой раньше были ошибки, ее можно отправить на переиндексацию с помощью кнопки «Запросить индексирование»:
После отправки запроса вы увидите сообщение:
Также с помощью этой кнопки можно самостоятельно отправить новые страницы в очередь на индексацию.
Яндекс. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц без ошибок растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:
На скриншоте — сайт, закрытый от индексации в файле robots.txt
2. Используйте операторы поисковых запросов
Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».
Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.
Например, сайт cubing.com.ru находится под фильтром АГС.
С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:
Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:
Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:
- inurl:example.com/post/
Для Яндекса это оператор url:. Запрос будет выглядеть так:
- url:example.com/post/
Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.
Download a free checklist. Are Your Site Sales Dropping?
Here is what to do! Get the checklist
3. Используйте плагины и букмарклеты
Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.
Это делают плагины и скрипты:
На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.
Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:
Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.
4. Установите сервисы для проверки индексации
Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.
Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.
Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.
Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:
- raskruty.ru/tools/index/ — до 10 отдельных URL или сразу весь домен;
- serphunt.ru/indexing/ — до 100 URL за раз;
- xseo.in/indexed — можно проверить количество проиндексированных страниц домена в Google, Яндекс, Bing.
Также похожий инструмент существует в сервисах Топвизор и SeRanking, но при использовании платного тарифного плана.
Почему не индексируется сайт
1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.
2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров и файл robots.txt.
3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.
4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:
5. Ошибка с X-Robot-Tag. X-Robots-Tag — HTTP-заголовок, но, в отличие от метатега robots, он находится не на странице, а непосредственно в файле конфигурации сервера. Вебмастера могут закрыть сайт, внося изменения или запуская тестовую версию, а потом забыть его удалить. Проверить, закрыт ли ваш сайт с помощью X-Robots-Tag, можно в Netpeak Spider или в консоли разработчика:
6. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для сканирования сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от сканирования, если вы видите у себя в robots.txt эту конструкцию:
User-agent: * Disallow: /
Что еще может стать поводом для проблем с индексацией сайта?- дубли страниц;
- неуникальный контент;
- проблемы с доступностью и скоростью загрузки.
Как ускорить сайт с помощью сервиса CDN — краш-тест Айри Читайте подробно,
Как ускорить индексацию сайта
Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт.
Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта.
Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом.
-
Что такое внутренние дубли страниц и как с ними бороться
Удаление дублей страниц и неуникального контента.
Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было.
Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще.
Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов.
Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости.
Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их.
- Вывод превью новых статей и товаров на главную страницу.
Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки».
- Размещение ссылки на новую страницу в соцсетях.
Влияние соцсетей на продвижение — спopный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.
Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты. Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.
Запомнить
Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:
- В панелях вебмастеров Google и Яндекс.
- С помощью поискового оператора site:.
- С помощью плагинов, вроде RDS bar, и букмарклетов.
- В специальных сервисах, например, Netpeak Spider.
Сайт может плохо индексироваться из-за ошибок на сайте, отсутствия файла sitemap. Также важно проверить, не закрыт ли сайт от индексации с помощью метатега robots, x-robots tag или в robots.txt.
Улучшить индексацию поможет:
- оптимизация и корректная настройка файлов sitemap robots.txt;
- оптимизация скорости загрузки сайта;
- удаление дублей страниц и контента;
- грамотная перелинковка (между страницами и при выводе превью новых страниц на главную) ;
- промоушен новых страниц в соцсетях;
- регулярное обновление и улучшение контента сайта.
Часто дело не в индексации, а в подходе к оптимизации. Отвечайте на запрос пользователя лучше всех. В таком случае все советы пригодятся вам только для фиксации хорошего результата.
Хочу быстро найти клиентов онлайнКомментарии:
Тренды, рекомендации, уроки, инструкции, а также вакансии, идеи, кейсы и всё, что поможет оставаться в теме, находить интересные проекты и вдохновляться. Читать дальше....
24 04 2024 8:50:11
Что, если бы покупка в супермаркете происходила так же, как в онлайн-магазине?...
23 04 2024 21:58:30
Почему нельзя просто взять и перевести. В худшем случае специализированный текст на иностранном языке должен стать для переводчика дорожной картой, в лучшем — источником вдохновения. Почему? Читайте об этом!...
22 04 2024 17:28:28
Руководитель отдела HR, Ольга Пачесная, написала пост о главном — людях, которые выбрали работу в Netpeak....
21 04 2024 15:17:54
Как перенести рекламные кампании из адвордс в директ, используя только Google Editor и Директ Коммaндер? Делимся быстрым и эффективным методом...
20 04 2024 20:22:35
Инструкция с применением языка R. Полезно веб-аналитикам, которые работают с крупными интернет-магазинами. Например, на сайте еженедельно появляется примерно 1000 новых наименований и такое же количество позиций переходит в статус «нет в наличии»....
19 04 2024 2:16:51
Поговорим о soft skills, потому что именно они, исходя из моего опыта, помогают строить поистине сильные комaнды....
18 04 2024 21:20:52
Это исследование для тех, кто хочет выяснить, эффективно ли работать с лидами, если им год и больше...
17 04 2024 14:19:17
Как рекламировать смартфоны в YouTube — советы крупному бизнесу по настройке и запуску эффективной рекламы. Важно: корректный анализ результатов. Узнайте как его сделать!...
16 04 2024 5:13:16
Новые триггеры, разнообразие рассылок и обновленная форма подписки дали нужный результат....
15 04 2024 3:53:38
Пуш для рекламных кампаний накануне праздничных распродаж...
14 04 2024 6:25:25
SMM — сфера с доступным обучением и большими деньгами, а хороших специалистов разбирают, как горячие пирожки. SMMщики работают с крупными брендами и создают свой бизнес всего через пару лет после старта....
13 04 2024 14:51:14
Информация для бизнесменов, интернет-маркетологов и всех, кто интересуется продвижением бизнеса в интернете....
12 04 2024 8:36:59
Как вести рекламные кампании и что делать на разных этапах настройки. Делимся опытом: примерами, кейсами и рекомендациями. Узнать больше и настроить свои РК, как боженька!...
11 04 2024 4:38:15
Какой контент публиковать в Instagram, зачем ставить хештеги, какие активности интересны пользователям инсты, как ведут свой Инстаграм топовые бренды. Узнать больше!...
10 04 2024 1:59:47
Кейс детской костюмерной Colombina.ua — как продвигать проект с ярко выраженной сезонностью....
09 04 2024 12:32:36
Как автоматизировать выгрузку данных онлайн из Яндекс.Метрики и импортировать полученную статистику для дальнейшего анализа или визуализации....
08 04 2024 8:23:16
Microsoft, Facebook и другие технологические компании заявляют, что метавселенная — это будущее интернета. Или настоящее? Давайте разберемся...
07 04 2024 20:18:47
Информация о любой организации распространяется в интернете очень быстро, особенно негативная. Поэтому необходимо учиться управлять своей репутацией....
06 04 2024 20:32:51
Многие недооценивают триггерное письмо после оформления покупки, а зря. И вот почему....
05 04 2024 4:57:24
Как узнать срок хранения товаров в корзине и настроить ремаркетинг для завершения покупок...
04 04 2024 18:10:12
Примеры инновационных проектов. Нескучная рецензия на интересную книгу....
03 04 2024 15:14:41
Чтобы и клиенту не стыдно было показать и свои ожидания не обмануть....
02 04 2024 13:11:43
Как с помощью GA4 анализировать рекламные кампании, лежа на диване...
01 04 2024 20:11:26
Руководство по переносу кампаний в новый аккаунт Рекламы...
31 03 2024 21:13:13
Главная задача крауд-маркетинга — помочь, дать пользователю экспертный ответ и уже в последнюю очередь — оставить ссылку...
30 03 2024 20:47:46
Делимся полезным скриптом — он проверяет код ответа сервера для списка страниц, до 1000 за сутки....
29 03 2024 1:18:19
Как добавить данные о компании на карты Google и Яндекс....
28 03 2024 23:24:40
Небольшая wiki о программатик-баинг и RTB. Объяснение алгоритма, обзор рынка, мнения экспертов....
27 03 2024 4:40:50
Настроить контекстную рекламу для сети гипермаркетов бытовой техники и электроники Mechta.kz...
26 03 2024 3:43:18
К социальным сетям уже нельзя относиться, как к сугубо личному прострaнcтву?...
25 03 2024 22:29:35
О построении персональных рекомендаций для интернет-магазина, используя технику со-визитов....
24 03 2024 12:25:21
Впереди ещё черная пятница и новогодние праздники. И успех массовых распродаж можно повторить....
23 03 2024 7:57:58
Правила Facebook позволяют пользоваться автоматизированным контролем над эффективностью рекламы. Читайте, как уменьшить количество ручной работы с помощью автоматических правил...
22 03 2024 20:27:21
Мануал для SEO-специалистов, как автоматизировать сбор данных из блока People also ask (Пользователи также ищут). Это блок, который показывается в верхней части страницы результатов поиска. Он нужен, чтобы уточнить запрос пользователя....
21 03 2024 12:57:45
Готовые к использованию таргетинговые идеи для мобильных приложений онлайн в Facebook....
20 03 2024 3:31:14
Пост о том, как и когда тратит деньги американский и украинский покупатель...
19 03 2024 19:32:23
Безопасность Instagram — что делать, если заметили попытку взломщиков украсть аккаунт, и как вернуть аккаунт после взлома....
18 03 2024 0:16:48
Как собрать свой онлайн марафон на 500 или 1000 человек? Сколько это стоит и какие сервисы использовать. Давайте разбираться....
17 03 2024 5:59:46
Организаторам мероприятий, коллегам из PR-сферы и невестам о том, как делегировать важные мероприятия внешнему подрядчику...
16 03 2024 5:36:48
Что же такое эти authority и чем они лучше и полезнее, к примеру, чем Page Rank?...
15 03 2024 0:55:20
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
14 03 2024 3:38:16
О работе, креативности, мотивации и многом другом....
13 03 2024 4:55:47
Семинар с примерами юзабилити решений от Twitter, Airbnb, Amazon и других компаний....
12 03 2024 20:24:36
Личный опыт маркетинг-директора Serpstat. Внутренняя перелинковка, работа с контентом, настройка email-рассылок и построение качественного комьюнити помогли нам получить стабильный поток читателей и новых пользователей. Обо всем читайте дальше!...
11 03 2024 9:56:22
Чтобы привлечь представителей малого и среднего бизнеса, мы разработали стратегии по контекстной рекламе. Это открывает двери агентства Netpeak проектам с самым скромным бюджетом...
10 03 2024 22:38:26
Словарь, которым пользуются SEO-специалисты агентства Netpeak...
09 03 2024 6:54:46
Если маркетер хочет привлечь к бренд-контенту дополнительное внимание, стоит воспользоваться опцией Promote post....
08 03 2024 10:47:14
Часто руководители, которые прекрасно справляются с работой в мирное время, в период войны перестают быть эффективными. У них нет навыков кризис-менеджмента. Чтобы удержать ситуацию на плаву, кризис-менеджером должен стать главный руководитель компании....
07 03 2024 12:38:54
Помимо полезного и качественного продукта, услуги, компании нужен мощный маркетинг. И возможно это только благодаря хорошему директору по маркетингу. Только так это работает. Кто лучшие в этой нише в Казахстане? Узнать!...
06 03 2024 16:19:44
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::