Как восстановить трафик на важные страницы интернет-магазина с помощью Web Archive
Владельцы сайтов и менеджеры, которые наполняют каталог интернет-магазина, не сильно заботятся об адресах страниц сайта. И это выливается в проблемы для SEO-специалистов. Дело в том, что когда меняются URL основных страниц, они вылетают из индекса поисковых систем и теряют длительной работой накопленное «доверие» и ссылочный вес.
В этой статье мы расскажем, как восстановить трафик на сайт с помощью крупнейшего хранилища копий сайтов.
Но вначале давайте разберемся, что такое Web Archive.
Web Archive и чем он полезен
Архив интернета — некоммерческая организация, основанная Брюстером Кейлом в 1996 году в Сан-Франциско. Сервис собирает копии веб-страниц, графические материалы, видео-, аудиозаписи и программное обеспечение, обеспечивая собранным материалам долгосрочное архивирование и бесплатный доступ к данным.
По-настоящему доступными для широкой публики сохраненные материалы стали в 2001 году, когда был запущен сайт Wayback Machine. Контент сайтов периодически фиксируется c помощью бота веб-архива. Также пользователи могут вручную указать адрес страницы для создания ее копии.
Сервис позволяет проследить историю изменений любого ресурса. Например, можно обнаружить причины каких-либо отклонений в аналитике, трафике или поведенческих показателях сайта. То есть проверить метатеги, тексты, расположение кнопок заказа и так далее. Можно посмотреть старый вариант дизайна своего сайта или скопировать дизайн любого «мертвого» сайта.
Также с мертвых ресурсов заимствуют контент, который может хорошо ранжироваться. Многие интернет-архив только так и используют. Причем настолько часто, что выгруженные тексты обязательно следует проверять на уникальность.
А еще Web Archive будет пpaктически единственной возможностью восстановить сайт, если вы не делали бэкап.
Впрочем, в поисковой оптимизации интернет-магазинов мы используем интернет-архив с другой целью — для восстановления URL-адресов категорий и других важных страниц. Дело в том, что владельцы сайтов или менеджеры, которые наполняют каталог интернет-магазина, не следят за сменой адресов основных страниц сайта. В результате они вылетают из индекса поисковых систем, теряют накопленное доверие и ссылочный вес.
Как восстановить адреса страниц с помощью Web Archive
Следует очистить все ссылки от привязки к web.archive.org и сделать их прямыми именно для вашего ресурса. После этого — настроить 301 редиректы со старых адресов на актуальные. Во-первых, поисковые системы при 301 редиректе передают пpaктически полностью ссылочный вес со старых URL. Во-вторых, пользователи при переходе по старым ссылкам будут в итоге попадать на релевантную страницу сайта.
Конечно, можно попробовать вытащить страницы из кеша Яндекса или Гугла, но если ресурс недоступен уже очень давно, то такие мертвые ссылки открываются только в archive.org. Правда, и там их может не оказаться: у ботов веб-архива ограниченные ресурсы. Вероятность и частота сканирования сайта с маленьким трафиком крайне низкая. Но все-таки попробовать стоит.
Алгоритм действий:
1. Открываем веб-архив и вводим адрес сайта в строку поиска
Если сайт есть в веб-архиве, рекомендуем выбрать несколько копий сайта за разные даты в течение двух лет.
2. Для каждой выбранной даты делаем выгрузку URL-адресов
3. Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную
Как выгружать URL-адреса c помощью Netpeak Spider
Указываем в Netpeak Spider директорию, которую нужно сканировать, дополнительно задаем правила, например, возможность исключить карточки товаров.
Затем сканируем и выгружаем таблицу. Проделываем это для каждой даты.
Важно: изменение адресов карточек товаров целесообразно проверять в том случае, если они приносили существенный трафик.
Если указывать в Netpeak Spider URL-адрес в формате https://web.archive.org/web/12345678901234/https://domain.com/, в правилах сканирования необходимо задать домен сайта, URL которого нужно получить, чтобы не сканировать весь веб-архив и его служебные страницы:
Получаем таблицу:
Как выгружать URL-адреса c помощью Web Scraper
Открываем веб-архив на нужной дате и консоль разработчика на той странице, где в коде есть все нужные URL-адреса. Например, каталог или карта сайта.
Задаем название и начальный URL для сканирования:
Добавляем новый селектор:
Для селектора задаем любое название (Id), выбираем тип селектора (Type) — Link, нажимаем «Select» и отмечаем на сайте все необходимые категории. При выборе более двух ссылок автоматически формируется общий селектор.
Важно: для URL разных уровней (например, категорий и их подкатегорий) необходимо создавать отдельные селекторы.
Нажимаем «Done selecting» и «Save selector». Когда все необходимые селекторы созданы, запускаем Web Scraper:
Выгружаем или копируем полученную таблицу:
Web Scraper позволяет выгрузить URL только категорий, даже если в URL нет общей части.
Как выгружать URL-адреса вручную
Открываем исходный код страницы веб-архива, находим код с ссылками на страницы самого сайта в формате https://web.archive.org/web/*/https://domain.com/url, копируем и очищаем от лишнего кода с помощью регулярных выражений в Notepad++:
- убираем все пробелы в скопированном коде с помощью выражения «\s»;
- все URL размещаем в начале новой строки с помощью замены https://web.archive.org/web/*/ на регулярное выражение « »;
- все символы после кавычки удаляем (заменяем «“.*» на пустую строку).
После получения списка URL в формате https://web.archive.org/web/*/https://domain.com/url простой заменой или с помощью регулярных выражений приводим его к виду https://domain.com/url.
Подготавливаем URL-адреса для простановки редиректов
Загружаем в Netpeak Spider полученную базу и сканируем код ответа сервера. Если страница отдает код 200 или редиректит на страницу с кодом 200, все хорошо и с этими URL-адресами ничего делать не нужно.
Страницы с кодом 404 выделяем отдельно, проверяем при этом, чтобы все URL-адреса в этом списке были уникальными. Особенно это актуально, если выгружались URL-адреса для нескольких дат.
Если на текущей версии сайта не меняли заголовки Н1, можно выгрузить список необходимых адресов страниц с Н1 и сопоставить два списка с помощью простой функции VLOOKUP в таблицах Google.
Готовый список для настройки редиректов со старых URL-адресов на новые отправляем программисту.
Запомнить
Как вернуть органический трафик после неправильного переноса сайта Часто
Алгоритм простой:
- Находим сайт в Web Archive.
- Выбираем несколько копий сайта за разные даты в течение двух лет.
- Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную.
- Подготавливаем базу URL-адресов для простановки редиректов.
- Отдаем программисту список для простановки редиректов со старых адресов на новые.
Комментарии:
Чтобы перенаправить рекламу не на свой домен, арбитражники используют редирект в Яндексе при работе с партнерскими ссылками...
24 04 2024 22:25:14
И как с ними справиться. Рабочие инструкции для Chief Executive Office и менеджеров в целом. Давайте управлять комaндой и собой более эффективно и без выгорания. Узнать больше!...
23 04 2024 13:55:11
Как с помощью GA4 анализировать рекламные кампании, лежа на диване...
22 04 2024 17:38:24
Сделать «на вчера», «внезапно», протестировать все варианты. Стоп! Остановитесь и выдохните. Be slow...
21 04 2024 0:51:19
Как работать с негативом и что делать, чтобы его было меньше/не было вовсе....
20 04 2024 8:15:52
Грамотная аналитика в мире мобильных приложений, как и в целом в маркетинге — единственный путь к окупаемости продукта и выходу в высшую лигу брендов...
19 04 2024 2:40:48
Тонкости настройки предпраздничной рекламной промо кампании на примере Citrus.ua....
18 04 2024 13:46:42
Данные из контента страницы и основного заголовка h1 вместо метатега title. Что показало исследование Serpstat....
17 04 2024 8:59:53
Отличный кейс Ольги Костовой. Увеличивая бюджет на рекламу вдвое, вы начинаете заpaбатывать не вдвое больше, а в 2.5, 3 и так далее раз больше. На примере кейса показываем, как это происходит. Читать дальше....
16 04 2024 23:18:11
Пост постоянно обновляется актуальными данными о размерах картинок...
15 04 2024 4:13:57
Пиксель Facebook — инструмент аналитики рекламной системы, который можно использовать и для Instagram....
14 04 2024 0:22:17
Как начать бизнес в институте и масштабировать его до международной группы компаний. Собрали все самое интересное из интервью фаундера «Техно Ёж» Алексея Гулыя на конференции 8P....
13 04 2024 16:51:50
Сотрудники на рабочем месте расслаблены, игнорируют распоряжения, а при давлении угрожают увольнением. В эту ситуацию нередко попадают руководители. Некоторые считают, что причина — выстраивание дружеских отношений с подчинёнными....
12 04 2024 14:19:33
Быстрый инструмент для повышения CTR — дополнительные ссылки Google Рекламы...
11 04 2024 18:16:12
Компании и продукты, социальные инициативы, главные проекты и миссия группы. Разложили все о Netpeak Group по полочкам в новом посте....
10 04 2024 13:33:27
Как работают SEO-специалисты, что нужно знать о принципах работы алгоритмов Гугл, как продвигать мобильные приложения и каким образом может монетизироваться Телеграм. Узнать больше!...
09 04 2024 19:18:42
Анализ содержимого сайта показывает: Url разные, а контент страниц одинаковый. Думаете, ничего страшного? Но одинаковый контент может попасть под фильтры поисковых систем. Чтобы этого не произошло, надо знать, как избавляться от внутренних дублей...
08 04 2024 18:42:53
Многие недооценивают триггерное письмо после оформления покупки, а зря. И вот почему....
07 04 2024 9:57:50
Возможности и перспективы Clubhouse, лайфхаки для пользователей и бонус в конце...
06 04 2024 15:12:54
Динамический ремаркетинг — один из самых эффективных способов продаж для любой группы товаров. В этой статье мы поделимся тонкостями технической подготовки к запуску динамического ремаркетинга в Facebook....
05 04 2024 3:42:51
Как мы продвигали бизнес-страницы OLX с помощью рекламы в Facebook, TikTok и Viber....
04 04 2024 18:52:19
Дизайн макета сайта должен полностью соответствовать представлениям о готовом ресурсе. Создать его можно с помощью онлайн-сервисов, стационарных программ либо через HTML-код...
03 04 2024 9:21:25
Контент-революция: искусственный интеллект для уникальных текстов с достоверной информацией и контент-платформы на блокчейне для сохранения авторского права. Читайте больше в статье!...
02 04 2024 12:53:21
По следам «Игры в кальмара». Небольшая подборка ностальгических комaндных игр, которые могут прижиться в вашем офисе....
01 04 2024 10:16:59
Что делать, когда код электронной торговли в одной валюте, а аккаунты Google ***ytics/Google Ads — в другой. И нужной валюты нет в списке возможных....
31 03 2024 7:59:48
Мануал по Microsoft Power BI — мощному инструменту для бизнес-аналитики. Освоив эту платформу, вы сможете с легкостью создавать понятные отчеты и обновлять их в режиме реального времени....
30 03 2024 11:12:53
Расширяем возможности визуализации данных из Google ***ytics c помощью пакета RGA и Power BI...
29 03 2024 6:34:16
C какими сложностями пришлось столкнуться при создании интернет-магазина....
28 03 2024 19:16:50
История создания и развития холдинга «Choco Family» помогает понять масштабы онлайн-рынка Казахстана, найти точки роста для собственного бизнеса в Казнете. Каково быть пионером ecommerce в стране? Чем казахстанский рынок ecommerce отличается от Рунета и Уанета? Читать!...
27 03 2024 14:43:42
Отключение и удаление элементов, расширенные настройки, интересные дополнения и многое другое в нашем материале про мир SEO расширений....
26 03 2024 11:18:57
20 сервисов для прокачки контента под SEO. Штуки, которые будут полезны новичкам и экспертам....
25 03 2024 14:16:53
Начинали с SEO на этапе разработки нового сайта. Узнать больше!...
24 03 2024 15:19:12
Непросто найти ответственного автора, готового проводить сео-оптимизацию своих статей, исправлять ошибки, вносить дополнения в материал. Это очень дорого? Узнать!...
23 03 2024 16:59:42
Проверьте свою логику, находчивость и креативность...
22 03 2024 1:49:44
Корзина интернет-магазина поможет повысить продажи, если ее функционал содержит: фото товара, кликабельное наименование товара, перечень способов оплаты. Узнать больше!...
21 03 2024 23:34:23
Как внедрить Business Intelligence для малого и среднего бизнеса....
20 03 2024 10:20:36
Как автоматизировать целый участок в работе комaнды специалистов по контекстной рекламе — кейс concert.ua...
19 03 2024 4:53:47
Рассказываем в подробностях, что полезного сделал Netpeak для своих клиентов с января по апрель 2017 года...
18 03 2024 3:35:23
Простые пошаговые советы о том, как самому сделать верстку шаблона Wordpress. От вас не требуется знание PHP, но хорошо если вы владеете Photoshop и CSS для создания дизайна. Узнать больше!...
17 03 2024 17:37:22
Сотрудник Google расскажет о том, как присоединиться к протесту, не навредив сайту....
16 03 2024 3:29:26
Что такое посол бренда и чем он отличается от адвоката бренда?...
15 03 2024 13:11:54
3 часто задаваемых вопроса о раскрутке сайтов об эффективной организации SEO своими силами, способах проверки оптимизации сайта и о том, как быстро можно увидеть эффект от SEO. Узнайте больше!...
14 03 2024 15:35:10
О тенденциях на рынке ecommerce и переходе Хорошоп на удалёнку....
13 03 2024 9:18:28
Как упростить работу со скриптами на языке R? Программирование удобного интерфейса с помощью пакета «gWidgets»...
12 03 2024 7:59:13
Пpaктика: где искать шаблоны скриптов, как их редактировать и какие есть меры предосторожности при работе со скриптами....
11 03 2024 3:17:51
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
10 03 2024 15:39:42
Хороший пост с примерами продающих «Белых книг»....
09 03 2024 19:30:24
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
08 03 2024 23:55:18
В Казнете о маркетплейсе подрядчиков Naimi.kzприложении говорят все: от студентов до президента....
07 03 2024 8:52:38
Профессиональная лексика SEO-специалистов в буржунете и в рунете формируется в одном поле: Google-то общий. Но когда специалисты Востока и Запада встречаются, им сложно понять друг друга. Это неудивительно, так как язык отражает само восприятие SEO. А под...
06 03 2024 4:58:22
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
