Как восстановить трафик на важные страницы интернет-магазина с помощью Web Archive
Владельцы сайтов и менеджеры, которые наполняют каталог интернет-магазина, не сильно заботятся об адресах страниц сайта. И это выливается в проблемы для SEO-специалистов. Дело в том, что когда меняются URL основных страниц, они вылетают из индекса поисковых систем и теряют длительной работой накопленное «доверие» и ссылочный вес.
В этой статье мы расскажем, как восстановить трафик на сайт с помощью крупнейшего хранилища копий сайтов.
Но вначале давайте разберемся, что такое Web Archive.
Web Archive и чем он полезен
Архив интернета — некоммерческая организация, основанная Брюстером Кейлом в 1996 году в Сан-Франциско. Сервис собирает копии веб-страниц, графические материалы, видео-, аудиозаписи и программное обеспечение, обеспечивая собранным материалам долгосрочное архивирование и бесплатный доступ к данным.
По-настоящему доступными для широкой публики сохраненные материалы стали в 2001 году, когда был запущен сайт Wayback Machine. Контент сайтов периодически фиксируется c помощью бота веб-архива. Также пользователи могут вручную указать адрес страницы для создания ее копии.
Сервис позволяет проследить историю изменений любого ресурса. Например, можно обнаружить причины каких-либо отклонений в аналитике, трафике или поведенческих показателях сайта. То есть проверить метатеги, тексты, расположение кнопок заказа и так далее. Можно посмотреть старый вариант дизайна своего сайта или скопировать дизайн любого «мертвого» сайта.
Также с мертвых ресурсов заимствуют контент, который может хорошо ранжироваться. Многие интернет-архив только так и используют. Причем настолько часто, что выгруженные тексты обязательно следует проверять на уникальность.
А еще Web Archive будет пpaктически единственной возможностью восстановить сайт, если вы не делали бэкап.
Впрочем, в поисковой оптимизации интернет-магазинов мы используем интернет-архив с другой целью — для восстановления URL-адресов категорий и других важных страниц. Дело в том, что владельцы сайтов или менеджеры, которые наполняют каталог интернет-магазина, не следят за сменой адресов основных страниц сайта. В результате они вылетают из индекса поисковых систем, теряют накопленное доверие и ссылочный вес.
Как восстановить адреса страниц с помощью Web Archive
Следует очистить все ссылки от привязки к web.archive.org и сделать их прямыми именно для вашего ресурса. После этого — настроить 301 редиректы со старых адресов на актуальные. Во-первых, поисковые системы при 301 редиректе передают пpaктически полностью ссылочный вес со старых URL. Во-вторых, пользователи при переходе по старым ссылкам будут в итоге попадать на релевантную страницу сайта.
Конечно, можно попробовать вытащить страницы из кеша Яндекса или Гугла, но если ресурс недоступен уже очень давно, то такие мертвые ссылки открываются только в archive.org. Правда, и там их может не оказаться: у ботов веб-архива ограниченные ресурсы. Вероятность и частота сканирования сайта с маленьким трафиком крайне низкая. Но все-таки попробовать стоит.
Алгоритм действий:
1. Открываем веб-архив и вводим адрес сайта в строку поиска
Если сайт есть в веб-архиве, рекомендуем выбрать несколько копий сайта за разные даты в течение двух лет.
2. Для каждой выбранной даты делаем выгрузку URL-адресов
3. Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную
Как выгружать URL-адреса c помощью Netpeak Spider
Указываем в Netpeak Spider директорию, которую нужно сканировать, дополнительно задаем правила, например, возможность исключить карточки товаров.
Затем сканируем и выгружаем таблицу. Проделываем это для каждой даты.
Важно: изменение адресов карточек товаров целесообразно проверять в том случае, если они приносили существенный трафик.
Если указывать в Netpeak Spider URL-адрес в формате https://web.archive.org/web/12345678901234/https://domain.com/, в правилах сканирования необходимо задать домен сайта, URL которого нужно получить, чтобы не сканировать весь веб-архив и его служебные страницы:
Получаем таблицу:
Как выгружать URL-адреса c помощью Web Scraper
Открываем веб-архив на нужной дате и консоль разработчика на той странице, где в коде есть все нужные URL-адреса. Например, каталог или карта сайта.
Задаем название и начальный URL для сканирования:
Добавляем новый селектор:
Для селектора задаем любое название (Id), выбираем тип селектора (Type) — Link, нажимаем «Select» и отмечаем на сайте все необходимые категории. При выборе более двух ссылок автоматически формируется общий селектор.
Важно: для URL разных уровней (например, категорий и их подкатегорий) необходимо создавать отдельные селекторы.
Нажимаем «Done selecting» и «Save selector». Когда все необходимые селекторы созданы, запускаем Web Scraper:
Выгружаем или копируем полученную таблицу:
Web Scraper позволяет выгрузить URL только категорий, даже если в URL нет общей части.
Как выгружать URL-адреса вручную
Открываем исходный код страницы веб-архива, находим код с ссылками на страницы самого сайта в формате https://web.archive.org/web/*/https://domain.com/url, копируем и очищаем от лишнего кода с помощью регулярных выражений в Notepad++:
- убираем все пробелы в скопированном коде с помощью выражения «\s»;
- все URL размещаем в начале новой строки с помощью замены https://web.archive.org/web/*/ на регулярное выражение « »;
- все символы после кавычки удаляем (заменяем «“.*» на пустую строку).
После получения списка URL в формате https://web.archive.org/web/*/https://domain.com/url простой заменой или с помощью регулярных выражений приводим его к виду https://domain.com/url.
Подготавливаем URL-адреса для простановки редиректов
Загружаем в Netpeak Spider полученную базу и сканируем код ответа сервера. Если страница отдает код 200 или редиректит на страницу с кодом 200, все хорошо и с этими URL-адресами ничего делать не нужно.
Страницы с кодом 404 выделяем отдельно, проверяем при этом, чтобы все URL-адреса в этом списке были уникальными. Особенно это актуально, если выгружались URL-адреса для нескольких дат.
Если на текущей версии сайта не меняли заголовки Н1, можно выгрузить список необходимых адресов страниц с Н1 и сопоставить два списка с помощью простой функции VLOOKUP в таблицах Google.
Готовый список для настройки редиректов со старых URL-адресов на новые отправляем программисту.
Запомнить
Как вернуть органический трафик после неправильного переноса сайта Часто
Алгоритм простой:
- Находим сайт в Web Archive.
- Выбираем несколько копий сайта за разные даты в течение двух лет.
- Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную.
- Подготавливаем базу URL-адресов для простановки редиректов.
- Отдаем программисту список для простановки редиректов со старых адресов на новые.
Комментарии:
Ошибка, которая может привести к полной потере контроля над вашим сайтом. Рассказываем, что это такое, какие могут быть причины поломки и как исправить. Узнать больше!...
31 05 2026 11:24:11
Какие регионы и тематики наиболее выгодно продвигать в каждом из представленных рекламных сервисов, где наибольшая доля мобильного трафика, и другая полезная статистика....
30 05 2026 20:31:33
3D принтер — заработок миллионеров будущего! Тех, кто сейчас смог купить и начал заниматься ими или использует их в бизнесе, ждет объемный успех через каких-нибудь 3-5 лет....
29 05 2026 21:10:47
Рост количества транзакций на 417%, дохода на 560%, среднего чека на 28%....
28 05 2026 14:31:36
Правильно выбранная соц. площадка поможет раскрутить бизнес эффективно....
27 05 2026 9:23:40
База самых распространенных CMS и модулей для их SEO-оптимизации....
26 05 2026 0:40:42
Личный опыт экс-главреда экс-блога Netpeak (сейчас — Netpeak Journal): о работе с информацией, мотивации написания, редактуре черновика, подаче информации по степени важности, выделении главного и составлении окончательной версии текста. Как сделать текст логичным и полезным? Узнайте!...
25 05 2026 3:54:28
Как GTM помогает настроить расширенную электронную торговлю (enhanced ecommerce)....
24 05 2026 22:28:54
Лидеров определили открытым голосованием. В ТОП-списки вошли CPA-сети, которые набрали больше всего голосов суммарно и по отдельным критериям....
23 05 2026 14:23:11
Как изменилось агентство Netpeak c августа по октябрь? Читайте о семи главных нововведениях и улучшениях в работе с клиентами....
22 05 2026 23:55:18
Многие расширения Google Chrome предназначены для изучения иностранных языков, позволяют сохранять историю переводов и отдельные слова в словарь для дальнейшего запоминания....
21 05 2026 8:41:49
Какие шаги стоит сделать, чтобы обойти ямы профессионального влогинга и как заработать на его вершинах...
20 05 2026 7:59:25
Внедрение скрама, чтобы решить проблемы в управлении бизнесом, год работы на нем и отказ от методологии. Читайте об опыте Boosta, которая объединяет 9 SEO-комaнд на удаленке....
19 05 2026 17:47:21
Почему имеет смысл выбрать его, а не Google Tag Manager?...
18 05 2026 10:20:42
О проблеме с передачей данных об A/B-тестах в Google ***ytics...
17 05 2026 21:35:50
Тренинг по контекстной рекламе образовательных курсов в Google Ads, Яндекс.Директ, Target@mail...
16 05 2026 5:21:12
Для защиты конфиденциальной информации в организации вводят режим коммерческой тайны. Подписание NDA важно не только с сотрудниками, но и со сторонними компаниями, имеющими доступ к конфиденциальной информации...
15 05 2026 8:22:27
Как специалисту сэкономить время для создания и оптимизации кампаний, проверки орфографии и другие фишки. Советы из пpaктики....
14 05 2026 20:24:40
Образец товарного фида можно использовать при запуске динамических объявлений в поисковой сети Яндекса и Google, в кампаниях со смарт-баннерами в Яндекс.Директ, в динамических медийных кампаниях Google Рекламы, в товарной рекламе — с помощью Google Merchant Center....
13 05 2026 7:12:22
Как понять, что именно нравится подписчикам в вашей рассылке...
12 05 2026 20:26:15
Пуш для рекламных кампаний накануне праздничных распродаж...
11 05 2026 21:55:52
Система индексирования страниц — как поисковик и его роботы разбирают перечень контента по полочкам...
10 05 2026 16:59:20
зеркальные нейроны и сознание. как они влияют на наше поведение?...
09 05 2026 12:15:54
Инсайты от специалистов агентства Netpeak о популярных тематиках, тенденциях, особенностях продвижения в карантин и кризис, новых правилах для контекстной рекламы и других способов продвижения. Чтобы узнать больше, читайте далее!...
08 05 2026 11:27:27
Краткий обзор динамических мультимедийных объявлений...
07 05 2026 5:48:50
Наличие или отсутствие в карточках отзывов о товарах интернет магазина сказывается на продажах, а также оказывает влияние на SEO. Об этом, а также о пользе автоматизированного сбора отзывов о товарах мы расскажем в этой статье....
06 05 2026 4:34:51
Инсайты Диви Конф 2021, онлайн-конференции о видеомаркетинге....
05 05 2026 7:35:34
Кейс выполнимой миссии — отправили рассылку по «холодной» базе и обошли запреты почтовых сервисов на изображения 18+...
04 05 2026 5:10:26
Оживший бар. О том, как один украинский бренд за полтора месяца получил более 4 000 фанов!...
03 05 2026 11:19:36
Клиенты возвращаются к хорошему сервису, который начинается с понятного интерфейса на сайте, продолжается в общении с вежливым сотрудником и заканчивается в общении с воспитанным курьером или менеджером в пункте самовывоза. Что ещё? Читайте!...
02 05 2026 2:52:56
Бренду нужно зайти на Фейсбук? Несколько очень полезных советов об измерении эффективности SMM....
01 05 2026 6:52:44
Значит так, делаем из лимонов лимонад — «выжимаем» максимум из ошибки 404...
30 04 2026 22:28:27
Украинцы хотят заниматься коммерцией. И иногда делают это очень нестандартно. Собрали для вас подборку бизнесменов с особенным мышлением....
29 04 2026 16:52:54
Ошибки, которые допускают новички и теряют деньги, трафик, клиентов....
28 04 2026 5:20:55
Бесплатные продукты для онлайн-бизнеса — история внедрения freemium модели в сфере виджетов обратных звонков....
27 04 2026 5:23:59
Почему лендинги на Тильде выгодны бизнесу, какие задачи он решает, о форматах работы по услуге, детально о ее составе и спецпредложениях от Netpeak и наших партнеров по настройке контекстной рекламы, сервисов на лендинге и даже промокод на скидку Yagla...
26 04 2026 21:23:14
Что нужно учесть при создании баннеров для разных аудиторий...
25 04 2026 14:31:36
Скрипт для распределения бюджета на отстающую семантику, чтобы получать больше трафика по меньшей цене...
24 04 2026 15:39:52
Крутые площадки для нового инструмента: контекстщикам на заметку!...
23 04 2026 13:38:26
Чтобы увеличить количество заявок и получить волну новых заказов, нужен комплексный подход...
22 04 2026 13:29:23
Как мы продвигали бизнес-страницы OLX с помощью рекламы в Facebook, TikTok и Viber....
21 04 2026 0:25:28
Топ-8 ошибок новичков в Google Рекламе: как сэкономить деньги при планировании рекламной кампании....
20 04 2026 19:49:43
Корзина интернет-магазина поможет повысить продажи, если ее функционал содержит: фото товара, кликабельное наименование товара, перечень способов оплаты. Узнать больше!...
19 04 2026 19:25:11
О том, как добавить статью в Википедию и о правилах, которые нужно выполнить, чтобы ее не удалили: от добавления Интервики до ссылок на другие статьи, специальных терминов, добавления страниц в категории и выбора источников. Узнать больше!...
18 04 2026 11:10:58
5 кейсов отлично иллюстрируют правила юзабилити и находки веб-аналитиков....
17 04 2026 11:12:56
Решение вопроса о получении корректной информации о конверсиях — вполне посильная задача...
16 04 2026 20:53:41
Многие не догадываются о том, что в КМС Google можно разместить и редактировать графические объявления онлайн...
15 04 2026 19:53:30
Всё об оценке эффективности SEO-продвижения с инструментами и рекомендациями...
14 04 2026 21:58:32
Планируете создание бизнеса, связанного с торговлей в интернете? Сначала прочитайте этот текст....
13 04 2026 7:59:33
Знания основных принципов конверсионности сайта, этапов воронки продаж важны для того, чтобы наладить процессы, рост продаж в любом бизнесе. Узнать больше!...
12 04 2026 10:17:38
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
