Как восстановить трафик на важные страницы интернет-магазина с помощью Web Archive
Владельцы сайтов и менеджеры, которые наполняют каталог интернет-магазина, не сильно заботятся об адресах страниц сайта. И это выливается в проблемы для SEO-специалистов. Дело в том, что когда меняются URL основных страниц, они вылетают из индекса поисковых систем и теряют длительной работой накопленное «доверие» и ссылочный вес.
В этой статье мы расскажем, как восстановить трафик на сайт с помощью крупнейшего хранилища копий сайтов.
Но вначале давайте разберемся, что такое Web Archive.
Web Archive и чем он полезен
Архив интернета — некоммерческая организация, основанная Брюстером Кейлом в 1996 году в Сан-Франциско. Сервис собирает копии веб-страниц, графические материалы, видео-, аудиозаписи и программное обеспечение, обеспечивая собранным материалам долгосрочное архивирование и бесплатный доступ к данным.
По-настоящему доступными для широкой публики сохраненные материалы стали в 2001 году, когда был запущен сайт Wayback Machine. Контент сайтов периодически фиксируется c помощью бота веб-архива. Также пользователи могут вручную указать адрес страницы для создания ее копии.
Сервис позволяет проследить историю изменений любого ресурса. Например, можно обнаружить причины каких-либо отклонений в аналитике, трафике или поведенческих показателях сайта. То есть проверить метатеги, тексты, расположение кнопок заказа и так далее. Можно посмотреть старый вариант дизайна своего сайта или скопировать дизайн любого «мертвого» сайта.
Также с мертвых ресурсов заимствуют контент, который может хорошо ранжироваться. Многие интернет-архив только так и используют. Причем настолько часто, что выгруженные тексты обязательно следует проверять на уникальность.
А еще Web Archive будет пpaктически единственной возможностью восстановить сайт, если вы не делали бэкап.
Впрочем, в поисковой оптимизации интернет-магазинов мы используем интернет-архив с другой целью — для восстановления URL-адресов категорий и других важных страниц. Дело в том, что владельцы сайтов или менеджеры, которые наполняют каталог интернет-магазина, не следят за сменой адресов основных страниц сайта. В результате они вылетают из индекса поисковых систем, теряют накопленное доверие и ссылочный вес.
Как восстановить адреса страниц с помощью Web Archive
Следует очистить все ссылки от привязки к web.archive.org и сделать их прямыми именно для вашего ресурса. После этого — настроить 301 редиректы со старых адресов на актуальные. Во-первых, поисковые системы при 301 редиректе передают пpaктически полностью ссылочный вес со старых URL. Во-вторых, пользователи при переходе по старым ссылкам будут в итоге попадать на релевантную страницу сайта.
Конечно, можно попробовать вытащить страницы из кеша Яндекса или Гугла, но если ресурс недоступен уже очень давно, то такие мертвые ссылки открываются только в archive.org. Правда, и там их может не оказаться: у ботов веб-архива ограниченные ресурсы. Вероятность и частота сканирования сайта с маленьким трафиком крайне низкая. Но все-таки попробовать стоит.
Алгоритм действий:
1. Открываем веб-архив и вводим адрес сайта в строку поиска
Если сайт есть в веб-архиве, рекомендуем выбрать несколько копий сайта за разные даты в течение двух лет.
2. Для каждой выбранной даты делаем выгрузку URL-адресов
3. Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную
Как выгружать URL-адреса c помощью Netpeak Spider
Указываем в Netpeak Spider директорию, которую нужно сканировать, дополнительно задаем правила, например, возможность исключить карточки товаров.
Затем сканируем и выгружаем таблицу. Проделываем это для каждой даты.
Важно: изменение адресов карточек товаров целесообразно проверять в том случае, если они приносили существенный трафик.
Если указывать в Netpeak Spider URL-адрес в формате https://web.archive.org/web/12345678901234/https://domain.com/, в правилах сканирования необходимо задать домен сайта, URL которого нужно получить, чтобы не сканировать весь веб-архив и его служебные страницы:
Получаем таблицу:
Как выгружать URL-адреса c помощью Web Scraper
Открываем веб-архив на нужной дате и консоль разработчика на той странице, где в коде есть все нужные URL-адреса. Например, каталог или карта сайта.
Задаем название и начальный URL для сканирования:
Добавляем новый селектор:
Для селектора задаем любое название (Id), выбираем тип селектора (Type) — Link, нажимаем «Select» и отмечаем на сайте все необходимые категории. При выборе более двух ссылок автоматически формируется общий селектор.
Важно: для URL разных уровней (например, категорий и их подкатегорий) необходимо создавать отдельные селекторы.
Нажимаем «Done selecting» и «Save selector». Когда все необходимые селекторы созданы, запускаем Web Scraper:
Выгружаем или копируем полученную таблицу:
Web Scraper позволяет выгрузить URL только категорий, даже если в URL нет общей части.
Как выгружать URL-адреса вручную
Открываем исходный код страницы веб-архива, находим код с ссылками на страницы самого сайта в формате https://web.archive.org/web/*/https://domain.com/url, копируем и очищаем от лишнего кода с помощью регулярных выражений в Notepad++:
- убираем все пробелы в скопированном коде с помощью выражения «\s»;
- все URL размещаем в начале новой строки с помощью замены https://web.archive.org/web/*/ на регулярное выражение « »;
- все символы после кавычки удаляем (заменяем «“.*» на пустую строку).
После получения списка URL в формате https://web.archive.org/web/*/https://domain.com/url простой заменой или с помощью регулярных выражений приводим его к виду https://domain.com/url.
Подготавливаем URL-адреса для простановки редиректов
Загружаем в Netpeak Spider полученную базу и сканируем код ответа сервера. Если страница отдает код 200 или редиректит на страницу с кодом 200, все хорошо и с этими URL-адресами ничего делать не нужно.
Страницы с кодом 404 выделяем отдельно, проверяем при этом, чтобы все URL-адреса в этом списке были уникальными. Особенно это актуально, если выгружались URL-адреса для нескольких дат.
Если на текущей версии сайта не меняли заголовки Н1, можно выгрузить список необходимых адресов страниц с Н1 и сопоставить два списка с помощью простой функции VLOOKUP в таблицах Google.
Готовый список для настройки редиректов со старых URL-адресов на новые отправляем программисту.
Запомнить
Как вернуть органический трафик после неправильного переноса сайта Часто
Алгоритм простой:
- Находим сайт в Web Archive.
- Выбираем несколько копий сайта за разные даты в течение двух лет.
- Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную.
- Подготавливаем базу URL-адресов для простановки редиректов.
- Отдаем программисту список для простановки редиректов со старых адресов на новые.
Комментарии:
Считаем SEO-эффект от нового дизайна сайта и работы над usability...
26 04 2024 2:15:47
Как создавать результативные кампании в Рекламной сети Яндекса...
25 04 2024 19:50:29
Ситема управления проектами, которой пользуются в Netpeak....
24 04 2024 3:53:29
Простая инструкция для новичков, как легко создать анимированные баннеры для рекламных кампаний с помощью бесплатного инструмента Google Web Designer. При создании баннера сервис предложит создать файл с нуля либо использовать шаблон. Узнайте обо всех возможностях!...
23 04 2024 5:58:31
Бесплатный образовательный проект для предпринимателей Netpeak Cluster предлагает пять своих лучших вебинаров о нюансах онлайн-продвижения...
22 04 2024 22:10:37
Популярные скрипты Google Рекламы позволяют автоматизировать рутинные и монотонные процессы. Каждый скрипт состоит из функций, переменных, объектов, сущностей, селекторов, итераторов...
21 04 2024 18:44:51
Отрывок из книги «Статистика: базовый курс в комиксах» Грейди Клейн и Алана Дебни...
20 04 2024 21:27:35
Как построить самостоятельную комaнду и научиться спокойно делегировать...
19 04 2024 18:25:27
Скрипт для распределения бюджета на отстающую семантику, чтобы получать больше трафика по меньшей цене...
18 04 2024 8:45:15
Проседание русскоязычной версии и риск потери трафика из-за дубля страниц — вот чего опасаются при внедрении украинской версии по умолчанию. Как этого избежать, читайте дальше....
17 04 2024 0:50:20
На украинском рынке услуг велик выбор качественных платформ. Главное понимать, как правильно проводить миграцию....
16 04 2024 23:46:12
Глоссарий глупых ошибок в аудите от топовых SEO-агентств...
15 04 2024 3:16:29
Советы бизнесу от зрителей Big Money и Артема Бородатюка. Предлагаем 11 универсальных, но простых и понятных идей....
14 04 2024 10:39:45
Шаги, которые необходимо выполнить для правильного сбора и анализа данных сайта...
13 04 2024 22:28:25
Чтобы попасть в админку сайта, необходимо определить, какая именно CMS используется. Для этой цели подойдет ручной анализ сайта и его HTML-кода, а также онлайн-сервисы...
12 04 2024 17:22:41
Руководство к действию от основателя Netpeak Group....
11 04 2024 23:27:25
Работа — рекламировать. Интервью с директором по стратегии агентства Smartica/Skykillers....
10 04 2024 8:15:17
Эта история о том, как за два года комплексный подход к поисковому продвижению (SEO на этапе разработке сайта и дальнейшие действия по оптимизации) помог увеличить рост бесплатного трафика на 463% или Что делать, если SEO не приносит результаты сразу...
09 04 2024 13:20:29
Как в Google Search можно найти мелодию по примерному напеву...
08 04 2024 3:26:38
6 лайфхаков из опыта специалистов Netpeak Group: пpaктические советы о том, как погрузиться в англоязычную среду в комфортном для себя ритме и объеме. Читайте далее....
07 04 2024 17:31:57
Не хотите настраивать объявление в Google Рекламе и Яндекс.Директ по отдельности? Узнайте, как сделать экспорт кампании и сэкономить время....
06 04 2024 5:11:50
Мы решили организовать серию вебинаров по SEO и предоставить их бесплатно. История о том, как с нуля при минимуме затрат создать успешный онлайн-курс...
05 04 2024 5:23:55
Всё, что вы хотели знать о функциях вычисляемых полей, но боялись спросить....
04 04 2024 4:15:25
Рекомендации и мнения экспертов по одной из самых противоречивых тем украинского интернет-прострaнcтва....
03 04 2024 1:56:32
Как добавить данные о компании на карты Google и Яндекс....
02 04 2024 5:10:45
Как настроить программу Obsidian для удобной и быстрой работы по системе Zettelkasten....
01 04 2024 8:25:58
Кейс продвижения YouTube-канала магазина товаров для рыбалки...
31 03 2024 13:46:45
Интересные детали интерьера в офисах украинских IT-компаний: от массажного стола и тенниса до звукозаписывающей студии и корпоративной велопарковки. Читать дальше!...
30 03 2024 17:50:44
Как использовать игровые механики для вовлечения аудитории....
29 03 2024 4:20:14
Метод бoмжа в маркетинге. Как разработать позиционирование стартапа при ограниченных ресурсах...
28 03 2024 18:44:40
О том, как сделать сайты интереснее и эффективнее. Гeймификация — применение игровых сценариев и элементов вне игровых контекстов. Это не про создание игр, это про поиск решений, которые помогут сделать любую работу интереснее. Читайте дальше!...
27 03 2024 7:52:49
Необходимый элемент для защиты контента от копирования и в то же время — шанс стать популярным автором. Тем не менее, от водяных знаков отказываются. Узнать больше!...
26 03 2024 9:14:46
SEO для цветочных магазинов с оплатой за трафик и полученные результаты...
25 03 2024 2:59:18
Кто ведет соцсети Netpeak и заказывает мерч для всего агентства...
24 03 2024 8:39:16
Кейс SEO-продвижения в США: рост трафика сайта с помощью низкочастотных запросов....
23 03 2024 12:32:12
Как диагностировать Google Panda, понять, что нужно изменить на своем сайте и сделать пользователей счастливыми....
22 03 2024 21:34:31
Покажем, как продвигать сайты, продающие детскую обувь...
21 03 2024 0:30:30
Бесплатно рекламировать и привлечь первых посетителей/клиентов вполне реально своими силами...
20 03 2024 11:31:16
В этом кейсе я не смогу похвастаться ROMI (возврат маркетинговых инвестиций), так как его герои — это новостные порталы. Основная задача — трафик. Но не просто трафик, а трафик по низкой стоимости....
19 03 2024 20:32:59
Отличная работа SEO-специалистов прошлого, породила касту PPC-специалистов настоящего, которые все еще ориентируются на публикации из 2017, ведь они все еще в ТОПе выдачи....
18 03 2024 8:53:40
Работающие способы повысить эффективность рекламных кампаний...
17 03 2024 11:41:35
Андрей Чумаченко про будни топ-менеджера, постановку, декомпозицию, помощь и контроль выполнения задач сотрудниками комaнд, которые входят в состав департамента маркетинга, а также о регулярных встречах и тонкостях работы. Узнать больше!...
16 03 2024 11:37:29
Технология «лёгкость восприятия» — инструмент, который поможет убедить клиентов покупать именно у вас...
15 03 2024 8:44:36
Как избежать скликивания — инструкция...
14 03 2024 0:39:24
Большой проект Джима Коллинза и его комaнды. Одна из лучших книг в нашей библиотеке. Всем рекомендуется к прочтению!...
13 03 2024 0:57:12
О чем стоит задуматься владельцам бизнеса и пользователям больших сайтов и почему Марку Цукербергу надо брать пример с телефонных сетей...
12 03 2024 8:19:23
Конференцию eCommerce будет развивать комaнда Octopus Events...
11 03 2024 17:29:27
Что, если бы покупка в супермаркете происходила так же, как в онлайн-магазине?...
10 03 2024 3:35:40
Сайту нужны внешние ссылки на сторонних ресурсах. Они могут повлиять на ранжирование вашего ресурса и трафик, а один из методов их получить — аутрич....
09 03 2024 6:59:24
Инструменты веб-мастера: что может заменить Google ***ytics?...
08 03 2024 1:14:51
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
