Коммерческое ранжирование Яндекса (перевод)
У нас есть технологический SEO-отдел, который не только инициирует разработку сервисов (Serpstat (ex. Продвигатор), Netpeak Spider, Netpeak Checker и пр.), но и разбирается в алгоритмах и проводит различные эксперименты. Переводы некоторых интересных и важных документов уже есть в сети, но когда мы их проверяли, то периодически находили серьезные фактические ошибки, поэтому всегда работаем с первоисточниками и вот как сейчас делимся своей версией перевода исследования про коммерческое ранжирование Яндекса с читателями блога.
Для чего придумано? Для того, чтобы ранжировать те документы, которые уже высокорелевантны для этих запросов. На что обратили внимание:
- на доверие пользователей;
- юзабилити;
- качество дизайна;
- качество сервиса.
Для ранжирования используется сумма коммерческой и тематической релевантности. Уходя с головой в SEO, многие вебмастера забывают о пользовательских факторах. А удовлетворенность пользователя на коммерческих сайтах может варьироваться очень сильно. В частности, значительное влияние на поведение пользователей оказывают: дизайн, механизм онлайн обратной связи, отзывы пользователей о товарах. Формальные критерии, которые хаpaктеризуют удобство для пользователя, дизайн и уровень доверия, должны быть созданы на базе аспектов качества сайта, которые важны для пользователя. Такими критериями могут быть: длина текста, грамотно написанный контент, читабельность тайтлов, наличие карт, информация о компании, легкие для запоминания телефонные номера, бесплатная доставка и т.д. Есть работы, которые описывают подходы для сбора дополнительных данных о качестве сайтов. Например: агрегация оценок из нескольких источников, таких как мнения пользователей и данные о кликах или текстовая релевантность и время публикации. В своем документе мы предлагаем новый подход, который включает в себя создание новых аспектов релевантности и внедрение некоторых фич, которые позволяют оценивать релевантность по предложенным нами метрикам.
Шкала оценки коммерческой релевантности
В отличие от тех, кто предлагает оценивать данные о кликах и учитывать мнения пользователей, мы предпочитаем использовать оценки асессоров, т.к. такая методика вносит меньше шума в данные, чем сравнение данных о кликах с данными из тулбара. Если использовать только два последних типа данных, то очень сложно определить, остался ли пользователь удовлетворенным результатом поиска. Поведение пользователя, который задал коммерческий запрос, может очень сильно изменяться в зависимости от категории продукта, его стоимости и т.д. (сравните доставку пиццы и покупку линзы для фотоаппарата). В то же время, эти источники могут дать полезные данные, поэтому, мы дали к ним доступ асессорам. Мы выбрали четыре показателя качества, которые, мы уверены, дают всю необходимую информацию. Это означает, что сайт качество которого определено с помощью измерений данных показателей, включает в себя множество различных фич. Список метрик качества сайта включает в себя:
- надежность (trustability) ;
- юзабилити;
- качество дизайна;
- качество обслуживания.
Мы разработали детальные инструкции для асессоров. Согласно этим инструкциям, оценка состоит из двух этапов. На первом этапе асессор должен определить, является ли этот документ тематически релевантным для этого запроса. Мы используем шкалу с пятью оценками релевантности: нерелевантный, релевантный, высокорелевантный, полезный и витальный. Оценка же качества сайта — более сложное, время- и трудозатратное занятие, чем оценка тематической релевантности (а особенно — получение информации из данных о кликах). В нашем случае ситуация частично становится легче за счет того, что нужно оценивать только релевантные сайты. Мы не рассматриваем документы, оцененные как витальные или полезные, так как, зачастую, они оказываются единственным нужным пользователю результатом поиска. Как уже говорилось ранее, мы рассматриваем только пpaктически одинаковые по релевантности результаты. На первой стадии оценки, определяется количество и разнообразие сервисов и продуктов, предлагаемых документом по данному коммерческому запросу. Мы определяем три оценки разнообразия ассортимента: мало, стандартно, много. Оценка разнообразия ассортимента для запроса q и документа d определяется V(q,d). На второй стадии оценки для всего сайта определяются надежность, юзабилити, качество дизайна и обслуживания. У надежности и качества обслуживания есть 4 возможных оценки: спам, стандартно, хорошо и отлично. Сайт получит отметку «спам», если он не позволяет сделать покупку или заказать указанную услугу (фейковый сайт). Сайты с пометкой «стандартно» не плохи сами по себе, но не отличаются ничем особенным от тысяч других похожих коммерческих сайтов. Хорошие сайты предоставляют пользователям стандартный набор услуг, а отлично получают известные лидеры рынка. Надежность и качество обслуживания для сайта обозначаются T(s) и S(s) соответственно. Обратите внимание, что эти показатели не зависят от пары запрос q и документ d. У юзабилити и качества дизайна есть только три оценки: плохо, хорошо, отлично. Эти показатели обозначаются как U(s) и D(s). Все значения для указанных выше показателей варьируются от 0 до 1. Для использования в будущем информации о качестве в течение обучения ранжированию (машинное обучение - прим. переводчика), мы привели четырехмерную оценку к одному показателю коммерческой релевантности: где Rc(q,d,s) — это показатель коммерческой релевантности для запроса q, документа d сайта s. Вес надежности и уровня обслуживания в два раза выше, чем у других показателей. Это сделано по причине того, что мы считаем эти свойства более важными с точки зрения удовлетворенности пользователя, но не рассматриваем такой выбор коэффициентов как единственно возможный).
Обучение ранжированию с новыми показателями
Оценка коммерческой релевантности — это очень сложная задача и, при прочих равных, количество меток коммерческой релевантности будет значительно меньше, чем меток для тематической релевантности. Мы не можем не принимать во внимание оценки для тематической релевантности, у которых нет соответствующих оценок коммерческой релевантности. Это может привести к уменьшению выборки, ухудшению процесса обучения и, как следствие, ухудшению работы функции ранжирования. Таким образом, перед началом обучения процессу ранжирования, мы должны экстраполировать метки коммерческой релевантности на всю обучающую выборку. ПроцеДypa экстраполяции состоит из двух шагов. Во-первых, мы обучаем функцию ранжирования на небольшой выборке, которая содержит только метки коммерческой релевантности. Результирующая функция ранжирования дает нам ожидаемое значение коммерческой релевантности Rc(q,d,s), которое обозначается Rсest(q,d,s): После этого мы применяем функцию ранжирования из первого шага ко всей выборке с метками тематической релевантности. Это возможно, т.к. мы используем одни и те же методы ранжирования для обеих выборок. Т.к. только высокорелевантные документы получат оценки коммерческой релевантности, то эти ожидаемые оценки вычисляются только для пар запрос-документ, у которых очень высокий показатель тематической релевантности. Все остальные пары запрос-документ в обучающей выборке получат нулевое значение коммерческой релевантности. Получив значения для показателей коммерческой релевантности для всех тематически релевантных результатов запросов коммерческой направленности в нашей выборке, мы вычисляем единую оценку релевантности: где Rf(q,d) — это значение тематической релевантности, Ru(q,d,s) — это единая оценка релевантности и альфа — это весовой коэффициент. Используя единую оценку, мы обучаем функцию ранжирования на всей выборке. Весовой коэффициент альфа выбран эмпирически так, чтобы он максимизировал влияние коммерческой релевантности, но не влиял на метрики тематической релевантности. В итоге мы получаем функцию ранжирования, которая предсказывает единую оценку релевантности, которая, в свою очередь, включает тематическую релевантность и коммерческую.
Особенности измерения качества сайта
Для более точного предсказания новых меток релевантности, которые включают тематическую и коммерческую релевантность, мы предлагаем определенные способы, специфические для коммерческих сайтов. Они новы в том смысле, что пpaктически непригодны для ранжирования в терминах тематической релевантности, т.к. метки тематической релевантности не несут никакой информации о релевантности коммерческой. Но для аппроксимации коммерческой релевантности эти способы очень важны, т.к. они дают понимание о качестве страницы. Из некоторых разработок в этой области мы выбрали некоторые многообещающие способы и дополнили их своими разработками. Таблица 1 представляет список некоторых способов, использованных в нашем исследованием. Обратите внимание, что большинство этих методов — доменного уровня, которые агрегируют информацию из всех документов коммерческого сайта. Это согласуется с фактом того, что, согласно формуле (1), коммерческая релевантность зависит от качества сайта в целом. Сравнение обучения ранжированию с и без описанных методов качества дано в разделе результатов. Таблица 1.Параметры, для измерения качества сайта
- Детальная контактная информация.
- Страницы компании в социальных сетях.
- Отсутствие рекламы.
- Количество различных товаров.
- Детальность описания товаров.
- Наличие службы доставки.
- Наличие техподдержки (почта, телефон, форма обратной связи).
- Система онлайн консультаций.
- Скидки.
- Читабельность имени домена.
- Средняя длина URL.
- Средняя длина Title\\\'ов.
- Соответствие заголовка страницы её содержимому.
- Средняя вложенность URL.
Новые метрики для метода оценки
Для оценки своих результатов мы разработали две NDCG-подобные метрики основанные на человеческом мнении о коммерческих сайтах. Первая метрика представляет собой взвешенное качество результатов поиска для данного множества коммерческих запросов. Его значение для запроса q определяется как: где Rc(q, di,si) — это коммерческая релевантность для i-го результата поисковой выдачи для запроса q. Общее значение этой метрики для данного набора запросов — это просто среднее значение Goodness(q) среди всех запросов из множества. Чем выше это значение, тем лучше результат поиска. Наша вторая офлайн метрика показывает соотношение низкокачественных результатов поиска для коммерческих запросов. Аналогично первой метрике, она вычисляется для заданного множества запросов как среднее для запросо-зависимых значений по всему множеству. Выражение для запросозависимых значений выглядит так: где th — это порог минимальной коммерческой релевантности для результатов поиска. Чем меньше это значение, тем лучше результаты работы поисковой системы. Также, мы используем A\B-тестирование и чередуем онлайн эксперименты, чтобы оценивать свои результаты.
Результаты и обсуждения
Мы предложили новый способ измерения качества документов для коммерческих запросов — коммерческую релевантность. Мы разработали несколько свойств ранжирования для оценки качества сайта. Мы предложили метод экстраполяции дополнительных меток релевантности для всей обучающей выборки, что позволяет нам не терять в процессе обучения никакую информацию о тематической релевантности. Мы разработали оффлайн DCG-подобные метрики, наблюдали их изменения на протяжении экспериментов и внедряли информацию о качестве в функцию ранжирования. Рис. 1 показывает изменение метрики Goodness за некоторое время до и после модификации функции ранжирования. Горизонтальная ось — это ось времени, а вертикальная ось показывается относительное значение нашей метрики. Можно увидеть, что значение метрики увеличилось примерно на 30% по сравнению с предыдущим значением. Рис. 2 показывает изменение нашей второй метрики — Badness. Как и в предыдущем графике, горизонтальная ось — это ось времени, а вертикальная показывает относительное изменение значения метрики. Из графика видно, что Badness-метрика уменьшилась примерно на 70%. В то же самое время, значение классической NDCG метрики, вычисляемой только с учетом тематической релевантности, на протяжении всего эксперимента пpaктически не менялось. Мы сравнили наши результаты с обучением без учета новых коммерческих свойств. Улучшение Goodness и Badness метрик было примерно на 20% меньше, чем с учетом новых свойств. Наш онлайн эксперимент показал, что пользователи выбирают новые результаты ранжирования на 1% чаще, чем результаты стандартного ранжирования. При A\B-тестировании, наши результаты, учитывающие качество, показали уменьшение показателя отказов на 5% и увеличение соотношения кликов к показам на 1.5%. В следующей работе в процессе обучения будет использоваться набор меток релевантности вместо единственной суммарной оценки. Другой подход к дальнейшему улучшению коммерческих результатов поиска заключается в разработке новых коммерческих ранжирующих сигналов.
Комментарии:
Рекомендации по ведению переговоров в непростых условиях....
19 04 2024 9:18:51
Данные о стоимости клика в наиболее популярных рекламных интернет-площадках страны....
18 04 2024 13:35:49
Как решить все задачи и не изобретать велосипед. Мы оторвались от отчетов в Google ***ytics и Яндекс.Метрике и посмотрели в сторону менее популярных инструментов для веб-аналитики. Узнайте больше!...
17 04 2024 14:43:49
Новый способ автоматизации процессов при настройке аналитики больших объемов данных....
16 04 2024 9:50:44
В третьем квартале Netpeak внедрил множество крутых улучшений. Мы подробно расскажем о семи самых интересных новостях....
15 04 2024 17:26:32
Быстро разогнать рекламные кампании и получить рост конверсий при повышении CPA до 100%. Как этого добиться — читайте в новом кейсе....
14 04 2024 8:11:45
Требования к интернет-магазину, мануал по регистрации, что может пойти не так...
13 04 2024 5:39:38
Узнайте зарплату интернет-маркетологов с новым рейтингом от Serpstat....
12 04 2024 19:17:55
Как настроить эффективную удаленную работу: комментарии топ-менеджмента Netpeak с плюсами и минусами, личными инсайтами и рекомендациями. А также перспективы развития удаленки в комапнии. Читать дальше!...
11 04 2024 20:18:22
Выясняем, есть ли жизнь у мобильных всплывающих окон, и как их сделать правильно...
10 04 2024 21:50:25
Ещё один проект, который продвигался во время карантина....
09 04 2024 3:42:11
Я исследовал 23 миллиона кликов из Украины в Google Ads, Facebook, Директ и структурировал данные по 19 тематикам...
08 04 2024 1:34:59
Несколько полезных советов перед запуском. Tрaнcпорт и путешествия, ритейл, медиа и развлечения — тематики, в которых чаще используют мобильные приложения. Есть и другие факторы популярности приложений. Узнать!...
07 04 2024 12:18:32
Что нужно знать о целевой аудитории, как грамотно воровать у других и что нужно сделать, чтобы настроить идеальную рекламную кампанию....
06 04 2024 10:31:18
Хороший пост с примерами продающих «Белых книг»....
05 04 2024 3:14:14
Фильтруем свой трафик от сотрудников в Google ***ytics...
04 04 2024 15:47:43
Список рекомендаций для SMM-специалистов. Статья будет полезна SMM-менеджерам, проектным менеджерам, а также владельцам бизнеса, которые предпочитают самостоятельно ставить комaнде задачи и отслеживать выполнение целей....
03 04 2024 20:54:51
Видеомаркетинг должен стать обязательной частью рекламной онлайн-стратегии, и мы собрали несколько подтверждений этому в нашей инфографике....
02 04 2024 8:58:10
Расскажу, как подобрать картинку на рабочий стол объявления в Рекламной сети Яндекса, и приведу небольшой кейс о том, как это делали мы для агентства путешествий...
01 04 2024 7:17:12
Как вести рекламные кампании и что делать на разных этапах настройки. Делимся опытом: примерами, кейсами и рекомендациями. Узнать больше и настроить свои РК, как боженька!...
31 03 2024 22:32:44
Зная стоимость клика в вашей тематике или регионе, и коэффициент конверсии на вашем сайте, вы можете оценить объем необходимых инвестиций в рекламу и прогнозировать стоимость конверсии. Узнать больше!...
30 03 2024 3:32:29
Чем радовала, смущала и шокировала реклама в социальных сетях в марте 2021-го...
29 03 2024 21:44:52
Результаты, которых мы достигли за 2 месяца работы....
28 03 2024 11:11:42
Как разобраться в типах соответствия ключевых слов и определить, что минус-слова блокируют показы нужных ключевых слов....
27 03 2024 5:34:13
Отрывок из книги «Статистика: базовый курс в комиксах» Грейди Клейн и Алана Дебни...
26 03 2024 5:10:13
Google Shopping и Smart Shopping Campaign сами себя не оптимизируют....
25 03 2024 16:45:39
Сбор анкет до 16 декабря, публикация результатов в конце декабря...
24 03 2024 11:34:10
Чем работа веб-студий отличается от конструкторов сайтов, как выбрать веб-студию и пять базовых понятий, которые должен знать каждый, кто решил создать сайт....
23 03 2024 6:30:54
Всё, что вы хотели знать о функциях вычисляемых полей, но боялись спросить....
22 03 2024 3:40:17
Точность и полезность — главные фишки нашего сервиса для расчета показателя LTV (Customer Lifetime Value)....
21 03 2024 22:11:15
Часто в распоряжении клиента только интерфейс конструктора сайтов, весьма ограниченный в функциональности. Тогда на помощь интернет-маркетологу приходит сервис Tag Manager, благодаря которому можно настроить необходимый код расширенной электронной торговли....
20 03 2024 11:50:49
Как научиться справляться со стрессом и находить в комaнду «тех самых» людей...
19 03 2024 3:29:52
Seznam.cz — одна из пяти поисковых систем в мире, сумевших в отдельно взятой стране стать популярнее Google...
18 03 2024 20:43:18
Почему синергия штатных специалистов и рекламное дело агентства SEO/PPC выгодна бизнесу...
17 03 2024 18:11:47
Если ваш товар или услуга будут хорошо выглядеть на фото или целевая аудитория точно находится в Инстаграм, площадка для будущего блога определена. Узнать больше!...
16 03 2024 13:36:23
Несложные рекомендации, как увеличить продажи с сайта и его мобильной версии с помощью инструментов Google: ***ytics, Tag Manager, Optimizer и форм-опросов. UX-специалисты Турум-бурум рекомендуют их для проверки сайта и используют в своей работе....
15 03 2024 16:48:10
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
14 03 2024 6:35:43
Анализ пути — это как многокaнaльные последовательности в Universal ***ytics, только лучше....
13 03 2024 15:17:14
Информация для бизнесменов, интернет-маркетологов и всех, кто интересуется продвижением бизнеса в интернете....
12 03 2024 22:17:33
29 ноября в Киеве в UNIT.City — конференция по медицинскому маркетингу MeDiConf...
11 03 2024 19:21:59
Настроить контекстную рекламу для сети гипермаркетов бытовой техники и электроники Mechta.kz...
10 03 2024 9:30:49
Как подготовиться и сделать из интервью полноценную историю, которая будет интересна аудитории...
09 03 2024 13:30:46
Пожар в дата-центре, неудачные обновления и то самое падение Facebook....
08 03 2024 17:11:59
Что такое теневой бан, что о нем известно, как выйти из-под него. Плюс мнение SMM-эксперта Нели Серебро...
07 03 2024 14:44:16
Визуализация данных для новичков. Отвечаем на вопрос читателя....
06 03 2024 19:11:31
Ситема управления проектами, которой пользуются в Netpeak....
05 03 2024 1:41:24
Алгоритм технической подготовки IP-адреса к массовым рассылкам...
04 03 2024 21:40:14
Определение и настройка главного зеркала сайта в поисковых системах — первое, что нужно сделать перед раскруткой сайта...
03 03 2024 16:28:20
Как украинский бизнес использует Черную пятницу, чтобы увеличить продажи и привлечь клиентов. Одежда, детские товары, курсы английского языка, экзотические фрукты, постельное белье, посуда, бытовая техника, SMM-агентство и многое другое...
02 03 2024 13:54:49
Наш обзор кинофильма «Социальная сеть» про Facebook и Марка Цукерберга....
01 03 2024 5:42:45
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::