Как новостная лента Facebook предсказывает то, что вы хотите увидеть?
Алгоритм новостной ленты Facebook окружает множество мифов и догадок. До недавнего времени об особенностях ее работы знали немногие. И вот теперь компания решила показать, как устроена персонализация контента. Подробности — читайте дальше в посте.
Учитываются не только «лайки» и «шейры»
Алгоритм Facebook — чрезвычайно сложная и разветвленная система ранжирования на основе машинного обучения (machine learning, ML). Этой системе нужно показывать релевантный и полезный контент всякий раз, когда пользователь заходит на сайт или в приложение Facebook. А значит, анализировать огромный объем контента.
Страницы в Facebook есть более чем у 2 миллиардов человек. И для каждого система отбирает тысячи возможных постов, которые потенциально могут появиться в ленте.Речь идет о триллионах публикаций и по тысячам сигналов ранжирования нужно понять, что именно отдельно взятый пользователь хотел бы увидеть. Когда кто-то заходит в Facebook, весь этот процесс происходит в фоновом режиме, а новостная лента загружается за нескольких секунд.
К тому же, кроме «лайков», шеров, добавленных в сохраненное и другого, нужно учитывать все новые и новые факторы, такие как кликбейт и фейк-ньюз, для чего Facebook приходится находить другие решения.
Новостная лента — это не один алгоритм, а многоуровневая система. В ее основе несколько моделей машинного обучения для определения наиболее релевантного контента. Определяя, что заинтересует пользователя с большей вероятностью, система отсеивает тысячи постов, и в итоге пул возможных публикаций сужается до нескольких сотен. Они и появляются в новостной ленте.
Что интересно Хуану?
Чтобы понять, как это все происходит на пpaктике, рассмотрим конкретный пример.
Допустим, день назад некий пользователь, назовем его Хуаном, заходил в Facebook. За это время:
- его друг Вей выложил фото своего кокер-спаниеля;
- подруга Саанви разместила видео, снятое во время утренней пробежки;
- одна из страниц, на которые Хуан подписан, опубликовала статью о том, как лучше всего рассмотреть Млечный путь ночью;
- а в группе, посвященной кулинарии, появилось четыре рецепта дрожжевого теста.
Весь этот контент, скорее всего, заинтересует Хуана, потому что он подписан на соответствующие страницы и пользователей.
Чтобы определить, какой контент в новостной ленте Хуана должен быть выше, нужно выяснить, что для него важнее. В математических терминах, необходимо определить критерий выбора для Хуана и провести однокритериальную оптимизацию.
Чтобы понять, понравится ли конкретный пост Хуану, система анализирует данные о публикациях: дата или отмеченные на фото пользователи, «лайки» и прочее.
Например, если Хуан часто комментирует посты Саанви или делится ими, а Саанви недавно выложила видео, записанное во время пробежки, высока вероятность, что Хуану понравится ее новый пост. Если в прошлом Хуан больше взаимодействовал с видеоконтентом, вряд ли ему понравится фото кокер-спаниеля от Вея. В таком случае алгоритм ранжирования разместит видео пробежки выше, чем фото собаки.Но «лайки» не единственный способ выразить свои предпочтения. Люди ежедневно делятся статьями, просматривают видео на страницах селебрити или оставляют комментарии к постам друзей. С точки зрения математики задача усложняется тем, что нужна оптимизация по нескольким критериям, каждый из которых помогает сформировать список релевантного контента для ленты.
Множество ML-моделей выдают уйму прогнозов для Хуана: вероятность взаимодействия с фото Вея, видео Саанви, статьей о Млечном пути или рецептах теста. Каждая из моделей предлагает свой список контента для пользователя. Иногда бывают расхождения.
Например, может быть выше вероятность того, что Хуану понравится видеоролик о пробежке Саанви, а не статья о Млечном пути. Но при этом он с большей вероятностью прокомментирует статью, а не видео. Поэтому нужно объединить все предположения в общий рейтинг, оптимизированный для конечной цели: показать пользователю содержательный и релевантный контент.
При формировании ленты учитывается мнение аудитории — Facebook регулярно проводит опросы. Пользователей спрашивают, насколько ценным они считают взаимодействие с контентом друзей, стоят ли публикации потраченного времени.
Алгоритм ранжирования
Нужен эффективный механизм, чтобы ежедневно в реальном времени сортировать больше тысячи постов для каждого из 2 миллиардов пользователей. Такая задача выполняется в несколько этапов, стратегически разработанных так, чтобы делать все быстро и уменьшить объем требуемых вычислительных ресурсов.
Вначале система собирает все возможные публикации для ленты Хуана: фото кокер-спаниеля, видео пробежки и прочее. Список потенциального контента включает в себя любые посты, которыми с Хуаном поделились друзья, группы и страницы, начиная с того момента, как он в последний раз открывал приложение или сайт Facebook.
Но как быть с публикациями, которые размещены до предыдущего посещения соцсети и которые Хуан не видел? Такие посты, если они соответствуют интересам Хуана, могут появиться в текущей ленте. Логика формирования ленты также учитывает действия друзей. То есть посты, которые Хуан уже видел, но спровоцировавшие в дальнейшем активное обсуждение, тоже могут оказаться в ленте.
Затем система оценивает каждый пост по ряду критериев:
- тип контента;
- сходство с другими постами;
- соответствие тому, с чем Хуан обычно взаимодействует.
Чтобы все это рассчитать для двух миллиардов человек в реальном времени, ML-модели параллельно запускаются на нескольких машинах — предикторах.
Но прежде чем объединить все прогнозы в единый рейтинг, применяются дополнительные правила. Система ожидает первых прогнозов, а затем сужает список возможных постов. Делается это в несколько подходов, чтобы сэкономить вычислительные ресурсы.
- Вначале соцсеть применяет к каждому посту определенные интегральные процессы, чтобы определить, нужны ли методы поиска последовательности и какие именно.
- На следующем этапе упрощенная модель сужает список примерно до 500 наиболее релевантных постов для Хуана. Ранжирование меньшего количества постов позволяет использовать более мощные модели нейросетей в дальнейшем.
- Затем идет основной этап подсчета рейтинга, на котором происходит большая часть персонализации. Для каждого поста рассчитывается индивидуальный рейтинг. И каждый из 500 постов получает свое место в этом списке.
- Довершает все подсчеты контекстный этап, на котором система учитывает такие хаpaктеристики, как разнообразие типов контента. Поэтому в ленте условного Хуана видеоролики не идут один за другим.
Все эти сложные вычисления происходят за время, пока вы открываете приложение Facebook. То есть за несколько секунд люди получают готовую ленту, которую можно с интересом просматривать.
Выводы
Алгоритм новостной ленты Facebook — многоуровневая и разветвленная система ранжирования на основе машинного обучения.
Система работает в несколько этапов:
- Собирает все возможные публикации для ленты пользователя (с учетом действий его друзей и подписок).
- На основе собственных прогнозов сужает список примерно до 500 наиболее релевантных постов.
- Затем максимально персонализирует этот список. То есть размещает 500 постов в ленте согласно рейтингу, присваивая «очки интересности» каждой из публикаций на основе предыдущего опыта пользователя (что он «лайкал», какими публикациями делился и так далее)
- Добавляет элемент разнообразия, чтобы однотипные посты не шли друг за другом.
Все это происходит за считанные секунды, пока загружается лента новостей в Facebook. Соцсетью пользуются 2 миллиарда человек по всему миру, то есть речь идет о ранжировании триллионов постов каждый день.
Спасибо за помощь в подготовке перевода статьи партнерам Netpeak Сluster — Центру международных экзаменов по английскому языку Grade.ru и Cambridge.ru.
Комментарии:
2 любопытные истории и 8 успешных стартапов, которые вас удивят....
25 04 2024 8:16:12
Как передавать данные пpaктически о каждом «шаге» пользователя на сайте...
24 04 2024 11:25:30
Пора сделать так, чтобы мобильная версия сайта приносила прибыль....
23 04 2024 19:37:44
Какой контент публиковать в Instagram, зачем ставить хештеги, какие активности интересны пользователям инсты, как ведут свой Инстаграм топовые бренды. Узнать больше!...
22 04 2024 16:36:23
Всё, что вы хотели знать о функциях вычисляемых полей, но боялись спросить....
21 04 2024 1:47:11
Представление — это уровень доступа в аккаунте Google ***ytics. На уровне представления можно предоставить или ограничить доступ пользователей к отчетам и аналитическим инструментам...
20 04 2024 11:39:13
До понижения в органической выдачи Гугл у сайта есть около 15 дней с момента появления сообщения о вредоносном контенте....
19 04 2024 16:24:27
Без понимания того, какие данные заложены в основу воронки продаж получается... — читайте в статье...
18 04 2024 9:37:36
Конкректная цель — конкретные результаты трудоустройства...
17 04 2024 3:38:53
Решили перейти на Google ***ytics 4? Предлагаем разобраться, чем отличается инструмент от предыдущей версии и изучить новинки в отчетах «Демография» и «Технология»....
16 04 2024 10:46:52
Какие фишки влияют на видимость сайтов? Советы по юзабилити от SEO-специалиста....
15 04 2024 9:43:59
Как сэкономить время, ресурсы, и сделать онлайн-маркетинг эффективнее с помощью языка R...
14 04 2024 22:10:40
Грамотно оформленные метатеги презентуют сайт, помогают пользователям быстро найти нужную информацию, а поисковым системам — повысить ресурс в выдаче...
13 04 2024 4:12:21
Тренинг по контекстной рекламе образовательных курсов в Google Ads, Яндекс.Директ, Target@mail...
12 04 2024 6:29:43
Время, потраченное на исправление ошибок, допущенных на этапе подготовки и создания сайта, убивает потенциал роста видимости ресурса....
11 04 2024 21:15:37
Плейсменты, требования, запоминаемость...
10 04 2024 13:23:37
Участники бизнес-клуба netpeak получают бесплатные консультации по вопросам ведения контекстной рекламы в Google Ads...
09 04 2024 6:33:45
Активно юзая Google Tag Manager, узнали много нового о dataLayer и методах отслеживания статистики в Google ***ytics для SPA-сайтов и лендингов. Об этом и расскажем...
08 04 2024 23:43:47
Много 404-страниц и ссылок на них негативно сказывается на ранжировании сайта в поисковых системах....
07 04 2024 3:53:47
О феномене Баадера-Майнхофа — как на самом деле работают системы баннерной рекламы в интернете...
06 04 2024 2:24:58
Решили написать про новый формат рекламы — баннерный...
05 04 2024 9:28:50
82% малых бизнесов тонут как раз из-за проблем с денежными потоками (по данным исследований U.S. Bank, 2020). Как предприниматели попадают в кассовые разрывы и что делать в таких ситуациях, разберем в этой статье....
04 04 2024 4:19:34
Как избежать ошибок при продвижении интернет-магазина с помощью видеоблогеров....
03 04 2024 19:43:46
Метод бoмжа в маркетинге. Как разработать позиционирование стартапа при ограниченных ресурсах...
02 04 2024 18:11:11
Как снизить цену за привлечение клиента на 50%, развивая только кампании для пользователей десктопов....
01 04 2024 12:23:52
Эффективность контекстной рекламы в тематике «тюнинг автомобилей»....
31 03 2024 20:31:40
Как рекламировать смартфоны в YouTube — советы крупному бизнесу по настройке и запуску эффективной рекламы. Важно: корректный анализ результатов. Узнайте как его сделать!...
30 03 2024 5:36:15
Примерно 70% конверсий происходит за счет дополнительных источников, их ценность отражается в GA. Разбираемся, какие отчеты использовать для анализа и оценки таких источников. Читайте далее!...
29 03 2024 10:54:48
Наука перехода — понятие краулинга (crawling, сканирование) сайта и принципа его работы. Виды поисковых роботов и способы их управления и другие полезные фишки в рубрике Азбука SEO на Netpeak Blog...
28 03 2024 16:59:24
Расчет вероятности конверсии, быстрое и эффективное создание дашбордов, строение моделей KPI. Примеры аналитики кампаний с помощью Excel и Power BI от спикера 8P 2016 Максима Уварова....
27 03 2024 13:56:15
Страховка, медицина, корпоративы, английский и оплата спортзала — знакомые плюшки IT-компаний. В этом материале читайте про редкие и необычные бонусы, которые предоставляются в некоторых IT-компаниях Украины....
26 03 2024 20:34:55
Если ваш сайт не приносит желаемых продаж, задумайтесь о смене формата. Этот кейс о том, как с качественным лендингом можно достигнуть желаемой цены за конверсию....
25 03 2024 21:54:31
Рассказываем о том, что такое Песочница, как сюда писать и получать больше аудитории для своего бизнеса...
24 03 2024 13:57:17
Медиаплан для контекстной рекламы малого и среднего бизнеса — как составить медиаплан мечты для рекламных кампаний без ложного понимания, что автоматические сервисы могут корректно обработать сырые данные и выдать результат...
23 03 2024 8:50:28
Интересные факты про Google Рекламу перевел Сергeй Бахарь для читателей нашего блога....
22 03 2024 6:31:41
Открываем интернет-магазин за один день. Комплекс UniTheme от AlexBranding и Netpeak включает CMS CS-Cart, современный шаблон и 11 SEO-модулей...
21 03 2024 7:17:59
Почему соотношение данных об использовании приложения важнее, чем количество установок и удалений...
20 03 2024 18:41:52
Идем в Бразилию: опыт Depositphotos + полезные факты....
19 03 2024 11:40:24
Статистика изменений долей рынка после майского и декабрьского апдейта Google в 2020 году....
18 03 2024 2:27:27
При работе с рекламным аккаунтом приходится вносить много однотипных изменений. Рассказываем, как сделать это быстро....
17 03 2024 0:22:28
Виктория Игнатьева опубликовала новый кейс по продвижению интернет-магазина детской одежды, обуви и товаров: ROMI (возврат маркетинговых инвестиций) 319%....
16 03 2024 15:59:30
Специалистам часто приходится проводить вебинары и для этого нужна адекватная площадка. В инсайдерском посте мы рассказываем, как выбирали подходящую платформу для проведения вебинаров и что из этого вышло....
15 03 2024 12:15:52
Все, что нужно знать об UTM-метках: зачем использовать, как правильно сгенерить и анализировать....
14 03 2024 20:54:39
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
13 03 2024 0:12:12
Как говорится, люди делятся на тех, кто делит других на типы и тех, кто не делит. В этом посте — про желтых, синих, красных и зеленых людей....
12 03 2024 8:33:21
Фотоконкурс для стимуляции активности в сообществе, прироста фанов и поощрения лояльной аудитории....
11 03 2024 0:40:54
SMM от Netpeak — это разработки стратегий продвижения, механики конкурсов, медиапланирование и постоянная интеpaктивная связь с клиентом с помощью «Личного кабинета»....
10 03 2024 11:35:22
Персональный чек-лист автора десятков рассылок: три года опыта и регулярное общение с техподдержкой почтовых сервисов. Всё о том, как не попасть в спам и как из него спасаться. А может и не всё. Можете дополнить этот пост своими фишками? Делитесь!...
09 03 2024 11:17:47
«Настольная» методичка для предпринимателей и маркетологов....
08 03 2024 0:50:30
Что такое посол бренда и чем он отличается от адвоката бренда?...
07 03 2024 8:57:11
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
