Как прогнозировать цены с помощью машинного обучения
Когда ваш бизнес растет и товаров становится больше, то управлять ими вручную невозможно. Чтобы устанавливать конкурентные цены, корректировать ассортимент и оптимизировать бизнес-процессы, ритейлеры используют алгоритмы машинного обучения. Но с ними не все так просто.
В этой статье я опишу методы восполнения недостающих данных: от их покупки до моделирования с помощью алгоритмов машинного обучения.
Первый шаг в использовании алгоритмов — их обучение на исторических данных (обучение с учителем, supervised learning), где есть целевая функция. Например, продажи, выручка, прибыль или доля рынка.Эта функция — основной KPI ритейлера, на прогнозирование которого и будет работать данный алгоритм.
Модель анализирует переменные, которые влияют на продажи — цены, трафик и другие— и выводит функцию, которая максимально точно описывает продажи. После этого обученный алгоритм рекомендует с высокой точностью, какие значения переменных максимально увеличат продажи в будущем.
Чем больше данных в распоряжении алгоритма, тем точнее он работает. Поэтому данные — важнейшее условие конкурентоспособности ритейлера.
Причины отсутствия данных
Главная сложность, с которой сталкиваются ритейлеры при использовании алгоритмов, — пропуски или противоречия в исторических данных. Из-за этого сложно ими пользоваться нормально.
Причины:
- Менялся формат данных.
Различия внутренних систем, ИТ-решений, подходов к сбору данных (по дням или по транзакциям) приводят к тому, что данные в разные периоды жизни компании собираются в разных форматах . - Данные собирались для разных целей.
Если данные собираются в обобщенном виде, например, для расчета премии категорийным менеджерам и не категорируются, они, как правило, не пригодны для обучения алгоритмов. - Ритейлер недавно вышел на рынок.
На начальном этапе 90% продаж зависят от трафика сайта. Поэтому невозможно определить, как цены влияют на продажи в течение этого периода. - Горящие распродажи.
Если ритейлер работает в режиме flash sales (запуск кратковременных распродаж разных категорий или брендов), алгоритмы не могут использовать полученные неоднородные данные.
Если по какой-либо причине данных недостаточно для обучения алгоритма и прогнозирования, ритейлер должен постараться выжать все возможное из доступного объема данных, смоделировать или купить недостающие данные.
Как работать с существующими данными
Данные, независимо от источника, должны быть в едином формате. Если уже собран определенный объем данных, то ритейлеру потребуется около года, чтобы собрать данные в новом формате (например, включающие цены и акции конкурентов), прежде чем их можно будет использовать в алгоритмах.
Еще один путь — купить недостающие данные.
В то же время для создания моделей прогнозирования данные о конкурентах не нужны.
Такие модели менее точны, более трудоемки, требуют допущений и моделирования отсутствующей информации, но используются достаточно широко.
Как смоделировать недостающие данные
Есть методы, которые прогнозируют недостающие значения на основе существующих данных об определенных переменных. Например, у ритейлера есть данные о своих ценах и продажах за два года, а также о продажах конкурента за полтора года. На основе этой информации можно определить, какими были цены конкурента за отсутствующий период.
Для решения таких задач, как правило, используются классификаторы. Они прогнозируют недостающие значения на основе других независимых переменных, значения которых известны.
Рассмотрим типы «умного» заполнения отсутствующих данных.
1. Предиктивная модель: чтобы получить прогноз о недостающих данных, все данные нужно разделить на две части.
Первая часть — известные данные, вторая — недостающие. Первый массив будет играть роль тренировочного для обучения модели, а данные из второй части станут целевыми переменными для прогноза.
В этой модели, бинарный классификатор будет отвечать на вопрос, произошло ли то или иное событие (например, были ли товары на полке). Категорийный классификатор — присвоит товар определенному сегменту (например, ценовому сегменту) ;
2. Заполнение методом KNN (k-nearest neighbor): предсказывает недостающие значения на основе ближайшей к целевому показателю переменной.
Близость переменных определяется на основании так называемой расчетной дистанции между ними.
Существует пять основных типов алгоритмов-классификаторов:
- логистическая регрессия;
- древо принятия решений;
- нейронные сети;
- семейство бустеров;
- Random Forest.
Для прогнозирования конечного целевого показателя — продаж — используются регрессоры. Они предсказывают не сегмент или вероятность, а вероятное числовое значение.
Самые распространенные типы регрессоров — линейная и полиномиальная регрессия, нейронные сети, регрессионные деревья и упомянутый выше Random Forest.Как использовать алгоритмы машинного обучения в работе с данными
Если у ритейлера собран большой объем данных, можно использовать нейронные сети, чтобы с высокой точностью рекомендовать ассортимент или цены для максимального увеличения продаж. Если же их мало, можно использовать другие алгоритмы, которым нужно меньше данных.
Например, если у ритейлера есть достаточное количество исторических данных только о 30% товаров, а также небольшой трафик и редкие продажи, нейронная сеть не сможет работать. В таком случае, можно использовать алгоритмы-деревья для отдельных продуктов.
Примеры древовидного алгоритма — XGboost, LightGBM и CatBoost.Этот тип алгоритма может прогнозировать оптимальные цены на основе 150-дневной истории активных продаж. Однако, у него есть недостаток: он не умеет учитывать взаимозависимость цен на разные товары. Такой алгоритм можно использовать для KVI-товаров, а к остальным — применять простые сценарии переоценки (rule-based pricing).
Чтобы вычислить эластичность цены для 20-30 товаров, ритейлер может использовать регрессию, добавляя три-четыре переменные. Регрессию можно использовать для принятия высокоуровневых решений: например, стоит или нет повышать цены.
Пример: линейная или полиномиальная регрессия (метод опopных векторов).Этот алгоритм не определяет конкретную цену, необходимую для максимального увеличения продаж и маржи, но показывает тенденцию.
Другой метод, который используется, когда ритейлеру не хватает данных, это A/B-тестирование на основе аналитики и статистики. Начинающие ритейлеры могут воспользоваться им, чтобы оценить влияние рекламы и цен на продажи.
Пример: сопряженный анализ.Сопряженный анализ на основе небольшой выборки данных, собранных с помощью A/B-тестирования, определяет оптимальные комбинации цена-промо-реклама. Этот метод показывает, как каждый из этих факторов влияет на цены, и определяет их оптимальное значение.
Выводы
Ритейлер может использовать несколько методов, чтобы восполнить недостающие данные или прогнозировать цены на основе небольших объемов данных: различные классификаторы, древовидные алгоритмы, метод регрессии, A/B-тестирование и совместный анализ.
Самый оптимальный метод — сбор и обработка качественных исторических данных. Используя такие данные, нейронные сети быстрее обучаются и делают более точные прогнозы.
Комментарии:
Кейсы, фишки и советы, опыт крупных брендов, маркетологов....
04 10 2024 8:40:47
Используем маску ввода для оптимизации сбора телефонных номеров в формах на сайте: кейсы агентства Netpeak...
03 10 2024 16:32:59
Я исследовал 23 миллиона кликов из Украины в Google Ads, Facebook, Директ и структурировал данные по 19 тематикам...
02 10 2024 6:19:38
Составим его вместе...
01 10 2024 23:56:19
SEO-специалисты в Киеве получают в два раза больше, чем жители других городов Украины. Middle лидирует среди должностей как PPC, так и SEO-специалистов. Самая высокооплачиваемая должность — Head of PPC $1900. Узнать больше!...
30 09 2024 1:53:32
Есть ли шанс на апелляцию...
29 09 2024 1:18:36
Правила, законы, платное и бесплатное продвижение в Telegram...
28 09 2024 8:30:40
Конкректная цель — конкретные результаты трудоустройства...
27 09 2024 18:44:38
Рекомендации по ведению переговоров в непростых условиях....
26 09 2024 17:59:30
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
25 09 2024 11:28:13
Идеи, достойные распространения. Какие доклады TED Talks повлияли на нетпиковцев....
24 09 2024 10:55:27
Сколько стоил клик в Google Ads и Яндекс.Директ в Казахстане — цифры за первый квартал 2019 года...
23 09 2024 16:51:26
Пока вы не осознаете причины, почему вам выгодно не хвалить, забудьте про качественную обратную связь и максимальную включенность комaнды. Фишки управления собой, людьми и проектами....
22 09 2024 6:37:32
Как настроить и получить эффективную отдачу от Google Local Campaigns...
21 09 2024 13:26:24
Читайте простой мануал о том, как перейти на Universal ***ytics и не поломать весь сбор данных...
20 09 2024 16:36:43
Идеи для интернет-маркетологов, как получить дополнительные каналы трафика и сделать заметным сниппет в поисковой выдаче....
19 09 2024 4:43:50
Правильная постановка целей, задач и дедлайна — основа успешной работы...
18 09 2024 21:58:18
Лестные отзывы от клинта в интернете невозможно переоценить. Если вы владелец малого бизнеса и только разpaбатываете и внедряете свою маркетинговую стратегию, книга «По рекомендации» будет вам полезной...
17 09 2024 5:21:52
Как быстро создавать и запускать объявления, а также массово вносить правки в кампании с помощью файла Excel...
16 09 2024 6:56:46
Часто трафик проседает из-за удаления важных страниц или изменения URL-адресов. Анализ данных веб-архива позволит сохранить или восстановить посещаемость...
15 09 2024 2:37:39
Как использовать игровые механики для вовлечения аудитории....
14 09 2024 19:34:24
Если вы до сих пор сомневаетесь — прекратите это и делитесь своим опытом с читателями, потенциальными клиентами, инвесторами и партнерами. Узнать больше!...
13 09 2024 9:44:45
На украинском рынке услуг велик выбор качественных платформ. Главное понимать, как правильно проводить миграцию....
12 09 2024 12:51:54
Простой способ отслеживания как внутренних, так и внешних битых ссылок. Узнать больше!...
11 09 2024 10:49:29
Как изменилось агентство Netpeak c августа по октябрь? Читайте о семи главных нововведениях и улучшениях в работе с клиентами....
10 09 2024 9:11:15
Отрывок из книги «Статистика: базовый курс в комиксах» Грейди Клейн и Алана Дебни...
09 09 2024 15:56:33
Партнерская программа — это когда сервис дает партнеру вознаграждение за приведенных клиентов. Получить деньги и/или другие плюшки можно также по реферальной программе. Как это работает? Разбираемся на примерах....
08 09 2024 18:34:44
Большой проект Джима Коллинза и его комaнды. Одна из лучших книг в нашей библиотеке. Всем рекомендуется к прочтению!...
07 09 2024 2:22:19
Тестируем новый инструмент Яндекс.Директ — динамические объявления....
06 09 2024 10:15:54
Одно из фундаментальных обновлений Universal ***ytics...
05 09 2024 18:56:41
Отличный кейс Ольги Костовой. Увеличивая бюджет на рекламу вдвое, вы начинаете заpaбатывать не вдвое больше, а в 2.5, 3 и так далее раз больше. На примере кейса показываем, как это происходит. Читать дальше....
04 09 2024 20:13:20
Бизнесу следует позаботиться о том, чтобы представить отзывы на всех площадках (как минимум на тех, которые есть на трех страницах выдачи), где только может искать информацию пользователь. Узнать больше!...
03 09 2024 3:40:37
Какие форматы видеорекламы логичнее купить для создания спроса на новую продукцию? Выясняем на примере кейса бренда Yves Rocher...
02 09 2024 6:15:41
Первая реакция на перегорание — послать все к чертям собачьим. Очень заманчиво, но правильно ли убегать от всех проблем?...
01 09 2024 17:10:26
Пять примеров дизайна, который помогает продавать в рассылках. Просто любуемся и тренируем насмотренность....
31 08 2024 8:42:47
В Казнете о маркетплейсе подрядчиков Naimi.kzприложении говорят все: от студентов до президента....
30 08 2024 13:10:30
Создание, установка и оптимизация title и мета-тегов keywords, description у сайта, построенного на системе Drupal...
29 08 2024 12:37:30
Экс-CEO, а теперь просто сотрудник и «волшебник страны Moz» Рэнд Фишкин поделился с читателями блога рассказом о своем видении будущего SEO, перспективах анонимизации сети и причудах американских клиентов....
28 08 2024 18:24:38
Как повысить результаты продаж в режиме цейтнота. Советы новому руководителю от специалистов Netpeak Group. Больше подробностей — в посте...
27 08 2024 7:59:37
Не Google единым. Нужные и важные знания по Яндекс.Вебмастер....
26 08 2024 13:13:57
Популярные размеры баннеров. Найти самый топовый из джентльменского набора! Мы провели свое исследование....
25 08 2024 16:24:41
Сотрудник не справляется? Значит с ним пора прощаться. Эмоции в сторону, действуем по алгоритму....
24 08 2024 21:43:29
В аккаунте ***ytics появилась возможность подключения ремаркетинга в поисковой сети Google. Расскажем о результатах применения инструмента на примере кейса крупного проекта ecommerce....
23 08 2024 12:52:25
Мы сменили CMS, не просев в трафике, и превратили каталог товаров в полноценный интернет-магазин....
22 08 2024 20:53:20
Масштабируем кампанию в Google за счет управления конверсиями и работы с эффективными каналами продвижения....
21 08 2024 15:11:50
Статья Оливера Гарднера посвящена различным аспектам оптимизации посадочных страниц: дизайну, контексту, созданию кнопки действия...
20 08 2024 19:51:42
Повышение эффективности продаж через звонки с помощью call tracking....
19 08 2024 9:26:17
Пример использования пакета google***yticsR от Марка Эдмондса...
18 08 2024 23:48:16
Понимания стоимость конверсии и необходимое количество конверсий, вы можете прогнозировать, сколько денег на рекламу нужно выделить. В этом заключается польза данного исследования. Читать дальше!...
17 08 2024 22:20:45
Как трафик CDN повлиял на систему интернет-магазина — палим кейсы...
16 08 2024 0:45:19
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
