1

Евгений Трофименко raise@konvr.ru
konvr
Плюс 70% к конверсии
за счет работы с множеством мелких изменений в MVT
Евгений Трофименко
raise@konvr.ru
http://konvr.ru/
Skype eugene.trofimenko
+7 (495) 669-32-81

План доклада
Я действительно не понимаю,
почему конверсия должна быть ниже 100%
• Кто мы? Когда нам нужна конверсия? И сколько?
• Отличие А/B тестирования от MVT (многовариантного)
• Достоверность результатов – что нужно
• Как работают с достоверностью, требования
• А что, если достоверность сложно обеспечить?
• На помощь придут интерактивность, работа с малой
статистикой, машинное обучение и MVT
• Описание этих преимуществ http://konvr.ru/
• Разбор машинных кейсов
• Разбор реальных кейсов
• Дальше: взгляд в светлое будущее

Мы все хотим
увеличения конверсии!

А/B тестирование
Несколько принципиально разных вариантов

MVT – multivariate testing
многовариантное тестирование
Много изменяемых факторов, у каждого несколько значений

MVT – multivariate testing
Много изменяемых факторов, у каждого несколько значений

Одинаково в классическом
A/B и MVT
На каждый уникальный вариант лендинга (в MVT
получается перемножением числа вариантов по всем
изменяемым факторам) мы должны накопить некую
«достоверную» статистику, по ней и выбрать
лучший вариант.
Но есть проблемы.
1. Вариантов может быть очень много
2. Варианты могут слабо отличаться друг от
друга по конверсии

«Достоверность» результатов
https://vwo.com/ab-split-test-significance-calculator/
Существует для отличия двух (более) вариантов
друг от друга, нет достоверности самой по себе

P-value как мера достоверности
Вероятность того, что два результата
эксперимента (a1,v1) и (a2,v2) порождены одной
априорной вероятностью P.
Считают нормальной p-value ниже 5%
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
априорная вер-ть
P (a1,v1)
P (a2,v2)

Если мы работаем со
слабыми изменениями?
Например, вряд ли сильно влияют:
• Цвет текста и фон текста
• Шрифт (фонт)
• Размер шрифта
• Бордер, иконки, цвет и наличие ссылок, т.д.
Каждое из изменений – слабо повлияет на конверсию.
Но тем сложнее получить достоверные данные
по нему, тем дороже его оттестировать!

Пусть конверсия 10%,
а слабое изменение дает +5% (итоговая 10.5%)
Недостоверно… Надо накопить больше статистики…

А если таких
параметров 15?
На какое время растянутся ваши тесты?
Сколько они будут стоить?
Например, РСЯ позволяет менять около 15
параметров оформления рекламного блока.
РСЯ – это еще мелочи. Наши желания намного
больше!!!

А что нам хочется тестировать?
Да всё, что пишут в руководствах по лендингам.
Только проверить, а не придумывать:
• у посетителя есть проблема – какая? Все варианты.
• как «другие» ее решают и почему они плохо решают
• как мы эту проблему можем решить
• что мы предлагаем: ценность, гарантии
• что клиент получит и за какие сроки
• кто мы и почему именно мы
• работа с возражениями
• каких усилий от клиента потребует
• ограничения, подарок, тающая скидка, цифры, отзывы
• призыв к действию
• …. любая фантазия

Сергей Спивак

Сейчас много лендингов
никто не проверяет
И в А/Б тестировании
И в многофакторном тестировании
Анализ одинаковый:
1. Приведем на уникальный лендинг достаточное
число целевых посетителей
2. Посчитаем конверсию по каждому уникальному
варианту – и чтобы была достоверная статистика
А что делать, если хочется проверить
ОЧЕНЬ МНОГО ВАРИАНТОВ?

Решение: http://konvr.ru/
Построено на нескольких китах:
• Интерактивность (многорукие бандиты)
• Работа с малой статистикой
• Машинное обучение
• MVT (многовариантное тестирование)

Интерактивное машинное обучение
Мы не обязаны взять много данных, сегментировать и выдать
окончательный ответ. Да и невозмож��о это. Сегменты будут слишком
маленькие, недостоверные.
Но мы можем проверять наши гипотезы интерактивно, прямо сейчас
показывая посетителю тот лендинг, который считаем перспективным
сейчас. И находить лучший.
Интерактивность – основа «многоруких бандитов».
Такой функционал есть в Google Optimizer, но работа с тысячами-
миллионами лендингов выходит за эти рамки.

«Многорукие бандиты»
Интерактивно выбираем, какой лендинг показать
Проблема: нельзя работать с тысячами лендингов
Награда (вероятность конверсии)
при выборе одного лендинга
0%
20%
40%
60%
80%
100%
1 2 3 4 5 6 7 8 9 10
номер лендинга

Есть ли смысл в малых данных?
1000 конверсий / 3000 просмотров = конверсия 1/3
100 конверсий / 300 просмотров = конверсия 1/3
10 конверсий / 30 просмотров = ???
1 конверсия / 3 просмотра = это вообще что???
Вряд ли кто* скажет, что в малых данных
есть смысл. Просто с ними нужно
правильно работать.
* кто другой

По этой же теме:
Григорий Бакунов, Яндекс
https://events.yandex.ru/lib/talks/823/
Landing Page: другой подход
Yac/M, май 2013
Отличия:
Там – только три лендинга, но очень много таргетингов
(перемножение сегментов аудитории facebook)
Почему работает (имхо):
Машинное обучение не игнорирует малую статистику

Кейс: модель пользователя
Лендинг: 6 факторов по 6 значений = 46656 штук
Модель: самая лучшая комбинация имеет конверсию 50%
При любой ошибке конверсия падает в 2 раза
Угадано Конверсия
6 50.00%
5 25.00%
4 12.50%
3 6.25%
2 3.13%
1 1.56%
* Усложним модель – возьмем 6 равноправных
непересекающихся лучших комбинаций, такую задачу
«сливом» рандомного трафика не решить.

Кейс: рост конверсии (модель)
Скрипт «пользователя» «просматривает» лендинг
и делает действия на основе модели
Еще кейсы: http://konvr.ru/pgs_cases.php

Кейс: доля угаданных (модель)
Скрипт «пользователя» «просматривает» лендинг
и делает действия на основе модели
Еще кейсы: http://konvr.ru/pgs_cases.php

Кейс живой 1: рост на 67%
после оптимизации оформления рекламы
Сайт: bigpicture.ru
Срок: 3 недели
Конверсия = клик по рекламе, улучшаем CTR
Исходный CTR: 0.52%
Достигнутый CTR: 0.87%
Работа с 15 параметрами оформления (РСЯ):
ориентация, цвета, фоны, иконки, шрифты, размеры, т.д.
Уникальных оформлений: 4976640 вариантов
ЭТО РАБОТАЕТ

Лучшие варианты параметров
оформления РСЯ (+67%)
type: ["vertical","horizontal"],
font_family: ["arial","tahoma","verdana"],
title_font_size: ["1","2"],
font_size: ["0,8","0,9","1","1,1","1,2"],
links_underline: ["true","false"],
bg_color: ["FFFFFF","F0F0F0","DDDDDD","FDA24D"],
title_color: ["000000","303030","0066CC"],
text_color: ["000000","303030","0066CC"],
url_color: ["006600","000000","303030","0066CC"],
hover_color: ["FF9900","303030","990000"],
header_bg_color: ["FFFFFF","F0F0F0","DDDDDD","FDA24D"],
border_color: ["FFFFFF","0066CC"],
favicon: ["true","false"],
no_sitelinks: ["true","false"],
limit: ["1","2","3"]

Сайт: muzhzdorov.ru
Срок: 4 недели
Конверсия = клик по рекламе
улучшаем CTR

font_family: ["arial","courier new","tahoma","times new
roman","verdana"],
title_font_size: ["1","2","3"],
font_size: ["0,8","0,9","1","1,1","1,2"],
bg_color: ["FFFFFF","EEEEEE","FEE5C7"],
title_color: ["000000","FF0000","444444","8B2213","E38A42"],
text_color: ["000000","FF0000","444444","8B2213","E38A42"],
url_color: ["006600","0000CC"],
no_sitelinks: ["true","false"],
limit: ["1","2","3","4"]

Сайт: buhgalteria.ru
Срок: 6 недель
Конверсия = клик по рекламе
улучшаем CTR

font_family: ["arial","courier new","tahoma","times new
roman","verdana"],
title_font_size: ["1","2","3"],
font_size: ["0,8","0,9","1","1,1","1,2"],
bg_color: ["FFFFFF","e7e7e7","f2e8cc"],
text_color:
["257cbf","636363","434343","8a734e","f7164f","de5b54","1667a0","0a
345b","0000CC"],
url_color: ["de5b54","257cbf","000000"],
limit: ["1","2","3","4"]

Есть кейсы роста +20% ~ +50%
На лендингах, платном трафике, не РСЯ

Мы можем предположить:
1. Что значения факторов не влияют друг на друга
2. Что значения факторов влияют друг на друга
(есть комбинации, которые конвертятся
существенно лучше других)

«Наивный*» метод не работает:
* сделать вывод на основании случайных показов, независимости факторов
1. При не очень сильном влиянии на CR (dCR~50%)
2. При увеличении числа факторов (6+)
3. При увеличении числа значений факторов
А если всё это вместе? В кейсах: 9, 11, 15 факторов
Почему нет: влияние «хвоста» всех остальных
сильнее влияния исследуемого фактора.
Демонстрация нерабочести «наивного» подхода:
http://konvr.ru/pgs_cases.php?id=11

А если факторы – НЕ
независимы?
Людей - кто поймёт?
• Быстро, качественно, дешево = подозрительно
• Быстро и качественно – �� вдруг по деньгам плохо?
• Быстро и дешево – а кого мы пригнали рекламой?
• Качественно и дешево – а если в Москве жара?
Совокупности параметров важны и
сильно влияют на ко��версию.*
*вероятно

Триггерные лендинги.
Чем полнее совпадение -
– тем сильнее цепляет
У посетителей есть некий набор целей, приоритетов
У нас есть возможность предложить им ВСЁ нужное
Только непонятно – что именно им нужно? )
И еще непонятнее – как предлагать?
* Аксиома:
Полное соответствие предложения списку целей посетителя
сильно увеличит конверсию!

Важная фишка Konvr:
Поиск триггерных лендингов.
У посетителей есть некий набор целей, приоритетов
У нас есть возможность предложить им ВСЁ нужное
Только непонятно – что именно им нужно? )
И еще непонятнее – как предлагать?
* Аксиома:
Полное соответствие предложения списку целей посетителя
Способно сильно увеличить конверсию!

Триггерные совокупности:
полное попадание в цели
пусть есть общий трафик по «аренде гостиниц»
в нем есть два типа людей:
«отдыхающие,
семейные»
«бизнес,
командировки»
Красивая природа +
Территориально в городе +
Большой номер, развлечения
для детей, анлимитед бар
+
Четкость расчетов,
чеки и документы
+
Низкие цены + +
Легкость транспорта + +

Полностью попали в «отдых»:
нашли всё, что важно группе
семейные»
«бизнес,
+
+

Полностью попали в «бизнес»:
нашли всё, что важно группе
семейные»
«бизнес,
+
+

Взгляд в светлое будущее
• Можно увеличивать конверсию за счет мелких
изменений, анализ которых по отдельности
труден и долог, и добавить +70% к конверсии
• Можно находить триггерные лендинги, которые
сильнее «цепляют» посетителя за счет полного
попадания в его цели
• Можно использовать эти подходы много где:
• Оптимизация лендингов и шаблонов сайтов
• Оптимизация кликабельности РСЯ
• RTB, e-mail цепочки, всё, где есть интерактивность.

1

Related slideshows

More Related Content

1