Какой метод такое А/Б эксперимент а также зачем оно нужно
сплит эксперимент представляет собой способ проверки пары либо разных решений раздела, дизайна, сообщения, элемента действия, формы, рассылки, промо сообщения либо другого веб объекта. Основная задача проявляется в этом, чтобы понять, который вариант результативнее функционирует на реальном использовании. Взамен предположений и субъективных оценок применяется проверка в рамках реальной аудитории, когда одна группа видит версию A, тогда как другая — формат B.
Подобный принцип позволяет формировать выводы по результатах показателей, а не на личных предпочтений либо случайных выводов. В обзорных источниках, среди них 1win, регулярно подчеркивается, поскольку сплит тестирование особенно полезно в ситуациях, когда малые корректировки способны влиять по части поведение аудитории: клики, создания аккаунтов, передачу форм, глубину изучения, удержание, покупки, подключения а также другие целевые результаты. Эксперимент дает возможность увидеть, реально ли именно правка улучшает 1win эффект.
Каким образом проводится А/Б тестирование
Механизм A/B эксперимента довольно понятен. Вначале выбирается блок, что необходимо проверить. Объектом проверки способен стать заголовок, оттенок элемента действия, порядок блоков, сообщение подсказки, логика формы, картинка, цена, формат предложения или место важного действия. После этого создаются минимум два решения: первоначальный а также измененный. Вслед за подготовкой посещения делится по ними согласно до запуска заданным правилам.
Одна часть пользователей сохраняет возможность видеть исходную страницу, тогда как вторая открывает обновленную. Система накапливает показатели о поведении любой части затем сопоставляет метрики. Когда вариант B демонстрирует лучший показатель с учетом достаточном количестве данных, такой вариант допустимо запускать. В случае если отличия нет или обновленная страница функционирует хуже, изменение отклоняется. В таком подходе и заключается прикладная польза теста: такой метод помогает тестировать предположения перед полного 1вин внедрения.
Для чего используется сплит проверка
A/B эксперимент необходимо для уменьшения сомнений. В веб продуктах даже небольшая правка может воздействовать в отношении оценку дизайна. Одиночный headline способен оказаться яснее альтернативного, короткая заявка способна отправляться активнее объемной, а более заметная кнопка действия способна повысить объем нажатий. При отсутствии тестирования такие решения часто сохраняются предположениями.
Метод позволяет оптимизировать платформу поэтапно. Без необходимости масштабной переделки целого ресурса либо аппа можно тестировать точечные блоки и фиксировать практический результат. Такая логика уменьшает угрозу ошибочных изменений, сокращает расход затраты плюс дает возможность формировать знания о реакциях аудитории. Через накоплением тестов команда 1 win собирает не случайный комплект суждений, а базу валидированных решений.
Какие именно элементы можно проверять
Сравнивать получается практически разный блок, какой воздействует в отношении поведение пользователя. Чаще преимущественно проверяют заголовки, вторичные заголовки, CTA для переходу, формулировки кнопок, анкеты оформления аккаунта, расположение секций, изображения, блоки товаров, последовательность шагов, фильтры, навигацию, визуальные блоки, подсказки, email-сообщения плюс промо материалы. Необходимо, для того чтобы отобранный объект оказывался соотнесен с заданной задачей.
Если цель состоит в росте заполненных заявок, разумно тестировать заявку, формулировку рядом с этого блока, объем строк плюс заметность кнопки. Когда необходимо повысить объем изучения, стоит оценивать переходы, блоки рекомендаций, связанные переходы а также структуру страницы. Чем яснее соотношение 1win в паре правкой плюс целью, тем самым полезнее результат эксперимента.
Гипотеза как фундамент эксперимента
Любой качественный А/Б тест начинается на основе проверяемой идеи. Предположение объясняет, какого типа решение рассматривается, из-за чего оно способно сказаться на результат и какой именно показатель должен измениться. Например, получается сформулировать, будто уменьшение анкеты регистрации снизит число уходов, так как что именно пользователю нужно будет меньший объем минут для окончания процесса.
Хорошая формулировка не обязана следует оставаться слишком широкой. Фраза наподобие «изменить страницу лучше» не позволяет дает возможность измерить результат. Гораздо более точный формат: «при условии что обновить длинный текст элемента действия на более краткий а также конкретный, число нажатий повысится, потому что шаг окажется очевиднее». Такая формулировка сразу же 1вин указывает предмет эксперимента, причину плюс критерий.
Базовая и тестовая аудитории
На уровне сплит эксперименте исходная аудитория просматривает исходный версию, тогда как экспериментальная — новый. Такое разделение важно ради объективного сравнения. В случае если без контроля заменить версию затем сравнить результаты перед и вслед за, результат способен исказиться по причине сезонных факторов, промо активности, изменения каналов пользователей, новостей, служебных проблем или других внешних условий.
Одновременный вывод отличающихся версий снижает влияние непредвиденных обстоятельств. Контрольная и тестовая аудитории находятся на уровне похожей среде: один а также же одинаковый срок, схожие же источники трафика, близкие устройства а также общий окружение. Следовательно отличие внутри показателях с высокой 1 win значительной долей уверенности соотносится как раз с корректировкой, и не не столько с внешними внешними условиями.
Какого типа метрики применяются в A/B проверках
Метрика — является значение, по которого оценивается итог эксперимента. Подбор метрики строится от назначения эксперимента. Ради страницы с заявкой важны отправки форм, в случае интернет-магазина — сохранения к покупку плюс покупки, в случае контентного проекта — длина просмотра плюс время сессии, для сервиса — создания аккаунтов, первые действия, возвращаемость а также следующие 1win активности.
Необходимо различать основную плюс дополнительные показатели. Главная показывает, ради какой цели запускается эксперимент. Вторичные позволяют выявить сопутствующие последствия. Например, правка кнопки может усилить клики, но ухудшить качество дальнейших шагов. Из-за этого важно оценивать не исключительно лишь в сторону первый клик, но еще в сторону последующее развитие: завершение заявки, повторные визиты, отказы, сбои и общую эффективность события.
Статистическая достоверность
Расчетная существенность демонстрирует, насколько вероятно, будто наблюдаемая расхождение в паре версиями не считается оказывается случайным колебанием. В случае если конкретный формат незначительно превосходит другой после нескольких десятков визитов, такой результат пока не означает показывает преимущество. При малом количестве наблюдений результат может резко сдвинуться, когда 1вин аудитория станет объемнее.
Ради достоверного итога необходимо нужное число наблюдений. Насколько меньше предполагаемая отличие в паре версиями, тем больше наблюдений нужно получить. Если изменение должно повысить результат лишь около пару %, эксперименту потребуется значительно больше времени плюс пользователей. Статистическая достоверность дает возможность не принимать поспешные действия с опорой на основе нестабильных изменений.
Размер наблюдений плюс срок эксперимента
Масштаб группы сказывается по части точность результата. Когда тест видит чрезмерно ограниченный объем посетителей, результаты могут быть ненадежными. К примеру, малое число лишних переходов у конкретной группе могут казаться как рост, при этом на значительном объеме будут обычной случайностью. Поэтому до старта полезно рассчитывать, сколько людей 1 win или событий потребуется ради подтверждения идеи.
Длительность теста дополнительно имеет значение. Очень короткий период проверки имеет шанс не учитывать отличия в паре рабочими плюс праздничными периодами, дневной и поздней активностью, разными потоками пользователей. Как правило эксперимент должен охватывать целый круг действий пользователей. Вместе с таком подходе чрезмерно затянутый период проверки равно нежелателен, в случае если сторонние условия успевают существенно поменяться.
Почему нельзя корректировать проверку по ходу период запуска
Распространенная среди распространенных просчетов — добавлять правки внутрь эксперимент после начала. Когда по ходу середине теста поменять текст, группу, дизайн, правила показа а также задачу, наблюдения станут неоднородными. После этого станет непросто понять, какой фактор именно повлияло на эффект. Тест потеряет корректность, при этом заключения окажутся ненадежными 1win.
До начала необходимо определить предположение, версии, показатели, деление аудитории а также параметры завершения. Вслед за старта лучше не нужно менять условия без серьезной необходимости. Если найдена неточность на уровне запуске или служебный проблема, правильнее остановить проверку, исправить ошибку и создать другой тест, вместо того чтобы пробовать анализировать смешанные наблюдения.
Одновременное проверка многих правок
Порой появляется стремление оценить одновременно ряд правок: новый headline, другую кнопку, сокращенную анкету а также обновленный последовательность секций. Подобный метод может выдать итоговый показатель, но не сможет раскроет, какой точно блок воздействовал по части результат. Если новая версия оказалась лучше, будет неясно, какая правка сработало лучше остального.
С целью чистой проверки обычно меняют единственный важный фактор за 1вин раз. Если требуется сравнить разные вариаций, задействуется многофакторное тестирование. Такой метод сложнее, предполагает значительного трафика и аккуратной интерпретации. Ради основной части целей сплит эксперимент на основе одной понятной гипотезой обеспечивает гораздо более понятный плюс полезный итог.
Варианты A/B экспериментов на уровне дизайне
На уровне дизайнах A/B эксперимент регулярно применяется для улучшения понятности действий. В частности, можно сравнить пару форматы анкеты: длинную с полным множеством полей а также краткую с небольшим сокращенным числом данных. В случае если упрощенная форма усиливает количество оконченных созданий аккаунтов без ухудшения ценности заявок, такую форму допустимо оценивать гораздо более результативной.
Еще один сценарий — проверка надписи элемента действия. Сдержанная надпись имеет шанс быть менее ясной, по сравнению с точное описание действия. Также сравнивают позицию элементов действия, порядок смысловых разделов, подачу 1 win пояснений, присутствие индикатора прогресса, метод отображения ошибок плюс количество шагов в процессе. Любой подобный фактор воздействует по части то самое, насколько легко окончить заданное событие.
сплит тестирование внутри материалах
Внутри контенте эксперимент помогает выяснить, какие headline-блоки, тексты, структуры а также варианты сильнее удерживают интерес. Можно сопоставлять несколько интро, длину контента, логику доводов, присутствие маркированных блоков, подачу элементов, подачу выгод а также формат объяснения трудной темы. Однако при этом необходимо анализировать не исключительно только клики, но также последующее взаимодействие.
Headline способен увеличить объем кликов, однако в случае если материал не отвечает интересам, вырастет процент отказов. Из-за этого редакционные тесты нужны чтобы анализировать качество чтения: длительность чтения, прокрутку, перемещения внутри платформы, повторные визиты а также завершение заданных событий. Сильный эффект — является не просто получение внимания, вместо этого совпадение запроса и материала.
A/B проверка в почтовых рассылках
На уровне почтовых рассылках обычно сравнивают subject-строки писем, имя отправителя, первые фразы, момент рассылки, объем сообщения, место кнопок и формулировки условий. Один сегмент аудитории видит первую версию письма, другая часть — тестовую. Вслед за рассылкой сравниваются открытия, нажатия, unsubscribes, жалобы плюс последующие события в пределах ресурсе.
Необходимо не сводить анализ показателем открытий. Subject-строка рассылки имеет шанс быть выразительной а также привлекать интерес, однако если тема не совпадает контенту, переходы а также лояльность имеют шанс уменьшиться. Следовательно качественный почтовый эксперимент измеряет цельную воронку: просмотр, нажатие, поведение после нажатия плюс отклик получателей на рассылку.