A/B-тест чата и ИИ-агента: как найти, где теряются заявки, и проверить исправление

A/B-тест чата на сайте — это сравнение двух вариантов чата на живых посетителях в одно и то же время. Посетители делятся на две группы: одна видит чат как сейчас, другая — с одним изменением. Через несколько дней цифры показывают, какой вариант приводит больше людей к сообщению и заявке.

Зачем это нужно: чат легко поставить и трудно понять. Кнопка висит, приглашение всплывает, кто-то открывает окно — а сколько людей по дороге передумали и почему, из общей статистики не видно. Обычно это выглядит так: «чат вроде работает, но заявок с него меньше, чем хотелось бы». Ниже — как найти, что проверять, на реальном примере, как запустить тест и как не обмануться его результатом.

Почему чат теряет заявки, которых вы не видите

Между «человек зашёл на сайт» и «человек написал в чат» лежит несколько шагов, и на каждом часть людей уходит. Он может не заметить кнопку. Может заметить приглашение, но не нажать. Может нажать — и закрыть окно, не написав ни слова.

Общая цифра «столько-то сообщений в месяц» эти шаги склеивает. По ней не понять, где именно дыра: в том, что чат не видно, или в том, что внутри окна человеку непонятно, с чего начать. А лечатся эти две проблемы по-разному. Первая — заметнее кнопкой или приглашением. Вторая — тем, что человек видит, когда окно уже открылось.

Поэтому начинать надо не с идей «а давайте поменяем цвет», а с цифр по шагам. Они и подскажут, что проверять.

Как найти место утечки: разбор на живых цифрах

Вот что показал разбор одного интернет-магазина через три дня после установки виджета. Название не приводим, цифры настоящие.

На первый взгляд приглашение — лучшее, что есть на сайте. На деле именно через него уходило больше всего людей.

Причина нашлась, когда посмотрели, что человек видит после клика. Приглашение говорило одно, а открывшееся окно встречало его другой фразой и пустым полем ввода, без готовых вариантов ответа. Человек нажимал «Ответить» на конкретный вопрос — и попадал в разговор, который начинался заново и о другом. Нить обрывалась.

Отсюда гипотеза для теста: пусть окно чата продолжает то, что сказало приглашение, — тем же текстом и с готовыми вариантами ответа. Тогда человек попадает не в пустое окно, а туда, куда нажимал.

Тест это предположение не подтвердил. Четыре дня половина посетителей видела окно, которое продолжало приглашение, половина — как было. Из открывших чат написали 26,2% в старом варианте и 26,1% в новом: разницы нет. Магазин оставил всё как было. Диагноз выглядел убедительно, а исправление не сработало — и без теста это выяснилось бы только через месяц, когда заявок так и не прибавилось.

Следующим тестом магазин переделал само приглашение, и вот это уже дало результат. О нём — ниже, вместе с тестами других клиентов.

Урок этого случая шире одного магазина: лучшее по открытиям место может быть худшим по заявкам. Без разбивки по шагам это не заметить никогда.

Что такое A/B-тест чата и чем он отличается от «поменять и посмотреть»

Самый частый способ что-то улучшить — поменять и сравнить с прошлой неделей. Он почти всегда врёт. На прошлой неделе был другой трафик, другие праздники, другая реклама. Если заявок стало больше, непонятно, из-за правки это или из-за того, что пришли другие люди.

A/B-тест сравнивает варианты в одно и то же время на одном и том же трафике. Посетители случайно делятся на группы: группа А видит чат как сейчас, группа Б — с изменением. Всё остальное у них общее: те же страницы, тот же день, та же реклама. Если разница есть, её дал именно вариант.

Важная деталь: посетитель, вернувшийся на сайт в том же браузере, видит тот же вариант, что и в первый раз. Иначе он увидел бы оба, и сравнение смешалось бы.

Что можно проверить: тема, обложка, приглашение, кнопка

В тест берут одно изменение за раз. Если поменять и приглашение, и цвет, и приветствие сразу, а заявок станет больше, уже не узнать, что сработало. Поэтому в кабинете выбирается ровно одно из четырёх:

Что меняем	Что это	Какой шаг меряем
Тема оформления	цвета окна и кнопки	открыли окно → написали
Обложка чата	первая фраза и готовые варианты ответа в открытом окне	открыли окно → написали
Приглашение	всплывающее сообщение над кнопкой: текст, задержка, варианты ответа	увидели приглашение → открыли по нему
Кнопка вызова	сама кнопка чата	зашли на сайт → нажали на кнопку

Обратите внимание на последний столбец. Для каждого изменения считается тот шаг, на который оно реально влияет. Обложку видят только те, кто уже открыл окно, — значит, её честно мерить по тому, сколько из открывших написали, а не по всем посетителям сайта. Иначе полезное изменение утонет в людях, которые окно и не открывали.

Как запустить тест в кабинете

Тест настраивается в редакторе виджета на вкладке «А/Б-тест». Код на сайте трогать не нужно: варианты раздаёт сам виджет.

Шаг первый — выбрать, что проверяем. Одно из четырёх измерений. Под ним появятся поля только для него: для обложки — фраза и варианты ответа, для приглашения — его текст и задержка.

Шаг второй — собрать вариант Б. Рядом видно, как будут выглядеть оба варианта у посетителя. Если варианты получились одинаковыми, запустить тест не выйдет: сравнивать нечего.

Шаг третий — запустить и ждать. Пока тест идёт, на карточке видна воронка по каждому варианту — по шагам до того, который проверяется: для обложки это «зашли → открыли → написали», для приглашения — «зашли → увидели → открыли по нему». Цифры обновляются кнопкой «Обновить».

Шаг четвёртый — остановить и решить. Решение принимается только после остановки: «Сделать основным» переносит вариант Б в настройки чата, «Оставить как было» сохраняет прежний. Вручную ничего переносить не нужно.

Как читать результат: когда разница настоящая, а когда шум

Если у варианта Б написали 12 человек, а у А — 9, это ещё ничего не значит. На малых числах такие разбросы появляются сами по себе. Поэтому кабинет не просто показывает проценты, а проверяет их статистическим тестом и пишет вывод словами.

Пока данных мало, вывод так и звучит: разница может быть случайной, продолжайте. Когда разница перестаёт объясняться случайностью, кабинет называет победителя. Держать в голове формулы не нужно — важно не принимать решение раньше, чем появился такой вывод.

И ещё одно правило чтения: смотрите не только на тестируемый шаг, но и на то, что было после него. Вариант может поднять открытия чата — и при этом не добавить ни одного сообщения. Если открыли чаще, а написали столько же, выигрыша нет, даже если верхняя цифра красивая. Ровно это случилось с приглашением из разбора выше. Карточка теста показывает воронку до проверяемого шага; сколько людей из каждого варианта в итоге написали и оставили заявку, покажет ассистент кабинета — спросите у него.

Что показали первые тесты на живых сайтах

За первые две недели работы вкладки два клиента довели до конца пять тестов. Сайты и ниши не называем, цифры настоящие. Каждый тест шёл от двух до семи дней, в каждой группе было от полутора до семнадцати тысяч посетителей.

Что проверяли	Проверяемый шаг: было → стало	Написали в чат из 1000 посетителей	Решение
Обложка продолжает приглашение (магазин из разбора)	26,2% → 26,1%	9,1 → 7,9	оставили как было
Новая обложка: первая фраза и варианты ответа	15,7% → 23,7%	6,5 → 9,7	новая стала основной
Новое приглашение (магазин из разбора)	5,0% → 6,0%	6,6 → 12,1	новое стало основным
Новое приглашение, другой сайт	6,1% → 7,2%	6,9 → 14,9	новое стало основным
Ещё одно приглашение (магазин из разбора)	4,7% → 4,8%	4,0 → 5,7	оставили как было

Из этой таблицы три вывода.

Половина идей не работает — и это нормально. Три теста из пяти дали прирост, два — нет. Без теста оба неудачных варианта спокойно ушли бы в работу: выглядели они не хуже удачных.

Смотреть надо дальше проверяемого шага. Третья строка — лучший пример. По шагу, который мерила карточка теста, — сколько людей открыли чат по приглашению — разница была на грани случайности: 5,0% против 6,0%. А написали в новом варианте почти вдвое больше: 12,1 человека из тысячи против 6,6. Если судить только по верхней цифре, тест можно было счесть пустым и выбросить лучшее изменение за всё время.

Крупные изменения выигрывают сильнее мелких. Приглашение в третьей и четвёртой строках меняли целиком — текст, подпись, задержку и варианты ответа. Поэтому известно, что новое приглашение лучше старого, но не какая из деталей сработала. Так и стоит начинать: сначала найти изменение, которое вообще сдвигает цифры, а уже потом проверять его детали по одной.

A/B-тест ответов агента: когда проверять не вид, а слова

Оформление — половина дела. Вторая половина — что чат отвечает, когда человек уже написал. Если на сайте работает ИИ-агент, проверить можно и его.

Здесь сравниваются не цвета, а инструкции, по которым агент ведёт разговор. Вариант А — ваш агент как есть. Вариант Б — тот же агент с другим текстом инструкций: например, он раньше спрашивает телефон или по-другому объясняет условия доставки. Доля диалогов, которая попадёт в вариант Б, задаётся при запуске и во время теста не меняется.

Меряется главное — сколько диалогов дошли до цели: клиент оставил контакт, записался, оформил заявку. Не то, какие ответы кажутся красивее, а то, после каких разговоров приходят заявки.

Три детали, которые стоит знать:

• Вариант Б можно проверить в тестовом чате, пока тест идёт. Тест запускается сразу при создании, поэтому первые диалоги Б получит тут же. Откройте тестовый чат на карточке теста, задайте варианту настоящие вопросы клиентов — и остановите тест, если ответы не устраивают. Поэтому для первого теста лучше взять небольшую долю диалогов.
• Меняется только текст инструкций. Модель и прочие настройки у обоих вариантов одинаковые — иначе разница опять смешалась бы.
• Правки во время теста меняют только вариант А. Вариант А — это ваш живой агент, его можно дорабатывать как обычно.

Такой тест не обязательно придумывать самому: ассистент кабинета умеет предложить его по вашим диалогам и потом помочь подвести итог.

Ошибки, из-за которых тест врёт

Меняют несколько вещей сразу. Разница есть, а что её дало — неизвестно. Одно изменение за тест.

Останавливают по первой цифре. Самая частая ошибка. Решение — только после вывода «разница не случайна».

Смотрят только на верхний шаг. Больше открытий без большего числа сообщений — это не победа. Проверяйте ступени ниже.

Тестируют мелочь на маленьком трафике. Если на сайт заходит пара десятков человек в день, тест на едва заметное изменение может идти месяцами. Начинайте с крупных гипотез: другое приглашение, другая первая фраза, а не оттенок кнопки.

Не ищут причину до теста. Тест проверяет гипотезу, но не придумывает её. Как в разборе выше: сначала цифры по шагам показали, где уходят люди, и только потом стало понятно, что именно проверять.

Итог: проверять, а не гадать

Чат теряет заявки не там, где кажется, и чинится не тем, что кажется очевидным. В разобранном случае лучшее по открытиям приглашение оказалось главным местом, где люди уходили, но очевидное исправление ничего не дало. Сработало другое — новое приглашение, после которого написали почти вдвое больше людей.

A/B-тест превращает споры «а давайте поменяем» в проверку: две группы посетителей, одно изменение, один измеряемый шаг и вывод, которому можно верить. Сначала найдите по воронке, где уходят люди, потом проверьте исправление, и только потом делайте его основным.

Частые вопросы про A/B-тест чата (FAQ)

Что такое A/B-тест чата на сайте?

Это сравнение двух вариантов чата на живых посетителях в одно и то же время. Посетители случайно делятся на две группы: одна видит чат как сейчас, другая — с одним изменением, например с другим приглашением. Потом сравнивают, в какой группе больше людей дошли до нужного шага — открыли окно или написали.

Сколько должен идти A/B-тест?

Пока разница между вариантами не перестанет быть случайной. Срок зависит от трафика: на первых живых сайтах тесты шли от двух до семи дней при нескольких тысячах посетителей в каждой группе. На маленьком сайте то же займёт дольше. Ориентироваться нужно не на календарь, а на вывод теста: пока он говорит, что данных мало, решение принимать рано.

Почему приглашение в чат открывают, но не пишут?

Частая причина — разрыв между приглашением и тем, что человек видит после клика. Приглашение задаёт один вопрос, а открывшееся окно встречает другой фразой и пустым полем. Человек не понимает, с чего начать, и уходит. Лечится это тем, что окно продолжает текст приглашения и предлагает готовые варианты ответа.

Можно ли тестировать ответы ИИ-агента?

Да. Вариант А — агент как есть, вариант Б — тот же агент с другими инструкциями. Сравнивается, сколько диалогов дошли до цели: контакт, запись или заявка. Пока тест идёт, вариант Б можно проверить в тестовом чате, а решение принять после остановки теста.