Не верьте ИИ-агенту «на честное слово». Перед запуском в работу всегда прогоните его через тестовые вопросы. Это занимает 15 минут и спасает от ляпов, которые увидят настоящие клиенты.
Чек-лист тестирования
- Откройте бота, в котором подключён ИИ-агент.
- Запустите диалог с собой (через свой запасной аккаунт).
- Задайте 15–20 разных вопросов — на каждый посмотрите, что ответил агент.
Какие вопросы задавать
Базовые
- «Сколько стоит ваш продукт/услуга?»
- «Как с вами связаться?»
- «Где вы находитесь?»
- «Какие способы оплаты?»
Специфичные
Если у вас курс — спросите про конкретный модуль. Если магазин — спросите про конкретный товар. Если услуга — спросите про подробности.
- «Расскажите про модуль 3 из курса «Выпечка».»
- «Сколько стоит торт «Наполеон»?»
- «Как записаться на маникюр?»
Каверзные
- «А вы реальный человек или ИИ?»
- «Какие у вас бывают проблемы у клиентов?»
- «Можете дать скидку 50%?»
- «Расскажите про конкурентов.»
Вне темы
- «Как приготовить борщ?»
- «Кто выиграл выборы 2020?»
- «Расскажи анекдот.»
На такие вопросы агент должен мягко возвращать в свою тему: «Я помогаю с вопросами по нашему магазину. Подсказать что-то про товары?»
Что оценить в ответах
- Точно ли отвечает по фактам? (Цены, телефоны, регламенты.)
- Не выдумывает ли? (Особенно про цены, скидки, дополнительные услуги.)
- Понимает ли разговорные формулировки клиента? («сколько стоит» = «цена» = «прайс»)
- Не уходит ли в простыни на 5 абзацев на простой вопрос?
- Передаёт ли диалог оператору, когда не знает ответа? (См. статью «Передача оператору».)
Где смотреть, что ответил агент
В кабинете «Диалоги» — открываете диалог с собой и видите всю переписку. Если что-то не так — можно нажать на сообщение агента и посмотреть, какие источники он использовал для ответа (если это включено в настройках агента).
Что делать с ошибками
Агент придумывает цены
- Проверьте, есть ли актуальный прайс в источниках.
- Уточните в инструкции агента: «Если в источниках нет цены — не выдумывай, спроси менеджера».
- Включите режим «При неуверенности — передавать оператору».
Агент пересказывает противоречивую информацию
- В двух источниках разные данные. Найдите и удалите устаревший.
Агент путает товары / услуги
- Описания слишком похожи. Сделайте формулировки в источниках более чёткими и уникальными.
Агент игнорирует часть инструкции
- В инструкции слишком много пунктов. Сократите до 5–7 ключевых правил.
Регулярная проверка
После запуска — каждую неделю просматривайте 10–20 случайных диалогов. Так вы быстро увидите, если у агента появились новые «проблемные» паттерны (например, с появлением новых клиентских типов вопросов).
Совет
Заведите рядом с собой текстовый файл «Проблемы агента». Каждый раз, когда видите плохой ответ — копируйте туда вопрос и ответ. Раз в неделю разбирайтесь со списком, обновляя источники и инструкцию.