Аналитика чат-бота: метрики, события и воронка

В этом руководстве разбираем отдельный интент: Продуктовая аналитика уже работающего бота: события, сессии, воронка и эксперименты. U861 остаётся про предрелизное тестирование. Пример для сквозной проверки: сессия с рекламы доходит до расчёта, но обрывается на запросе телефона. Цель — не внедрить больше полей, а сделать ход решения видимым для клиента и команды.

Связать метрики с задачей бота: аналитика чат-бота

Зафиксируйте исходное обещание до первого изменения. В аналитике бота операция «связать метрики с задачей бота» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «связать метрики с задачей бота» с версией правила; отдельный контроль — артефакт операции «связать метрики с задачей бота» для темы «аналитика чат-бота»: исходное обещание и карта доступных входов»; его владелец — владелец сервиса. На сессии «ситуация «при действии «связать метрики с задачей бота» в теме «аналитика чат-бота» возникает отклонение: обещание не связано с наблюдаемым фактом» требует от роли «владелец сервиса» выполнить «связать метрики с задачей бота»; к примеру прикладывается артефакт операции «связать метрики с задачей бота» для темы «аналитика чат-бота»: исходное обещание и карта доступных входов» проверьте последовательность событий и найдите риск «при действии «связать метрики с задачей бота» в теме «аналитика чат-бота» возникает отклонение: обещание не связано с наблюдаемым фактом». Вместо числа сообщений используйте «доля операций «связать метрики с задачей бота», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «связать метрики с задачей бота» для темы «аналитика чат-бота»: исходное обещание и карта доступных входов» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «связать метрики с задачей бота» в контуре «аналитика чат-бота».
• Владелец результата: владелец сервиса.
• Стоп-сигнал: при действии «связать метрики с задачей бота» в теме «аналитика чат-бота» возникает отклонение: обещание не связано с наблюдаемым фактом.
• Материал приёмки: артефакт операции «связать метрики с задачей бота» для темы «аналитика чат-бота»: исходное обещание и карта доступных входов.

Определить сессию и пользователя: аналитика чат-бота

Сверьте термин с двумя соседними типами обращений. В аналитике бота операция «определить сессию и пользователя» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «определить сессию и пользователя» с версией правила; отдельный контроль — артефакт операции «определить сессию и пользователя» для темы «аналитика чат-бота»: словарь типов и границы соседних случаев»; его владелец — методолог. На сессии «ситуация «при действии «определить сессию и пользователя» в теме «аналитика чат-бота» возникает отклонение: два сотрудника по-разному читают одно правило» требует от роли «методолог» выполнить «определить сессию и пользователя»; к примеру прикладывается артефакт операции «определить сессию и пользователя» для темы «аналитика чат-бота»: словарь типов и границы соседних случаев» проверьте последовательность событий и найдите риск «при действии «определить сессию и пользователя» в теме «аналитика чат-бота» возникает отклонение: два сотрудника по-разному читают одно правило». Вместо числа сообщений используйте «доля операций «определить сессию и пользователя», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «определить сессию и пользователя» для темы «аналитика чат-бота»: словарь типов и границы соседних случаев» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «определить сессию и пользователя» в контуре «аналитика чат-бота».
• Владелец результата: методолог.
• Стоп-сигнал: при действии «определить сессию и пользователя» в теме «аналитика чат-бота» возникает отклонение: два сотрудника по-разному читают одно правило.
• Материал приёмки: артефакт операции «определить сессию и пользователя» для темы «аналитика чат-бота»: словарь типов и границы соседних случаев.

Спроектировать события диалога: аналитика чат-бота

Проверьте ключ записи на входах из разных каналов. В аналитике бота операция «спроектировать события диалога» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «спроектировать события диалога» с версией правила; отдельный контроль — артефакт операции «спроектировать события диалога» для темы «аналитика чат-бота»: цепочка канала и стабильный ключ записи»; его владелец — диспетчер очереди. На сессии «ситуация «при действии «спроектировать события диалога» в теме «аналитика чат-бота» возникает отклонение: вход из разных каналов расходится по несвязанным записям» требует от роли «диспетчер очереди» выполнить «спроектировать события диалога»; к примеру прикладывается артефакт операции «спроектировать события диалога» для темы «аналитика чат-бота»: цепочка канала и стабильный ключ записи» проверьте последовательность событий и найдите риск «при действии «спроектировать события диалога» в теме «аналитика чат-бота» возникает отклонение: вход из разных каналов расходится по несвязанным записям». Вместо числа сообщений используйте «доля операций «спроектировать события диалога», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «спроектировать события диалога» для темы «аналитика чат-бота»: цепочка канала и стабильный ключ записи» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «спроектировать события диалога» в контуре «аналитика чат-бота».
• Владелец результата: диспетчер очереди.
• Стоп-сигнал: при действии «спроектировать события диалога» в теме «аналитика чат-бота» возникает отклонение: вход из разных каналов расходится по несвязанным записям.
• Материал приёмки: артефакт операции «спроектировать события диалога» для темы «аналитика чат-бота»: цепочка канала и стабильный ключ записи.

Сохранить интент и версию сценария: аналитика чат-бота

Назовите сотрудника, который вправе принять итог. В аналитике бота операция «сохранить интент и версию сценария» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «сохранить интент и версию сценария» с версией правила; отдельный контроль — артефакт операции «сохранить интент и версию сценария» для темы «аналитика чат-бота»: граница полномочий и право финального решения»; его владелец — руководитель смены. На сессии «ситуация «при действии «сохранить интент и версию сценария» в теме «аналитика чат-бота» возникает отклонение: роль отвечает за поле, но не за итог клиента» требует от роли «руководитель смены» выполнить «сохранить интент и версию сценария»; к примеру прикладывается артефакт операции «сохранить интент и версию сценария» для темы «аналитика чат-бота»: граница полномочий и право финального решения» проверьте последовательность событий и найдите риск «при действии «сохранить интент и версию сценария» в теме «аналитика чат-бота» возникает отклонение: роль отвечает за поле, но не за итог клиента». Вместо числа сообщений используйте «доля операций «сохранить интент и версию сценария», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «сохранить интент и версию сценария» для темы «аналитика чат-бота»: граница полномочий и право финального решения» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «сохранить интент и версию сценария» в контуре «аналитика чат-бота».
• Владелец результата: руководитель смены.
• Стоп-сигнал: при действии «сохранить интент и версию сценария» в теме «аналитика чат-бота» возникает отклонение: роль отвечает за поле, но не за итог клиента.
• Материал приёмки: артефакт операции «сохранить интент и версию сценария» для темы «аналитика чат-бота»: граница полномочий и право финального решения.

Собрать воронку шагов: аналитика чат-бота

Разберите приоритет на обычном и критическом случаях. В аналитике бота операция «собрать воронку шагов» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «собрать воронку шагов» с версией правила; отдельный контроль — артефакт операции «собрать воронку шагов» для темы «аналитика чат-бота»: матрица влияния и проверяемая оценка срочности»; его владелец — менеджер качества. На сессии «ситуация «при действии «собрать воронку шагов» в теме «аналитика чат-бота» возникает отклонение: срочность выбирается по эмоции, а не по влиянию» требует от роли «менеджер качества» выполнить «собрать воронку шагов»; к примеру прикладывается артефакт операции «собрать воронку шагов» для темы «аналитика чат-бота»: матрица влияния и проверяемая оценка срочности» проверьте последовательность событий и найдите риск «при действии «собрать воронку шагов» в теме «аналитика чат-бота» возникает отклонение: срочность выбирается по эмоции, а не по влиянию». Вместо числа сообщений используйте «доля операций «собрать воронку шагов», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «собрать воронку шагов» для темы «аналитика чат-бота»: матрица влияния и проверяемая оценка срочности» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «собрать воронку шагов» в контуре «аналитика чат-бота».
• Владелец результата: менеджер качества.
• Стоп-сигнал: при действии «собрать воронку шагов» в теме «аналитика чат-бота» возникает отклонение: срочность выбирается по эмоции, а не по влиянию.
• Материал приёмки: артефакт операции «собрать воронку шагов» для темы «аналитика чат-бота»: матрица влияния и проверяемая оценка срочности.

Измерить непонятые вопросы: аналитика чат-бота

Передайте карточку другой смене без устной подсказки. В аналитике бота операция «измерить непонятые вопросы» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «измерить непонятые вопросы» с версией правила; отдельный контроль — артефакт операции «измерить непонятые вопросы» для темы «аналитика чат-бота»: пакет контекста и список пройденных проверок»; его владелец — владелец эскалации. На сессии «ситуация «при действии «измерить непонятые вопросы» в теме «аналитика чат-бота» возникает отклонение: при передаче теряются уже выполненные проверки» требует от роли «владелец эскалации» выполнить «измерить непонятые вопросы»; к примеру прикладывается артефакт операции «измерить непонятые вопросы» для темы «аналитика чат-бота»: пакет контекста и список пройденных проверок» проверьте последовательность событий и найдите риск «при действии «измерить непонятые вопросы» в теме «аналитика чат-бота» возникает отклонение: при передаче теряются уже выполненные проверки». Вместо числа сообщений используйте «доля операций «измерить непонятые вопросы», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «измерить непонятые вопросы» для темы «аналитика чат-бота»: пакет контекста и список пройденных проверок» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «измерить непонятые вопросы» в контуре «аналитика чат-бота».
• Владелец результата: владелец эскалации.
• Стоп-сигнал: при действии «измерить непонятые вопросы» в теме «аналитика чат-бота» возникает отклонение: при передаче теряются уже выполненные проверки.
• Материал приёмки: артефакт операции «измерить непонятые вопросы» для темы «аналитика чат-бота»: пакет контекста и список пройденных проверок.

Разобрать передачу оператору: аналитика чат-бота

Сопоставьте используемую инструкцию с её актуальной версией. В аналитике бота операция «разобрать передачу оператору» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «разобрать передачу оператору» с версией правила; отдельный контроль — артефакт операции «разобрать передачу оператору» для темы «аналитика чат-бота»: версия инструкции и дата последней приёмки»; его владелец — редактор базы знаний. На сессии «ситуация «при действии «разобрать передачу оператору» в теме «аналитика чат-бота» возникает отклонение: инструкция хранит старую версию решения» требует от роли «редактор базы знаний» выполнить «разобрать передачу оператору»; к примеру прикладывается артефакт операции «разобрать передачу оператору» для темы «аналитика чат-бота»: версия инструкции и дата последней приёмки» проверьте последовательность событий и найдите риск «при действии «разобрать передачу оператору» в теме «аналитика чат-бота» возникает отклонение: инструкция хранит старую версию решения». Вместо числа сообщений используйте «доля операций «разобрать передачу оператору», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «разобрать передачу оператору» для темы «аналитика чат-бота»: версия инструкции и дата последней приёмки» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «разобрать передачу оператору» в контуре «аналитика чат-бота».
• Владелец результата: редактор базы знаний.
• Стоп-сигнал: при действии «разобрать передачу оператору» в теме «аналитика чат-бота» возникает отклонение: инструкция хранит старую версию решения.
• Материал приёмки: артефакт операции «разобрать передачу оператору» для темы «аналитика чат-бота»: версия инструкции и дата последней приёмки.

Связать диалог с бизнес-результатом: аналитика чат-бота

Дайте новичку учебный пример и сохраните его решение. В аналитике бота операция «связать диалог с бизнес-результатом» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «связать диалог с бизнес-результатом» с версией правила; отдельный контроль — артефакт операции «связать диалог с бизнес-результатом» для темы «аналитика чат-бота»: учебная выборка и критерии самостоятельного решения»; его владелец — тренер команды. На сессии «ситуация «при действии «связать диалог с бизнес-результатом» в теме «аналитика чат-бота» возникает отклонение: новый сотрудник повторяет ошибку из устной подсказки» требует от роли «тренер команды» выполнить «связать диалог с бизнес-результатом»; к примеру прикладывается артефакт операции «связать диалог с бизнес-результатом» для темы «аналитика чат-бота»: учебная выборка и критерии самостоятельного решения» проверьте последовательность событий и найдите риск «при действии «связать диалог с бизнес-результатом» в теме «аналитика чат-бота» возникает отклонение: новый сотрудник повторяет ошибку из устной подсказки». Вместо числа сообщений используйте «доля операций «связать диалог с бизнес-результатом», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «связать диалог с бизнес-результатом» для темы «аналитика чат-бота»: учебная выборка и критерии самостоятельного решения» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «связать диалог с бизнес-результатом» в контуре «аналитика чат-бота».
• Владелец результата: тренер команды.
• Стоп-сигнал: при действии «связать диалог с бизнес-результатом» в теме «аналитика чат-бота» возникает отклонение: новый сотрудник повторяет ошибку из устной подсказки.
• Материал приёмки: артефакт операции «связать диалог с бизнес-результатом» для темы «аналитика чат-бота»: учебная выборка и критерии самостоятельного решения.

Построить дашборд по сегментам: аналитика чат-бота

Возьмите рисковый сегмент отдельно от общей средней. В аналитике бота операция «построить дашборд по сегментам» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «построить дашборд по сегментам» с версией правила; отдельный контроль — артефакт операции «построить дашборд по сегментам» для темы «аналитика чат-бота»: срез качества и адресный список отклонений»; его владелец — аналитик качества. На сессии «ситуация «при действии «построить дашборд по сегментам» в теме «аналитика чат-бота» возникает отклонение: средняя цифра скрывает рисковые и редкие случаи» требует от роли «аналитик качества» выполнить «построить дашборд по сегментам»; к примеру прикладывается артефакт операции «построить дашборд по сегментам» для темы «аналитика чат-бота»: срез качества и адресный список отклонений» проверьте последовательность событий и найдите риск «при действии «построить дашборд по сегментам» в теме «аналитика чат-бота» возникает отклонение: средняя цифра скрывает рисковые и редкие случаи». Вместо числа сообщений используйте «доля операций «построить дашборд по сегментам», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «построить дашборд по сегментам» для темы «аналитика чат-бота»: срез качества и адресный список отклонений» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «построить дашборд по сегментам» в контуре «аналитика чат-бота».
• Владелец результата: аналитик качества.
• Стоп-сигнал: при действии «построить дашборд по сегментам» в теме «аналитика чат-бота» возникает отклонение: средняя цифра скрывает рисковые и редкие случаи.
• Материал приёмки: артефакт операции «построить дашборд по сегментам» для темы «аналитика чат-бота»: срез качества и адресный список отклонений.

Проводить эксперименты с защитой: аналитика чат-бота

Назначьте дату повторного замера и условие возврата. В аналитике бота операция «проводить эксперименты с защитой» должна оставлять событие, которое связано с диалогом и бизнес-результатом. Доказательством выступает «карточка приёмки «проводить эксперименты с защитой» с версией правила; отдельный контроль — артефакт операции «проводить эксперименты с защитой» для темы «аналитика чат-бота»: план изменения и заранее заданный откат»; его владелец — владелец процесса. На сессии «ситуация «при действии «проводить эксперименты с защитой» в теме «аналитика чат-бота» возникает отклонение: улучшение не имеет даты повторной проверки и отката» требует от роли «владелец процесса» выполнить «проводить эксперименты с защитой»; к примеру прикладывается артефакт операции «проводить эксперименты с защитой» для темы «аналитика чат-бота»: план изменения и заранее заданный откат» проверьте последовательность событий и найдите риск «при действии «проводить эксперименты с защитой» в теме «аналитика чат-бота» возникает отклонение: улучшение не имеет даты повторной проверки и отката». Вместо числа сообщений используйте «доля операций «проводить эксперименты с защитой», принятых без повтора, и время до завершения; разрез для анализа — артефакт операции «проводить эксперименты с защитой» для темы «аналитика чат-бота»: план изменения и заранее заданный откат» и сравнивайте версии сценария на одинаковых сегментах. Если событие нельзя связать с исходным сообщением, аналитический вывод помечается как неподтверждённый.

• Рабочий объект: операция «проводить эксперименты с защитой» в контуре «аналитика чат-бота».
• Владелец результата: владелец процесса.
• Стоп-сигнал: при действии «проводить эксперименты с защитой» в теме «аналитика чат-бота» возникает отклонение: улучшение не имеет даты повторной проверки и отката.
• Материал приёмки: артефакт операции «проводить эксперименты с защитой» для темы «аналитика чат-бота»: план изменения и заранее заданный откат.

Матрица контроля и владения

Что изучить дальше

• клиентский опыт
• чат-бот поддержки
• база знаний компании
• тестирование AI-чат-бота
• доверие к ИИ
• автоматизация продаж

Чек-лист запуска