Первый шаг — не модель, а процесс
Проекты внедрения ИИ чаще всего срываются не на технологии, а на выборе задачи. Компания начинает с вопроса «какую модель взять», хотя сначала нужно ответить на три других: что именно мы автоматизируем, сколько раз в месяц это происходит и как мы поймём, что стало лучше.
Процесс подходит для автоматизации, если выполняются четыре условия одновременно.
| Условие | Как проверить |
|---|---|
| Повторяемость | Задача возникает не реже 20–30 раз в неделю. Реже — не окупится поддержка |
| Данные на месте | Всё, что нужно для ответа, лежит в системах, к которым есть доступ по API |
| Терпимость к ошибке | Неверный ответ можно поймать и исправить, он не стоит контракта и не нарушает закон |
| Есть базовая цифра | Известно, сколько времени и денег процесс стоит сейчас |
Последнее условие пропускают чаще всего, и именно оно потом не даёт доказать эффект. Если до запуска никто не измерил среднее время ответа, после запуска спорить будет не с чем.
Этапы и сроки
Типовой проект первого агента занимает 6–10 недель. Срок зависит не от модели, а от состояния данных и от того, сколько согласований проходит каждое решение.
- Неделя 1–2. Разбор процесса Смотрим, как задача решается сейчас: кто участвует, сколько занимает, где теряется время. Фиксируем метрики до запуска и собираем набор реальных обращений — он станет материалом для проверки.
- Неделя 2–3. Данные и доступы Подключаем источники: профиль клиента, заказы, каталог, база знаний. Здесь вылезает половина проблем проекта — расхождения в справочниках, дубли, поля, которые заполняются не всегда.
- Неделя 3–6. Сборка и правила Собираем агента, описываем разрешённые действия, границы тона, запретные темы и пороги эскалации на человека. Параллельно готовим журналирование: без логов проект нечем защищать.
- Неделя 6–8. Проверка на золотом наборе Прогоняем агента по сохранённым обращениям и сравниваем с тем, что ответил человек. Пока доля верных ответов ниже договорённого порога, запуска нет.
- Неделя 8–10. Запуск на части потока Агент берёт 10–20% обращений, остальное идёт как раньше. Сравниваем две группы по одним метрикам и расширяем долю, если разница в плюс.
Что считать после запуска
Эффект считается по тем же цифрам, которые сняли до старта, и обязательно на контрольной группе — иначе сезон и акции запишутся в заслуги агента.
| Метрика | Что показывает |
|---|---|
| Доля обращений, закрытых без человека | Главная цифра: сколько работы действительно снято |
| Среднее время до первого ответа | Самый заметный для клиента эффект, обычно меняется первым |
| Доля эскалаций и их причины | Карта того, чего агенту не хватает: данных, прав или правил |
| Стоимость обращения | Расходы на модель и поддержку против сэкономленного времени команды |
| Оценка ответа клиентом | Защита от ситуации «быстро ответили и всех разозлили» |
«Вовлечённость», «количество диалогов» и «процент автоматизации» без сравнения с контрольной группой не значат ничего: их легко нарастить, ухудшив сервис.
Ошибки, из-за которых проект не окупается
- Начинают с витрины. Первым делают публичного агента на сайте, где каждая ошибка видна клиенту. Внутренние задачи дешевле и безопаснее: там ошибку поймает сотрудник.
- Нет владельца. У агента должен быть человек, который смотрит логи и правит правила. Без него качество падает через месяц, и никто этого не замечает.
- Автоматизируют хаос. Если процесс не описан, агент воспроизведёт неразбериху быстрее и в большем объёме.
- Нет контрольной группы. Эффект приписывается агенту целиком, а потом не подтверждается в следующем квартале.
- Забывают про закон. Обработка клиентских данных моделью — это обработка персональных данных со всеми требованиями 152-ФЗ, включая локализацию в России.
Что нужно от компании
Со стороны заказчика нужны три вещи: доступ к данным по API, человек, который принимает решения по содержанию, и 50–100 реальных примеров задач, на которых агента будут проверять. Всё остальное — наша часть.
Какие бывают агенты и где они окупаются — в материале об ИИ-агентах для бизнеса. Техническая сторона — в статье о разработке ИИ-агента, состав работ — на странице услуги.
