Почему пилоты с ИИ не доходят до боевой работы: пять ошибок и чек-лист
Весной у нашего пилота аналитики продаж на маркетплейсе перестал отдавать данные готовый коннектор подрядчика, на котором держались все цифры. Модель здесь ни при чём: сломалось звено между кабинетом продавца и пилотом. С тех пор данные тянет свой модуль из API кабинета.
Пилоты с ИИ ломаются именно в таких местах, в процессе вокруг модели. Ниже пять ошибок процесса и чек-лист стоп-сигналов, по которому стоит пройтись до того, как будут потрачены первые деньги.
Чем пилот отличается от демо и почему это вопрос денег
Демо отвечает на вопрос «может ли это работать в принципе». Пилот отвечает на другой вопрос: «работает ли это на наших данных, наших людях и нашем потоке задач, и что это даёт в деньгах». Между ними пропасть: демо собирают за вечер на конструкторе, пилот живёт недели на живом процессе.
Провал пилота не выглядит как ошибка на экране. Он выглядит так: пилот показали на встрече, все кивнули, через два месяца им никто не пользуется, а бюджет на «полное внедрение» тихо не выделен.
Формальной точки провала нет, поэтому и разбирать её никто не садится. Причины провала можно проверить списком до старта.
Ошибка 1. Успех меряют впечатлением, а не метрикой
Сценарий такой: пилот запускают, чтобы «посмотреть, как ИИ справится». Через месяц у команды есть ощущения, у руководителя скриншоты, а решения нет, потому что сравнивать не с чем. Никто не зафиксировал, сколько процесс стоил до пилота: сколько минут занимает одна заявка, сколько заявок в день, какая доля уходит в брак.
Работает только одна последовательность: сначала неделя замера базовой линии, потом пилот. Метрика должна быть согласована до старта и сформулирована проверяемо: «время ответа на претензию с 4 часов до 30 минут», «разбор входящей почты с 40 минут в день до 5». Если метрику невозможно назвать одним предложением, пилот превратится в демо, просто дорогое.
Ошибка 2. Пилот живёт на чужой выгрузке, а не на первоисточнике
История из вступления целиком про это. Готовый коннектор, чужая интеграция, ручная выгрузка раз в неделю: любой промежуточный слой между системой-источником и пилотом однажды устареет или сломается, причём без предупреждения.
Для пилота это смертельно вдвойне: он ещё не заслужил доверия, и первое же расхождение цифр с кабинетом или 1С хоронит проект, даже если ошибся не ИИ, а слой доставки данных.
Правило, к которому мы пришли: данные для пилота подключаются из первоисточника через официальный API, а если это временно невозможно, в пилот встраивается автоматическая сверка с первоисточником. Это регулярная задача, которая сравнивает цифры и поднимает тревогу сама.
Ошибка 3. Право и персональные данные вспоминают после сборки
Пилот с клиентскими данными касается 152-ФЗ, и это выясняется в худший момент: когда всё собрано и работает.
Как это выглядит: демо-чат по замыслу не должен хранить персональные данные, а при проверке выясняется, что диалоги с именами и телефонами оседают в логах. Если это нашли до запуска на клиентах, переделка на хранение только в оперативной памяти занимает день. После запуска это уже инцидент.
Минимум, который надо проговорить до старта пилота: какие данные попадают в систему, где физически стоит сервер, уходят ли данные во внешние сервисы и в каком виде, кто оператор персональных данных и есть ли согласия.
Ошибка 4. Агента выпускают в живой канал без приёмки
Соблазн пилота в том, чтобы дать агенту действовать по-настоящему: отвечать клиентам, отправлять письма, публиковать ответы на отзывы. Один неотсмотренный плохой результат в живом канале стоит дороже, чем месяц ручной приёмки.
Как это выглядит: автоматический шаг без финальной проверки человеком отправляет подписчикам недоработанные письма, и восстановление репутации канала обходится дороже всей работы, которую сэкономила автоматизация.
Правило для пилота: всё, что уходит наружу, до конца пилота проходит через очередь на подтверждение. Человек смотрит и нажимает «отправить». Так копится статистика качества, по которой гейт потом снимают осознанно: сначала с типовых случаев, в конце со всех.
Ошибка 5. У пилота нет владельца со стороны процесса
Пилот, у которого со стороны бизнеса нет конкретного человека, отвечающего за процесс, умирает от молчания. Некому сказать «фильтр отсеивает не тех», «в этой формулировке клиент не поймёт», «у нас так не считают маржу». Подрядчик этого знать не может, а без обратной связи пилот выходит на плато и застревает.
Владелец процесса — это не «куратор от дирекции», а человек, который сам живёт в этом процессе и тратит на пилот 15 минут в день. Если такого человека не нашлось, процесс, скорее всего, не болит, и автоматизировать его рано.
Чек-лист стоп-сигналов до старта
Каждый пункт «нет» означает работу, которую надо сделать до пилота, иначе она всплывёт посреди него.
- Метрика успеха сформулирована одним предложением и согласована с тем, кто платит.
- Базовая линия замерена: известно, сколько процесс стоит сейчас в часах и деньгах.
- Данные подключаются из первоисточника, или в пилоте есть автоматическая сверка с ним.
- Список данных проверен на персональные данные, ответ на вопрос «где сервер» известен.
- Всё, что уходит клиентам, проходит через подтверждение человеком.
- Назначен владелец процесса, у него есть 15 минут в день на разбор результатов.
- У пилота есть дата решения и заранее записанные условия «продолжаем» и «останавливаем».
- Скоуп влезает в одно предложение без союза «и ещё».
Как довести пилот до боевой работы
Неделя на замер базовой линии и фиксацию метрики. Узкий скоуп: один процесс, один канал, одна группа пользователей. Данные из первоисточника со сверкой. Всё исходящее через приёмку человеком.
Еженедельный получасовой разбор с владельцем процесса: что отсеяли зря, где ответ слабый, что добавить в правила. И заранее назначенная дата, когда по зафиксированной метрике принимается решение: снимаем гейт и расширяем или останавливаем.
У пилота, прошедшего этот путь, есть цифра до, цифра после и накопленная статистика качества. Решение раскатывать агента на всю компанию из решимости превращается в арифметику, а это и был смысл пилота. Что происходит дальше, после снятия гейта, мы разобрали в статье про задачи, которые ИИ-агенты уже закрывают в работе.
Частые вопросы
Сколько должен длиться пилот с ИИ?
Ориентир 3-6 недель плюс неделя замера базовой линии. Короче не успевает накопиться статистика качества, а затянутый пилот значит, что скоуп был широким или у пилота нет даты решения и он дрейфует.
Пилот провалился. Это значит, что ИИ нам не подходит?
Не обязательно. Пройдите по пяти ошибкам выше и проверьте, были ли у пилота метрика, данные из первоисточника и владелец. Полезно повторить пилот на другом, более узком процессе с исправленной постановкой.
Можно ли делать пилот на бесплатных инструментах?
Демо можно, пилот с осторожностью. На этапе пилота уже критичны данные из первоисточника, журналирование и вопрос, куда физически уходят данные, а именно на этом бесплатные тарифы и конструкторы экономят. Считайте стоимость пилота заранее.
Кто должен вести пилот: свой сотрудник или подрядчик?
Технику может вести любой из них, а вот владельцем процесса должен быть свой человек, который в этом процессе живёт. Худшая конфигурация: подрядчик делает «под ключ», со стороны компании никто не смотрит результаты до финальной презентации.
Что фиксировать в условиях «продолжаем или останавливаем»?
Числовое значение метрики, при котором пилот признаётся успешным, дату решения и того, кто его принимает. Например: «к 15 октября доля ответов, ушедших без правок, не ниже 70 процентов, решение принимает руководитель отдела». Без даты пилот не проваливается и не выигрывает, он просто тлеет.
Разберём, что из статьи применимо у вас.
Бесплатный аудит процессов, 30 минут