Как проверить, что AI-агент работает, и какие данные ему можно доверить
Как контролировать AI-агента после запуска: журнал, четыре метрики, выборочная проверка. Какие данные можно передавать модели по GDPR и EU AI Act.
Средневековое английское казначейство проверяло долги с помощью раздвоенных палок. На ореховой палке делали зарубки по сумме долга, а потом раскалывали её вдоль на две половины: одна оставалась у казны, другая у плательщика. При расчёте половины складывали, и если зарубки не совпадали, подделка была видна сразу. Эта система жила в Англии больше шестисот лет, до 1826 года. Когда в 1834 году старые палки решили сжечь в печи Палаты лордов, огонь вышел из-под контроля и уничтожил почти весь старый Вестминстерский дворец. История сохранила обе части урока: проверка, встроенная в саму вещь, работает веками, а обращаться с инструментом нужно осторожно до самого конца. Для AI-агента это означает две вещи: как убедиться, что он делает свою работу правильно, и как не отдать ему лишнего.
01Журнал: ваша половина палки
Каждое действие агента должно оставлять запись: что он получил на входе, что решил, что отправил, кому и сколько это стоило. Без журнала нельзя разобрать ни одну ошибку и нельзя посчитать пользу.
Журнал стоит хранить у себя, в своей базе или таблице, независимо от того, на какой платформе работает агент. Если вы смените поставщика, история работы останется с вами.
02Четыре цифры на каждую неделю
Доля результатов без правок. Если сотрудники стали править больше, качество падает или изменились условия работы.
Время от события до результата. Ответ на отзыв за три часа и за три дня это разная польза для бизнеса.
Ошибки, которые дошли до клиента. Эту цифру нужно знать поимённо, с разбором каждого случая.
Стоимость работы агента за неделю. Резкий рост часто означает, что агент зациклился или к нему пошёл поток, которого не ждали.
03Выборочная проверка и самопроверка
Раз в неделю человек берёт 20 случайных результатов агента и проверяет их так, будто делает работу сам. Это занимает полчаса и ловит то, что не видно по цифрам: тон, который стал суше, повторяющиеся фразы, ответы, формально верные и бесполезные для клиента.
Часть проверки можно поручить самому агенту. В одном нашем проекте для сети общепита советник собственника раз в неделю проверяет свои уже отправленные сообщения по девяти правилам бренда. Первая такая проверка нашла четыре критичные проблемы, и все их закрыли за день.
04Сигналы, что агент сломался молча
Самая опасная поломка тихая: источник данных перестал отвечать, а агент продолжает работать с тем, что есть, или просто молчит. Поэтому агент должен сам сообщать о сбоях своих источников. В контуре отзывов, который мы поставили ресторанному холдингу, система отдельно сообщает, если сама перестала получать данные из Google.
Другие сигналы: резкое падение числа задач без видимой причины, одинаковые ответы на разные вопросы, всплеск правок у одного сотрудника, жалобы клиентов на формулировки. Каждый такой сигнал стоит разбирать в тот же день.
05Какие данные можно отдавать модели
Спокойно можно передавать публичные сведения о компании, каталог, регламенты, обезличенные цифры продаж и тексты, которые и так видят клиенты.
Осторожно стоит обращаться с персональными данными клиентов и сотрудников: имена, телефоны, история заказов, медицинские сведения. В Румынии и остальном ЕС их обработку регулирует GDPR, в Молдове закон № 195/2024 о защите персональных данных, который с 23 августа 2026 года заменил закон № 133 от 2011 года и построен по образцу GDPR, в Украине закон «Про захист персональних даних» 2010 года. Перед подключением агента к таким данным проверьте договор с поставщиком модели: где хранятся данные, сколько времени, используются ли они для обучения, есть ли соглашение об обработке данных.
Никогда не передавайте модели пароли, полные номера карт и ключи доступа к системам. Для работы агенту выдают отдельные права на конкретные действия.
06Что требует EU AI Act
С 2 августа 2026 года в ЕС действуют требования прозрачности Регламента об искусственном интеллекте. Если клиент общается с AI-ботом, он должен об этом знать, а сгенерированные тексты и изображения в ряде случаев нужно помечать. Для компаний в Румынии это уже обязательные правила, для Молдовы и Украины это направление, к которому приближается их законодательство в рамках сближения с ЕС.
На практике для большинства бизнес-агентов достаточно трёх вещей: честно говорить клиенту, что ему отвечает AI, давать возможность перейти к человеку и не выдавать сгенерированное за слова конкретного сотрудника.
07Вместо вывода
Раздвоенная палка служила казначейству шесть веков, потому что проверка была частью самой записи. С агентом то же правило: журнал, четыре цифры, выборочная проверка и сообщения о сбоях встраиваются в него с первого дня, а данные он получает ровно в том объёме, который нужен для задачи.
Если хотите проверить уже работающего агента или настроить контроль для нового, напишите нам в Telegram @mrkt_era или посмотрите страницу AI-автоматизации.
Коротко
- Журнал действий агента храните у себя, независимо от платформы и поставщика
- Каждую неделю смотрите четыре цифры: доля без правок, время, ошибки до клиента и стоимость
- Полчаса в неделю на 20 случайных результатов ловят то, чего не видно по метрикам
- Агент должен сам сообщать о сбоях своих источников данных
- Персональные данные только по договору с поставщиком, пароли и ключи никогда; в ЕС с августа 2026 клиент должен знать, что говорит с AI
Связанная услугаAI-сотрудники для бизнеса: бухгалтер, копирайтер, SEO
Хотите обсудить, как это устроить у вас? Напишите нам в Telegram @mrkt_era.
Читайте также
- Как собрать AI-агента для своего бизнеса: из чего он состоит и как это устроеноИз чего состоит рабочий AI-агент: задача, модель, правила, подключения, память, границы и журнал. Разбор на примере утреннего отчёта для сети.
- С чего начать AI в компании: план на первые 30 днейПлан внедрения AI в компании на первый месяц: как выбрать задачу, что подготовить, зачем нужен тихий прогон и как на 30-й день решить, что дальше.
- Отзывы в сети из десяти точек: почему ручной мониторинг не масштабируетсяГде рвётся обратная связь, когда точек больше трёх: цена неотвеченного отзыва, язык ответа, приватный канал с гостем и индекс лояльности по каждой точке. Плюс 7 вопросов перед покупкой инструмента.