Как понять, что у не выстроена AI-система: 7 вопросов для диагностики

Сейчас почти каждая компания говорит что-то вроде: «Мы уже используем AI». И в большинстве случаев это даже правда. Кто-то пишет тексты через ChatGPT, продажи генерируют ответы на письма, руководители просят сделать summary встречи, маркетинг иногда анализирует рекламу через нейросети. Формально AI действительно присутствует в работе.

Но довольно часто за фразой «мы внедрили AI» скрывается одна простая вещь: сотрудники просто открыли чат и периодически используют его как умного помощника.

И это важное различие, которое, как мне кажется, многие недооценивают.

Использовать AI и внедрить AI — вообще не одно и то же.

Самый простой тест здесь довольно жёсткий: если убрать конкретного сотрудника, процесс продолжит работать? Или всё развалится, потому что только он знает, какой prompt использовать, где лежат данные и как из ответа модели получить реальный результат?

На практике я всё чаще вижу именно второй сценарий. Поэтому, когда компания говорит, что уже работает с AI, мне обычно интересно задать только один вопрос:

У вас сейчас AI — это чат или уже система?

Потому что разница между ними огромная.

Чат помогает отдельному человеку работать быстрее. Система меняет то, как вообще устроен процесс внутри компании. Она сохраняет контекст, подключается к данным, запускает действия, снижает зависимость от конкретных людей и делает результат более повторяемым.

Чтобы не уходить в абстрактные разговоры, я обычно использую очень простой чек-лист. Всего семь вопросов. Ответы на них довольно быстро показывают, где вы реально находитесь: на уровне полезного инструмента, эксперимента или уже рабочей AI-системы.

1. AI знает контекст бизнеса — или каждый раз всё начинается с нуля?

Это, пожалуй, самый быстрый тест.

Когда сотрудник открывает AI, ему приходится заново объяснять, что у вас за продукт, кто аудитория, какой tone of voice, какие KPI важны и какие ограничения нельзя нарушать? Или система уже понимает контекст и может работать без длинного «введения в курс дела»?

Потому что если хороший результат каждый раз начинается с огромного ручного объяснения, у вас пока скорее чат.

Настоящая система постепенно накапливает память о компании. Она знает прошлые решения, понимает процессы, использует внутренние данные и не заставляет сотрудников каждый раз начинать разговор с чистого листа.

Я вообще всё больше думаю, что контекст бизнеса становится новым moat. Модели сегодня доступны почти всем, а вот история компании, накопленные данные и понимание внутренних процессов — нет.

Есть простой красный флаг: если результат сильно зависит от человека, который «умеет правильно объяснить ChatGPT», система ещё не появилась.

2. AI подключён к данным — или всё работает через copy-paste?

Очень много AI-автоматизации на практике выглядит так:

человек вручную выгружает отчёт, копирует его в ChatGPT, получает анализ, а потом идёт дальше всё делать руками.

Технически AI в процессе участвует.

Но если честно — всё всё равно держится на человеке.

Здесь полезно задать простой вопрос: AI вообще имеет доступ к данным? К CRM, аналитике, рекламным кабинетам, таблицам, базе знаний, документам, API? Или сотрудники всё ещё вручную переносят информацию между системами?

Если второе — это скорее чат, а не система.

Проблема в том, что AI без данных очень быстро превращается в генератор уверенных предположений. Он может звучать убедительно, но опирается только на то, что ему вручную дали в конкретном запросе.

3. AI умеет делать что-то кроме ответа?

Вот здесь обычно проходит очень заметная граница.

Чат отвечает.

Система действует.

Например, чат может сказать:

«Конверсия снизилась, стоит проверить посадочную страницу».

Это полезно, но работа на этом не заканчивается.

Система, скорее, сама заметит просадку, подтянет данные, сравнит с историей, сформирует гипотезы, создаст задачу ответственному и потом ещё проверит, изменился ли результат.

То есть AI становится частью workflow, а не просто местом, где вы получили совет.

И если после ответа модели начинается хаос в чатах, ручные созвоны и переписки «кто это возьмёт?» — процесс пока не собран.

4. Есть ли workflow после сигнала?

Это один из моих любимых тестов, потому что он очень быстро показывает реальный уровень зрелости процесса.

Представим простую ситуацию: CPL внезапно вырос на 35%. Что происходит дальше?

Если честный ответ звучит примерно как «ну, кто-нибудь посмотрит» — скорее всего, у вас пока чат. Даже если сотрудники активно используют AI.

Проблема здесь в том, что сам по себе сигнал почти ничего не значит. Он становится полезным только тогда, когда запускает понятную цепочку действий. Например: система замечает аномалию, собирает нужные данные, анализирует возможные причины, предлагает гипотезы, создаёт задачу ответственному человеку, а потом проверяет, помогли ли изменения.

Когда появляется такая последовательность — начинает формироваться система.

Вообще, мне кажется, именно workflow чаще всего отличает «поигрались с AI» от реального бизнес-эффекта. Потому что технология сама по себе редко создаёт ценность. Ценность появляется в момент, когда после сигнала что-то начинает происходить без хаоса.

5. Есть ли критерии качества?

Это место, где многие процессы ломаются незаметно.

AI умеет звучать очень уверенно. Иногда настолько уверенно, что легко забыть: красивый ответ — ещё не хороший результат. Именно поэтому почти в любом внедрении я стараюсь задавать один и тот же вопрос:

А как вообще система понимает, что ответ качественный?

Для контента это могут быть вполне конкретные критерии: соблюдён ли tone of voice, нет ли запрещённых обещаний, подходит ли структура, не противоречит ли текст позиционированию бренда.

В аналитике — другие вопросы: актуальны ли данные, не сломалась ли логика расчётов, учитывается ли контекст, проверены ли аномалии.

В продажах — свои: соблюдён ли скрипт, правильно ли квалифицирован лид, ничего ли не потерялось в коммуникации.

Без таких рамок AI довольно быстро превращается в генератор уверенных ошибок. Он продолжает отвечать, выглядит убедительно, но никто не понимает, насколько результат вообще соответствует задаче.

6. Процесс работает без конкретного сотрудника?

На мой взгляд, это самый честный тест зрелости.

Попробуйте мысленно убрать из процесса самого сильного специалиста. Не навсегда — хотя бы на пару недель. Что произойдёт?

Есть два сценария.

В первом всё начинает разваливаться. Команда не понимает, какие prompts использовать, где искать данные, как проверять ответы модели и что делать дальше. В этот момент обычно становится очевидно, что знания живут в голове одного человека, а не внутри процесса.

Во втором сценарии работа продолжается почти без драматических последствий. Контекст сохранён, роли понятны, workflow описан, логика действий воспроизводима. Люди могут подхватить процесс без ощущения, что исчез «единственный человек, который знает магию».

Вот здесь обычно и начинается настоящее внедрение. Когда AI становится частью системы, а не персональным усилителем одного сотрудника.

7. Есть ли измеримый результат?

Последний вопрос — и, возможно, самый важный.

Я часто слышу фразу:

«С AI стало удобнее».

И это, честно говоря, слабая метрика.

Удобнее — это ощущение. А внедрение обычно имеет смысл только тогда, когда появляется измеримый эффект.

Например, команда быстрее реагирует на проблемы. Снижается объём ручной работы. Уходит часть рутинных задач. Решения принимаются быстрее. Количество ошибок падает. Результат становится более стабильным, а не зависит от настроения сотрудника или качества конкретного запроса.

Если эффект нельзя измерить, высока вероятность, что AI существует скорее в презентации, чем в реальной операционке.

Быстрая самодиагностика

После этих вопросов можно довольно быстро понять, где вы находитесь.

Если у вас 0–2 «да», скорее всего AI пока работает как чат. Он помогает отдельным людям быть продуктивнее, но процесса ещё нет.

Если 3–5 «да», это уже уровень инструмента. Полезные сценарии появились, но они всё ещё живут отдельно друг от друга и сильно зависят от конкретных людей.

Если 6–7 «да», начинает появляться система. AI становится частью workflow, а не отдельной вкладкой в браузере. Именно здесь обычно возникает настоящий ROI, потому что меняется уже не только скорость работы человека, а сама логика процесса.

Ошибка, которую я вижу чаще всего

После такого чек-листа легко сделать вывод: «Нам срочно нужна полноценная AI-система».

Но я бы, честно говоря, не спешил.

Почти всегда лучше начать с одного повторяемого процесса, где боль уже понятна и эффект можно измерить. Например, контроль заявок, аудит рекламы, отчётность, аналитика или контент-пайплайн.

Один workflow.

Одна проблема.

Один понятный KPI.

И только потом — масштабирование.

Мне кажется, многие компании ошибаются именно здесь: пытаются начать сразу с «AI-трансформации бизнеса», хотя намного полезнее сначала собрать один работающий сценарий и доказать, что он реально создаёт ценность.

Вывод

У большинства компаний сегодня, если честно, состояние где-то посередине. Это ещё не полноценная AI-система, но уже и не просто эксперимент.

И в этом нет ничего плохого.

Проблема начинается в момент, когда бизнес начинает считать, что AI уже внедрён, хотя по факту сотрудники просто открывают чат несколько раз в день.

Потому что чат помогает отдельному человеку.

А система меняет то, как работает процесс.

И если после любого сигнала у вас всё ещё начинается ручной хаос — созвоны, сообщения в чатах, поиск ответственного и бесконечные уточнения — скорее всего, до AI-системы вы пока ещё просто не дошли.

У вас всё ещё очень умный чат.