Как проверять ИИ, прежде чем доверить ему документы
Модель будет ошибаться. Важно, как часто и успеете ли вы это заметить. Рассказываем, как устроить пилот, чтобы по его итогам было понятно, стоит ли продолжать.
Языковые модели научились вещам, которые ещё недавно делали только люди. Они достают реквизиты из сканов, отвечают на вопросы по регламентам, раскладывают обращения по темам. И ошибаться они тоже научились: спокойно, уверенно, без тени сомнения в голосе. Так что спрашивать, ошибается ли модель, смысла нет. Ошибается. Важно другое: как часто, где именно и успеете ли вы заметить ошибку раньше, чем она попадёт в учёт.
Одна задача вместо «внедрить ИИ»
Если пилот начинается со слов «внедрить искусственный интеллект», он почти всегда заканчивается разочарованием. Никто не может сказать, что считать успехом. Гораздо лучше работает узкая и скучная формулировка, например «извлекать реквизиты из входящих счетов». Или «отвечать на вопросы о возвратах строго по регламенту». Звучит куда скромнее, чем «помощник для сотрудников», зато сразу понятно, что проверять.
У одной задачи один результат, и его можно измерить. Его можно сравнить с тем, как работа делается сейчас, и решить, продолжать ли, по цифрам. Гадать по впечатлениям уже не придётся.
Экзамен до приёма на работу
Прежде чем доверить модели документы, её стоит проэкзаменовать, как нового сотрудника. Для этого нужен эталон: 50–100 реальных примеров, правильные ответы к которым вы знаете заранее. Подойдут счета, в которых бухгалтер уже проверил реквизиты. Или вопросы клиентов с ответами, которые дал бы ваш самый опытный специалист.
Без такого экзамена любая оценка остаётся на уровне ощущений. С ним разговор о качестве сводится к цифрам, и спорить становится не о чем.
Что на самом деле измерять
Первым делом смотрят на точность, то есть на долю ответов, которые совпали с эталоном. Но общая цифра может обмануть. Модель бывает безупречна в суммах и при этом путает даты. Поэтому точность считают по каждому полю отдельно.
Второе, и, пожалуй, самое важное, это умение сомневаться. Хорошая система говорит «не уверена», когда действительно не уверена. Сомнительный ответ можно отдать человеку на проверку. Уверенно неверный проскочит, и никто его не заметит. Поэтому система, которая отмечает свои сомнения, полезнее той, у которой точность чуть выше, но сомнений она не показывает.
Третье — время. Сколько уходит у сотрудника на проверку того, что сделала модель, и сколько на ту же работу вручную? Если проверка занимает столько же, сколько ввод, выигрыша нет, какими бы впечатляющими ни были остальные цифры.
Последнее слово за человеком
Хорошая система не заменяет сотрудника, она меняет его работу. Раньше он вводил данные, теперь проверяет. Чтобы так получилось, интерфейс должен показывать, откуда взято каждое значение, подсвечивать сомнительное и сохранять все исправления.
Журнал исправлений вообще недооценивают. По нему видно, как модель справляется с работой, и он же пригодится, чтобы со временем она ошибалась реже.
Когда пилот можно считать успешным
Критерии успеха лучше записать до старта, чтобы потом не подгонять их под результат. Например: точность по ключевым полям не ниже 95 %, модель сама отмечает хотя бы девять сомнительных случаев из десяти, а на обработку документа уходит вдвое меньше времени. У каждой задачи цифры будут свои. Главное, договориться о них заранее.
Если цели не достигнуты, это тоже результат. Вы узнали об этом, потратив небольшой бюджет, и до того, как взялись за большое внедрение.
Куда уходят данные
Если в документах есть персональные данные или коммерческая тайна, первым делом выясните, куда они отправляются. Облачная модель означает, что данные уходят к провайдеру, и это оформляется договором. Модель на вашем сервере оставляет данные внутри компании, но ей нужны вычислительные мощности. Оба варианта рабочие. Выбирать между ними стоит по требованиям безопасности.
Если коротко
ИИ проверяют так же, как нового сотрудника. Ему дают понятную задачу, устраивают экзамен на реальных примерах, разрешают говорить «не знаю» и сажают рядом опытного человека. Пилот на одной задаче, с эталоном и метриками, о которых договорились заранее, показывает, стоит ли продолжать. И показывает это раньше, чем вы вложите серьёзные деньги.
