СибБро · Практика ИИ ·

ИИ ошибается в базе знаний: сначала проверьте, что случилось с таблицами

В регламенте ответ есть, но помощник уверенно сообщает другое. Замена модели может не помочь: нужная строка потеряла заголовок ещё при загрузке документа. Для системы остались числа, но исчезло объяснение, к чему они относятся.

Таблица с сохранёнными заголовками и примечаниями
Таблица с сохранёнными заголовками и примечаниями. Учебная иллюстрация.

Salesforce в инженерной публикации от 9 сентября разбирает потери смысла при обработке корпоративных документов: разрывы таблиц, неудачное деление текста и поиск материала о другом продукте. Предложенный способ диагностики — проверять цепочку от ответа обратно к извлечённым фрагментам и исходной странице.

Проверьте документы, которыми пользуются сотрудники

Включите в пилот инструкции с таблицами на нескольких страницах, примечаниями и похожими версиями продукта. Для каждого контрольного вопроса сохраните правильный ответ и участок документа, который его подтверждает.

Проследите, что модель получила фактически. Сохранились ли заголовки столбцов? Видно ли примечание к исключению? Есть ли версия продукта? Если данных нет в полученном фрагменте, исправлять нужно обработку документа или поиск.

Сохраняйте смысловые блоки

Путь документа от загрузки до ответа
Путь документа от загрузки до ответа. Учебная иллюстрация.

Разделение по фиксированной длине может оторвать строку от заголовка и последовательность действий от предупреждения. При загрузке документов определите, какие элементы должны оставаться вместе. Для таблицы это названия строк и столбцов, единицы измерения и относящиеся к значениям примечания.

Перед поиском по смыслу применяйте известные ограничения: продукт, регион, версию инструкции. Если пользователь их не сообщил, помощник может уточнить запрос. Похожая формулировка ещё не делает документ подходящим.

Подход к сохранению структуры вопросов описан также в разборе обработки анкет заказчиков. Для базы знаний требуется столь же явная связь между данными и их контекстом.

Риски пилота и условия масштабирования

Фильтр версии продукта перед поиском
Фильтр версии продукта перед поиском. Учебная иллюстрация.

Замена нескольких компонентов сразу не позволяет понять причину улучшения. Меняйте обработку, разбиение и поиск по очереди, сохраняя одну контрольную подборку. Критерий готовности — воспроизводимый результат на сложных документах.

Устаревший документ может дать формально точный, но неприменимый ответ. Храните даты действия и правила выбора актуальной версии. Проверяйте ситуацию, когда нужной версии нет: помощник должен остановиться и передать вопрос сотруднику.

Руководителю полезен отчёт по причинам ошибок: данные не загрузились, потеряли структуру, не нашлись или были неверно истолкованы. Он показывает, куда направить работу команды и на каком корпусе система уже заслуживает доверия.

Видео: База знаний и проверка ответов агента

Алексей Колесов показывает создание базы знаний для агента на n8n и Supabase, загрузку ассортимента и проверку ответов. Для таблиц нужно отдельно проверить сохранность строк, заголовков и условий.

СибБро — ИИ для бизнес-процессов. Обсудить задачу на сайте sibbro.ru