Проверка, RAG и инструменты

Знание даёт силу.

Джаред Даймонд — «Ружья, микробы и сталь»

Запрос проходит через поиск источников, генерацию, инструменты и независимую проверку. — Communication Engineering · grounded AI

Промпт отвечает за постановку задачи. Фактический контекст, действия и проверка часто требуют отдельных компонентов.

RAG

Retrieval-augmented generation:

принимает запрос;
находит релевантные фрагменты;
передаёт их модели;
генерирует ответ;
связывает ответ с источниками.

RAG полезен для изменяющегося или закрытого корпуса. Он не гарантирует истину: поиск может не найти нужное, ранжирование — выбрать похожее, а модель — сделать вывод сильнее фрагментов.

Проверяйте retrieval отдельно

Метрики и тесты:

найден ли документ с ответом;
попал ли нужный фрагмент в top-k;
не вытеснен ли свежий источник старым;
сохраняются ли права доступа;
корректно ли режутся таблицы и код;
различаются ли похожие термины.

Если нужного контекста нет на входе модели, улучшение промпта ограничено.

Цитирование

Источник должен поддерживать конкретное утверждение, а не просто быть тематически похожим. Полезно возвращать:

утверждение;
ссылку;
короткий supporting span;
дату и версию;
уровень уверенности;
явный статус «источник не найден».

Tool calling

Инструмент нужен, когда требуется:

получить актуальные данные;
выполнить точный расчёт;
запросить API;
изменить систему;
проверить код;
сохранить результат.

Модель выбирает действие и параметры, но внешняя система валидирует схему, полномочия и последствия.

Контур подтверждения

Для чтения можно разрешить автоматический вызов. Для необратимых действий:

модель формирует план;
система показывает пользователю точное действие;
пользователь подтверждает;
инструмент выполняет;
результат проверяется;
журнал сохраняет минимум нужного.

Verification

Подходы:

детерминированные правила и schema validation;
вычисление независимым инструментом;
поиск подтверждающих источников;
тестовый набор с ожидаемыми свойствами;
второй проход с другой задачей проверки;
человек для высокой ставки.

Самопроверка модели полезна как дополнительный слой, но тот же генератор может не увидеть собственную ошибку.

Сбой

Ассистент поддержки уверенно сообщает несуществующий срок возврата и прикладывает ссылку на общий раздел правил.

Контур

Retrieval обязан найти пункт с конкретным сроком. Ответ строится только из найденного span. Если пункт отсутствует или конфликтует по версии, ассистент не отвечает и создаёт запрос оператору.

Evaluation

Соберите набор реальных задач и граничных случаев. Оценивайте свойства:

правильность;
полнота;
groundedness;
отказ при недостатке данных;
безопасность действия;
latency и стоимость;
полезность для пользователя.

Одна средняя метрика скрывает опасный класс ошибок. Сегментируйте по типам запросов и уровню ставки.

Карта отказов

Для AI-функции выпиши по три отказа retrieval, generation, tool execution и verification. Для каждого добавь наблюдаемый сигнал и безопасное поведение системы.