Новые инструменты для борьбы с «галлюцинациями» ИИ: как разработчики оценивают и улучшают генеративные модели

Что такое AI agentic evaluation?

Термин «agentic» относится к способности системы действовать автономно и самостоятельно достигать целей. Инструменты AI agentic evaluation предназначены для оценки генеративных ИИ-моделей и выявления проблем, таких как «галлюцинации».

Атин Саньял, сооснователь и технический директор платформы Galileo, объясняет, что «галлюцинации» бывают двух типов:

• Открытые (open-domain): Модель генерирует ложную информацию без конкретного контекста.
• Закрытые (closed-domain): Модель создаёт некорректные данные на основе ограниченного контекста.

Для борьбы с закрытыми «галлюцинациями» используются такие метрики, как контекстное соответствие (context adherence) и следование инструкциям (instruction adherence).

Почему LLM-as-Judge недостаточно?

Ранние подходы к оценке «галлюцинаций» включали использование одной языковой модели (LLM) для проверки другой. Однако этот метод имеет ограничения, такие как предвзятость, ограниченная способность к рассуждению и проблемы с масштабируемостью.

«Крупные компании столкнулись с ограничениями этого подхода. API третьих сторон накладывают ограничения на частоту запросов, что снижает качество приложений», — отметил Саньял.

Открытые решения и их ограничения

На рынке уже существуют открытые инструменты для оценки ИИ-агентов, такие как RAGAS и TruLens. Однако, по словам Саньяла, они часто фокусируются на количественных метриках, игнорируя качественные аспекты.

«Открытые решения недостаточны. Они упускают возможность настройки метрик под конкретные задачи», — пояснил он.

Galileo: AI-агент как помощник разработчика

Galileo предлагает платформу для оценки ИИ-агентов, которая интегрируется в рабочий процесс разработчика всего двумя строками кода. Платформа предоставляет как стандартные метрики, так и возможность создания пользовательских.

«Мы создали автоматизированный ML-конвейер, который позволяет не только разрабатывать собственные метрики, но и адаптировать их с помощью обратной связи», — рассказал Саньял.

Galileo использует два подхода:

1. ChainPoll: Агент, который улучшает традиционные методы LLM-as-judge и позволяет настраивать определение «галлюцинаций».
2. Luna: Набор моделей с низкой задержкой, разработанных для работы с большими объёмами запросов и обеспечения конфиденциальности данных.

Luna, созданная в 2024 году, представляет собой модель с 440 миллионами параметров, что делает её более эффективной и менее затратной в сравнении с крупными LLM, такими как GPT-3.5.

Преимущества меньших моделей

Меньшие модели, такие как Luna, демонстрируют высокую эффективность в обнаружении «галлюцинаций». По данным Galileo, Luna превосходит RAGAS, TruLens и даже ChainPoll в задачах оценки.

«Это набор небольших моделей, специально обученных для обнаружения “галлюцинаций”. Мы размещаем их на стандартных GPU, что делает их доступными и экономичными», — пояснил Саньял.

Как Galileo помогает разработчикам?

Galileo работает как «сопровождающий» для разработчиков, предоставляя инструменты для анализа и исправления ошибок. Если система обнаруживает «галлюцинацию», разработчик может либо пересоздать ответ, либо повторно выполнить запрос.

«Мы даём разработчикам возможность решать, как поступить с ошибкой: показать её пользователю, переформулировать ответ или повторить запрос», — сказал Саньял.