Raindrop представила симуляции для тестирования изменений в ИИ-агентах

Raindrop — продукт для обеспечения надежности ИИ-агентов — недавно представила симуляции, которые моделируют, как изменения в агентах могут повести себя в реальном мире, и выявляют неожиданные действия. Продукт предназначен для обнаружения проблем в рабочей среде и помощи в их предотвращении; компании сами определяют, какое поведение считать хорошим или плохим, вместо того чтобы полагаться на простую бинарную классификацию.

Текущий подход воспроизводит отобранные исторические события и в отдельных случаях создает сценарии с динамическим моделированием атак. Вызовы инструментов из прошлых трассировок агента используются для восстановления окружающего контекста симуляции, которая одновременно проверяется на отсутствующие или неточные данные, чтобы их можно было выявить и добавить во время выполнения.