Olam Labs создает поведенческие и многоагентные оценки для AI-лабораторий

Olam Labs заявляет, что создает среды обучения с подкреплением и тренировочные данные для AI-лабораторий, оценивая, как модели лгут, обманывают, сотрудничают и ведут себя в многоагентных сценариях. Это отличается от традиционных оценок, сосредоточенных на программировании или математике.

Компания разрабатывает реалистичные сценарии с общением компаний в Slack, ролями CEO и продакт-менеджера, а также дипломатией и переговорами. В Olam Labs считают, что такие качественные характеристики сложнее проверять, но они могут быть более ценными, если их удастся надежно измерять.

Коммерческий подход компании — продавать лабораториям конкретную возможность улучшить их модели, подкрепляя ее бенчмарками и наборами данных. Olam Labs уже публиковала оценки, сравнивающие модели по конкуренции, лжи и сотрудничеству, и заявляет, что готовит новые; также компания говорит, что недавний спрос соответствует выбранному ею четыре месяца назад направлению.