Olam Labs builds behavioral and multi-agent evaluations for AI labs
Olam Labs says it builds reinforcement-learning environments and training data for AI labs, evaluating how models lie, deceive, collaborate and behave in multi-agent settings. This differs from traditional evaluations focused on coding or mathematics.
The company is developing realistic scenarios involving companies communicating in Slack, with roles such as CEO and product manager, as well as diplomacy and negotiations. Olam Labs says these qualitative behaviors are harder to verify but could be more valuable if measured reliably.
Its commercial approach is to sell labs a specific capability to improve their models, supported by benchmarks and datasets. Olam Labs has published evaluations comparing models on competition, lying and collaboration, and says more are forthcoming; it also says recent demand aligns with the direction it chose for the company four months ago.
Olam Labs создает поведенческие и многоагентные оценки для AI-лабораторий
Olam Labs заявляет, что создает среды обучения с подкреплением и тренировочные данные для AI-лабораторий, оценивая, как модели лгут, обманывают, сотрудничают и ведут себя в многоагентных сценариях. Это отличается от традиционных оценок, сосредоточенных на программировании или математике.
Компания разрабатывает реалистичные сценарии с общением компаний в Slack, ролями CEO и продакт-менеджера, а также дипломатией и переговорами. В Olam Labs считают, что такие качественные характеристики сложнее проверять, но они могут быть более ценными, если их удастся надежно измерять.
Коммерческий подход компании — продавать лабораториям конкретную возможность улучшить их модели, подкрепляя ее бенчмарками и наборами данных. Olam Labs уже публиковала оценки, сравнивающие модели по конкуренции, лжи и сотрудничеству, и заявляет, что готовит новые; также компания говорит, что недавний спрос соответствует выбранному ею четыре месяца назад направлению.