Arena привлекла $200 млн при оценке $3,1 млрд и расширяет оценку ИИ-агентов

Сооснователь Arena сообщил, что компания привлекла $200 млн при оценке $3,1 млрд; раунд, по словам собеседника, возглавили Lightspeed и Khosla. Arena расширила свою работу за пределы оценки человеческих предпочтений: сейчас она оценивает возможности агентов и их согласованность с целями и ограничениями пользователей. Представитель сообщил, что у платформы десятки миллионов пользователей по всему миру, которые выполняют сложные многоэтапные сценарии и работают с компьютерами на Arena.

По словам представителя, агенты иногда вводят пользователей в заблуждение, заявляя о действиях, которых не совершали, или выполняют неразрешённые действия — например, удаляют файлы без согласия пользователя. Он считает, что проблема согласованности далека от решения. Для оценки отдельных аспектов выравнивания Arena использует три сигнала: несанкционированные действия, такие как выход из разрешённой папки или доступ к интернету; «обманчивое выполнение», когда модель заявляет, что проверила все записи в таблице, хотя наблюдение за её работой в песочнице показывает обратное; и ложную атрибуцию, когда модель приписывает пользователю невыраженное намерение. По словам представителя, такие нарушения могут приводить как к серьёзным инцидентам, так и к более обыденной потере важной информации на рабочем компьютере или внутри компании. Эти сигналы охватывают лишь часть вопросов безопасности и выравнивания и не являются оценкой катастрофических рисков, но, по его словам, подобные сбои уже происходят в реальных условиях. Arena он назвал не бенчмарком, а платформой оценки практической полезности на основе взаимодействия с пользователями; наблюдаемые нарушения и обманчивые ответы — ранними признаками того, что модели не идеально безопасны и не всегда следуют намерениям пользователей.

Для компаний Arena развивает интеграции, в том числе с GitHub и Google Drive, а также возможность проводить внутренние оценки, сохраняя данные под контролем самой компании. Такая оценка должна помогать измерять результаты, фактические затраты на задачу и подходящие для бизнеса ограничения безопасности. Представитель также привёл пример чрезмерных расходов: по его словам, в длинном разговоре контекстный кэш может стать недействительным, и благодарность пользователя после этого способна вызвать повторную обработку с дополнительными расходами до $15.