Arena хочет оценивать персональных ИИ-агентов и сравнивать их стоимость и возможности

Представитель Arena рассказал, что компания пытается выйти в область оценки персональных ИИ-агентов. По его словам, это направление опирается на сильные стороны платформы и должно дать научную, количественную информацию для практических сравнений. Оценивать, считает он, нужно не только то, справляется ли агент с задачей, но и цену ее выполнения, а также то, какие задачи агент способен и не способен решать.

Для доверия к таким оценкам представитель считает необходимым независимого арбитра — своего рода Consumer Reports или Gartner для ИИ. Он также указал на необходимость понятного представления результатов аудитории: на YouTube-канале Find Arena AI команда аналитиков, в числе которых Питер и Давид, рассказывает о выпускаемых моделях и их сильных сторонах.