Доверие к бенчмаркам ИИ снижается на фоне роста интереса к практической оценке

Доверие к стандартным бенчмаркам ИИ снижается из-за обвинений в «bench hacking» — оптимизации под тесты — и сложностей с интерпретацией результатов. В аналитической оценке прозвучало предположение, что эпоха широко распространяемых сводных бар-чартов может приближаться к завершению, однако не было установлено, что конкретные модели действительно оптимизировались под тесты.

В качестве альтернативных сигналов назывались решение новых математических задач, практические демонстрации — например создание игры — и рекомендации опытных пользователей. Люди с большим опытом работы с моделями всё чаще формируют собственные внутренние оценки их возможностей.

Artificial Intelligence Index описывался как способ объединить несколько бенчмарков в единый метабенчмарк, однако неясно, насколько такой сводный показатель отражает реальные профессиональные возможности моделей. По мере развития ИИ результаты на новых задачах и в реальных рабочих сценариях могут стать важнее стандартных тестов.