Экспертное тестирование предложено как дополнение к ИИ-бенчмаркам

Эпоха бенчмарков может становиться менее полезной для оценки запусков ИИ-моделей, поскольку опубликованные тесты можно быстро оптимизировать, и модели вскоре достигают очень высоких результатов, после чего обсуждение бенчмарков теряет значительную часть смысла.

Практической альтернативой или дополнением может стать проверка новой модели в области, которую оценивающий досконально знает, с оценкой того, действительно ли ответы производят впечатление. Узкопрофильные проверки — например, оценка модели на теме лошадей человеком, глубоко разбирающимся в лошадях, — могут выявить недостатки, которые не отражаются в баллах бенчмарков.