Expert testing proposed as a complement to AI benchmarks
The benchmark era may be becoming less useful for evaluating AI model launches because published tests can be optimized quickly, reaching very high scores before benchmark discussions lose much of their meaning.
A practical alternative or complement is to test a new model on a domain the evaluator understands intimately and assess whether its responses are genuinely impressive. Domain-specific checks—such as evaluating a model on horses for someone with deep knowledge of horses—could expose weaknesses that benchmark scores miss.
Экспертное тестирование предложено как дополнение к ИИ-бенчмаркам
Эпоха бенчмарков может становиться менее полезной для оценки запусков ИИ-моделей, поскольку опубликованные тесты можно быстро оптимизировать, и модели вскоре достигают очень высоких результатов, после чего обсуждение бенчмарков теряет значительную часть смысла.
Практической альтернативой или дополнением может стать проверка новой модели в области, которую оценивающий досконально знает, с оценкой того, действительно ли ответы производят впечатление. Узкопрофильные проверки — например, оценка модели на теме лошадей человеком, глубоко разбирающимся в лошадях, — могут выявить недостатки, которые не отражаются в баллах бенчмарков.