Тест SemiAnalysis по материаловедению: модель Astra превзошла опубликованный эталон в одной подзадаче, но набрала 28%

Участники интервью рассказали о проведённой ими оценке моделей в области материаловедения. По словам одного из них, модель Astra решила одну подзадачу лучше опубликованного эталона, считавшегося передовым. Он назвал результаты моделей «неравномерными» по отдельным направлениям и сказал, что в некоторых случаях они достигают уровня выше сверхчеловеческих базовых показателей. При этом лучшая модель Astra для материаловедения набрала на их бенчмарке лишь около 28%.

Собеседник пояснил, что трудно подобрать человеческий базовый уровень для такого теста: задачи могут требовать работы множества исследователей или инженеров по аппаратному обеспечению, а оценить в часах или днях затраты команды сложно. Он отдельно подчеркнул, что в задаче проектирования чипа речь идёт не об одном специалисте, а о совместной работе многих людей. Участники также высказали мнение, что заказчикам нужны не модели, сопоставимые с обычными людьми, а сверхчеловеческие возможности в отдельных областях. Данных о методике, составе теста или независимой проверке результатов в беседе не приводилось.