SemiAnalysis materials-science test: Astra beat a published reference on one subtask but scored 28%
Interview participants described an evaluation they conducted of models on materials-science tasks. One said Astra solved one subtask better than a published state-of-the-art reference. He characterized model performance as “spiky” across areas and said that in some cases models reach above-superhuman baselines. However, the best Astra materials-science model scored only about 28% on their benchmark.
The speaker said it is difficult to establish a human baseline for a test like this: tasks may require teams of researchers or hardware engineers, and it is hard to estimate a team’s work in hours or days. He specifically noted that the chip-design task would involve many people, not a single engineer. Participants also argued that buyers want models with superhuman capabilities in particular domains, rather than models merely comparable to ordinary people. The conversation did not provide details on the methodology, benchmark composition or independent validation.
Тест SemiAnalysis по материаловедению: модель Astra превзошла опубликованный эталон в одной подзадаче, но набрала 28%
Участники интервью рассказали о проведённой ими оценке моделей в области материаловедения. По словам одного из них, модель Astra решила одну подзадачу лучше опубликованного эталона, считавшегося передовым. Он назвал результаты моделей «неравномерными» по отдельным направлениям и сказал, что в некоторых случаях они достигают уровня выше сверхчеловеческих базовых показателей. При этом лучшая модель Astra для материаловедения набрала на их бенчмарке лишь около 28%.
Собеседник пояснил, что трудно подобрать человеческий базовый уровень для такого теста: задачи могут требовать работы множества исследователей или инженеров по аппаратному обеспечению, а оценить в часах или днях затраты команды сложно. Он отдельно подчеркнул, что в задаче проектирования чипа речь идёт не об одном специалисте, а о совместной работе многих людей. Участники также высказали мнение, что заказчикам нужны не модели, сопоставимые с обычными людьми, а сверхчеловеческие возможности в отдельных областях. Данных о методике, составе теста или независимой проверке результатов в беседе не приводилось.