Игровые тесты GPT-6 Astra выявляют ограничения задержки ответа

Поведение GPT-6 Astra в Minecraft описывалось так: после того как крипер уничтожил ее сундук, модель несколько часов выращивала картофель; трактовка этого поведения как «депрессии» остается интерпретацией, а не установленным внутренним состоянием. В одиночной игре Minecraft можно поставить на паузу, что может несколько упростить такой тест.

По имеющимся данным, модель справлялась с играми, где между действиями можно долго ждать, включая Slay the Spire и Balatro; результат в Balatro назвали впечатляющим. Игры с высокой пропускной способностью и большим числом действий в минуту считаются более сложным испытанием, поскольку важна скорость ответа.

В качестве возможного будущего бенчмарка предложена победа Astra в Dota 2 без обучения на данных Dota 2. Еще одним потенциальным тестом назвали соревновательное время круга на Laguna Seca — это не сообщенный результат.