Заявления о результатах Astra в бенчмарках и CAPTCHA ставят под вопрос визуальные тесты

В одном посте приводилось утверждение, что Astra набрала 99% в Arc AGI-3. Другой пост сообщал, что система прошла все 48 уровней игры «I’m Not a Robot», хотя оставалось неясным, не было ли демонстрационное видео ускорено.

Эти примеры вызвали рассуждения о том, что развитие агентов может создать новый уровень сложности для CAPTCHA-защиты. Результаты также сравнивали с заметной эффективностью Pangram и ставили под вопрос, смогут ли некоторые существующие системы проверки человека оставаться надежными.

Задачи в стиле «Где Уолдо?» назвали возможным бенчмарком, однако статус «WaldoBench» оставался неопределенным. Утверждалось, что генераторы изображений испытывают трудности с масштабом и перспективой в таких сценах, а детерминированный код может помочь; в другой демонстрации контактную форму превратили в битву с боссом.