Сообщения о «Neuralese» OpenAI вызвали спор о мониторинге цепочки рассуждений

The Information сообщило, что OpenAI тихо использует loop transformers, которые при масштабировании повышают эффективность, не раскрывая ход мыслей модели в обычном виде. Этот подход, названный «Neuralese», работает с сырыми векторами, а не с обычным текстом или отдельными токенами; точность публикации остается неопределенной.

Исследовательский директор OpenAI Якоб Петраки оспорил трактовку, будто компания отказывается от мониторинга цепочки рассуждений. Он заявил, что OpenAI стремится сохранять и использовать этот метод с первых reasoning-моделей, одновременно признав, что мониторинг хрупок, по причинам, не связанным с изменениями архитектуры, движется в неблагоприятном направлении, а его укрепление является одной из ключевых целей текущей исследовательской программы.

Спор касается того, может ли снижение наблюдаемости ослабить безопасность и запустить среди передовых лабораторий гонку к менее контролируемым системам. Среди опасений — потеря потенциально опасной информации при сжатии векторов до токенов; скептики же считают освещение недостаточно нюансированным и полагают, что OpenAI делает все возможное.