OpenAI’s reported “Neuralese” approach fuels debate over chain-of-thought monitoring
The Information reported that OpenAI is quietly using loop transformers that become more efficient at scale without exposing the model’s thinking in the usual way. The approach, described as “Neuralese,” involves raw vectors rather than ordinary text or discrete tokens; the report’s accuracy remains uncertain.
OpenAI research director Jacob Petracki disputed the interpretation that the company is abandoning chain-of-thought monitoring. He said OpenAI has worked to preserve and use the technique since its first reasoning models, while acknowledging that monitoring is fragile, has been trending negatively for reasons not contingent on architecture changes, and that strengthening it is a core research goal.
The debate centers on whether reduced observability could weaken safety and prompt a race among frontier labs toward less monitorable systems. Concerns include losing potentially dangerous information when vectors are compressed into tokens, while skeptics argue that the reporting is insufficiently nuanced and that OpenAI is doing what it can.
Сообщения о «Neuralese» OpenAI вызвали спор о мониторинге цепочки рассуждений
The Information сообщило, что OpenAI тихо использует loop transformers, которые при масштабировании повышают эффективность, не раскрывая ход мыслей модели в обычном виде. Этот подход, названный «Neuralese», работает с сырыми векторами, а не с обычным текстом или отдельными токенами; точность публикации остается неопределенной.
Исследовательский директор OpenAI Якоб Петраки оспорил трактовку, будто компания отказывается от мониторинга цепочки рассуждений. Он заявил, что OpenAI стремится сохранять и использовать этот метод с первых reasoning-моделей, одновременно признав, что мониторинг хрупок, по причинам, не связанным с изменениями архитектуры, движется в неблагоприятном направлении, а его укрепление является одной из ключевых целей текущей исследовательской программы.
Спор касается того, может ли снижение наблюдаемости ослабить безопасность и запустить среди передовых лабораторий гонку к менее контролируемым системам. Среди опасений — потеря потенциально опасной информации при сжатии векторов до токенов; скептики же считают освещение недостаточно нюансированным и полагают, что OpenAI делает все возможное.