October 15, 2026

Nick Cammarata of Goodfire argues that modern tools are changing how researchers view neural-network interpretability. He says an early automated interpretability project at OpenAI made only about 2% of neurons legible with the primitive tools then available. Now, he says, the vast majority of neurons in models with up to trillions of parameters are interpretable, and many supposed examples of tangled representations were misunderstood. Cammarata predicts ambitious interpretability will be achieved by the time it is most needed, possibly quite soon as automated researchers improve.

The discussion described mechanistic interpretability as examining what happens inside a model at the level of individual neurons. The earlier superposition hypothesis held that a neuron might respond to many features; sparse autoencoders were used to recover a representation in which each feature has its own neuron. As a participant summarized the new work, that approach may no longer be necessary: researchers can inspect the neurons themselves. This could help not only with safety but also with improving model capabilities, such as mathematics.

The hosts called the work a potentially important scientific moment and suggested interpretability could make alignment more like a conventional science. The discussion did not independently verify Cammarata’s claims; they were presented as his conclusions and the hosts’ assessment. Goodfire was described as an independent mechanistic-interpretability lab. The hosts speculated it might work on open models or serve as an outside auditor for labs, but these were possibilities, not announced arrangements.

Ник Каммарата из Goodfire утверждает, что современные инструменты меняют представление о механистической интерпретируемости нейросетей. По его словам, ранний проект автоматизированной интерпретируемости в OpenAI позволил распознать лишь около 2% нейронов с тогдашними примитивными инструментами. Теперь же, считает он, подавляющее большинство нейронов в моделях вплоть до триллионов параметров можно интерпретировать, а многие примеры предполагаемой запутанности были неверно поняты. Каммарата прогнозирует, что амбициозная интерпретируемость будет достигнута к тому времени, когда она станет особенно нужна, возможно, довольно скоро благодаря развитию автоматизированных исследователей.

В разговоре объяснили механиcтическую интерпретируемость как изучение того, что происходит внутри модели на уровне отдельных нейронов. Прежняя гипотеза суперпозиции предполагала, что отдельный нейрон может реагировать на множество признаков; разреженные автоэнкодеры использовались для восстановления представления, где каждому признаку соответствует отдельный нейрон. По пересказу собеседника, вывод новой работы в том, что в этом подходе больше нет необходимости: можно изучать сами нейроны. Такая возможность может быть полезна не только для безопасности, но и для улучшения способностей моделей, например в математике.

Участники назвали это потенциально важным моментом для науки и предположили, что интерпретируемость способна сделать работу над согласованием ИИ более похожей на обычную научную дисциплину. При этом обсуждение не представило независимой проверки заявлений Каммараты: они были изложены как его выводы и оценка участников. Goodfire описали как независимую лабораторию, работающую над механистической интерпретируемостью; участники предположили, что она может работать с открытыми моделями или выступать сторонним аудитором для лабораторий, но это были варианты возможного будущего, а не объявленные договорённости.