Ник Каммарата: нейросети могут быть понятнее, чем считалось

Ник Каммарата из Goodfire утверждает, что современные инструменты меняют представление о механистической интерпретируемости нейросетей. По его словам, ранний проект автоматизированной интерпретируемости в OpenAI позволил распознать лишь около 2% нейронов с тогдашними примитивными инструментами. Теперь же, считает он, подавляющее большинство нейронов в моделях вплоть до триллионов параметров можно интерпретировать, а многие примеры предполагаемой запутанности были неверно поняты. Каммарата прогнозирует, что амбициозная интерпретируемость будет достигнута к тому времени, когда она станет особенно нужна, возможно, довольно скоро благодаря развитию автоматизированных исследователей.

В разговоре объяснили механиcтическую интерпретируемость как изучение того, что происходит внутри модели на уровне отдельных нейронов. Прежняя гипотеза суперпозиции предполагала, что отдельный нейрон может реагировать на множество признаков; разреженные автоэнкодеры использовались для восстановления представления, где каждому признаку соответствует отдельный нейрон. По пересказу собеседника, вывод новой работы в том, что в этом подходе больше нет необходимости: можно изучать сами нейроны. Такая возможность может быть полезна не только для безопасности, но и для улучшения способностей моделей, например в математике.

Участники назвали это потенциально важным моментом для науки и предположили, что интерпретируемость способна сделать работу над согласованием ИИ более похожей на обычную научную дисциплину. При этом обсуждение не представило независимой проверки заявлений Каммараты: они были изложены как его выводы и оценка участников. Goodfire описали как независимую лабораторию, работающую над механистической интерпретируемостью; участники предположили, что она может работать с открытыми моделями или выступать сторонним аудитором для лабораторий, но это были варианты возможного будущего, а не объявленные договорённости.