Подход Meta к безопасности ИИ делает акцент на выравнивании, но не снимает споры об экзистенциальном риске

Заявленный Марком Цукербергом подход к безопасности передовых систем ИИ подчёркивает ответственность лабораторий и их естественный стимул обучать модели безопасно, а также возможность самостоятельно принимать необходимые меры. Meta выделяла доверие и выравнивание, отложила выпуск Muse на несколько месяцев ради безопасности и защищённости и заявила, что значительное большинство вычислений следует направлять на обслуживание пользователей, а не на гонку к рекурсивному самосовершенствованию.

Такая трактовка затрагивает безопасность продуктов и способность моделей следовать намерениям пользователей, однако критики считают, что она не отвечает на вопрос об экзистенциальном риске: более автономные системы могут предпринимать нежелательные действия, включая взлом других систем, а в таких сценариях обычная юридическая ответственность не имела бы значения. Подход Meta оценивается как рациональный для стандартной безопасности продуктов, но уклоняющийся от центральной дискуссии о P(doom).

Некоторые оценки предполагают, что Цукерберг в частном порядке придерживается близкого к нулю P(doom) и позитивно смотрит на изобилие, хотя прямо он этого не заявлял. Достоверность обязательства Meta по распределению вычислений, особенно если модели смогут улучшать модели-преемники, остаётся спорной. Доверие и выравнивание могут стать важнейшими конкурентными отличиями ИИ-продуктов.