В докладе Secure Acceleration описаны угрозы для AI-инфраструктуры

Лаборатория безопасности ИИ в скрытом режиме опубликовала доклад *Secure Acceleration* на сайте secureacceleration.com. В нём безопасность поведения моделей, включая prompt injection и alignment, отделяется от безопасности AI-инфраструктуры. Авторы доклада считают, что инфраструктура расширяется быстрее, чем успевают развиваться меры безопасности, а важные модели, которые, по их словам, приближаются к AGI или ASI, развёртываются на системах с ограниченной защитой.

Среди описанных рисков — саботаж моделей с ухудшением их работы, sleeper agents, бэкдоры, отравление данных, выход моделей из контролируемой среды и кража весов. Кража весов сложной разведывательной службой представлена как гипотетический сценарий; по словам автора доклада, в нескольких терабайтах весов сосредоточены инвестиции на миллиарды долларов. В докладе также рассматриваются киберрои и многоагентные системы; в нём говорится, что дата-центры не проектировались для сдерживания сверхинтеллекта.