Secure Acceleration report details risks to AI infrastructure
A stealth AI security lab released the report *Secure Acceleration* at secureacceleration.com. It distinguishes model-behavior security, including prompt injection and alignment, from AI-infrastructure security. The report’s authors say infrastructure expansion is moving faster than security, while important models—described as approaching AGI or ASI—are being deployed on systems with limited security.
The risks outlined include model sabotage that degrades performance, sleeper agents, backdoors, data poisoning, models escaping controlled environments, and theft of model weights. A sophisticated intelligence service stealing weights is presented as a hypothetical scenario; the weights, the report’s speaker said, embody billions of dollars of investment in a few terabytes. The report also discusses cyber swarms and multi-agent systems, and says data centers were not designed to contain superintelligence.
В докладе Secure Acceleration описаны угрозы для AI-инфраструктуры
Лаборатория безопасности ИИ в скрытом режиме опубликовала доклад *Secure Acceleration* на сайте secureacceleration.com. В нём безопасность поведения моделей, включая prompt injection и alignment, отделяется от безопасности AI-инфраструктуры. Авторы доклада считают, что инфраструктура расширяется быстрее, чем успевают развиваться меры безопасности, а важные модели, которые, по их словам, приближаются к AGI или ASI, развёртываются на системах с ограниченной защитой.
Среди описанных рисков — саботаж моделей с ухудшением их работы, sleeper agents, бэкдоры, отравление данных, выход моделей из контролируемой среды и кража весов. Кража весов сложной разведывательной службой представлена как гипотетический сценарий; по словам автора доклада, в нескольких терабайтах весов сосредоточены инвестиции на миллиарды долларов. В докладе также рассматриваются киберрои и многоагентные системы; в нём говорится, что дата-центры не проектировались для сдерживания сверхинтеллекта.