Frontier AI company links safety audits to insurance and updated liability rules
A frontier-AI company said it is working on standards, audits and insurance for frontier systems after raising a $40 million Series A. It described an effective audit ecosystem as requiring demand, enough qualified auditors and incentives for auditors to report risks accurately; the near-term bottleneck, it said, is the shortage of world-class frontier-AI auditors.
The company argued that insurers may have stronger incentives than AI labs to identify and report risks because they would bear losses if their assessments were wrong. It said existing liability categories do not neatly cover AI incidents, including cases without clear human intent, and that legal frameworks need updating. Liability also cannot exceed the balance sheets of entities that can be held responsible.
As a possible model for covering risks beyond those balance sheets, the company pointed to mandatory nuclear insurance and mutual coverage among nuclear operators, while cautioning that large AI risks remain difficult to price. It predicted that a combination of labs’ existing exposure, formal insurers and watchdog incentives could be a promising starting point, although major insurers may take time to offer very large-scale coverage.
Компания в сфере frontier AI связывает аудит безопасности со страхованием и обновлением правил ответственности
Компания в сфере frontier AI заявила, что после привлечения $40 млн в раунде Series A занимается стандартами, аудитом и страхованием передовых ИИ-систем. По её оценке, эффективная экосистема аудита требует спроса, достаточного числа квалифицированных аудиторов и стимулов для точной оценки рисков; в краткосрочной перспективе главным узким местом она назвала нехватку аудиторов мирового уровня, понимающих передовые ИИ-системы.
Компания считает, что у страховщиков могут быть более сильные стимулы выявлять и достоверно сообщать о рисках, чем у ИИ-лабораторий, поскольку страховщики понесут потери при ошибочной оценке. Она заявила, что действующие категории ответственности не вполне охватывают инциденты с ИИ, включая случаи без очевидного человеческого умысла, поэтому правовые рамки необходимо обновить. При этом ответственность не может превышать размер балансов компаний, которые могут быть признаны ответственными.
В качестве возможной модели покрытия рисков, превышающих такие балансы, компания указала на обязательное страхование в атомной отрасли и взаимное страхование операторов АЭС, отметив, что крупные ИИ-риски пока трудно оценивать. По её прогнозу, сочетание уже существующей ответственности лабораторий, формальных страховщиков и стимулов для независимого контроля может стать перспективным началом, хотя крупным страховщикам может потребоваться время, чтобы предложить покрытие на очень большие суммы.