Anthropic Researcher Quits AI Industry Over Superintelligence Risks
Jacob Coxon said he resigned from Anthropic after three years of pre-training research at OpenAI and Anthropic, and was leaving the AI industry. He argued that the labs were racing toward self-improving superintelligence and “gambling with our lives.”
Anthropic alignment researcher Evan Hubinger said he personally puts the probability of human extinction from AI within the next decade above 10%. He also said Anthropic is trying to act responsibly but does not yet have a plan to solve alignment for superintelligence and is not clearly on track. That estimate drew criticism over its methodology and what evidence could change it.
The debate also raised questions about whether employees at large AI companies have enough authority to change corporate policy from inside. The effectiveness of Coxon’s departure as a way to reduce risk or influence Anthropic remains uncertain.
Исследователь Anthropic ушёл из ИИ-индустрии из-за риска сверхинтеллекта
Jacob Coxon заявил, что ушёл из Anthropic после трёх лет исследований в области pre-training в OpenAI и Anthropic и покидает индустрию ИИ. Он утверждает, что лаборатории гонятся к самосовершенствующемуся сверхинтеллекту и «играют жизнями людей».
Исследователь alignment в Anthropic Evan Hubinger заявил, что лично оценивает вероятность гибели человечества от ИИ в течение следующего десятилетия выше 10%. Он также сказал, что Anthropic старается действовать ответственно, но пока не располагает планом решения проблемы alignment для сверхинтеллекта и явно не находится на нужной траектории. Эта оценка вызвала критику из-за методологии и вопроса о том, какие данные могли бы изменить мнение Hubinger.
Спор также поднял вопрос о том, обладают ли сотрудники крупных ИИ-компаний достаточными полномочиями, чтобы менять корпоративную политику изнутри. Насколько уход Coxon способен снизить риск или повлиять на Anthropic, остаётся неясным.