Исследователь Anthropic ушёл из ИИ-индустрии из-за риска сверхинтеллекта

Jacob Coxon заявил, что ушёл из Anthropic после трёх лет исследований в области pre-training в OpenAI и Anthropic и покидает индустрию ИИ. Он утверждает, что лаборатории гонятся к самосовершенствующемуся сверхинтеллекту и «играют жизнями людей».

Исследователь alignment в Anthropic Evan Hubinger заявил, что лично оценивает вероятность гибели человечества от ИИ в течение следующего десятилетия выше 10%. Он также сказал, что Anthropic старается действовать ответственно, но пока не располагает планом решения проблемы alignment для сверхинтеллекта и явно не находится на нужной траектории. Эта оценка вызвала критику из-за методологии и вопроса о том, какие данные могли бы изменить мнение Hubinger.

Спор также поднял вопрос о том, обладают ли сотрудники крупных ИИ-компаний достаточными полномочиями, чтобы менять корпоративную политику изнутри. Насколько уход Coxon способен снизить риск или повлиять на Anthropic, остаётся неясным.