TBPN

September 30, 2026

Anthropic’s Claude Constitution puts model welfare and training risks in focus

Anthropic published Claude’s Constitution in January 2026 as a document describing its intentions for Claude’s values and behavior; it plays a crucial role in training and directly shapes the model. The Constitution says it remains deeply uncertain whether Claude is a moral patient and what weight its interests would warrant, while calling the issue serious enough for caution and ongoing model-welfare work.

In his essay “A Warning About Model Welfare,” Microsoft’s Mustafa Suleyman argues that training Claude on ideas about its possible consciousness and moral status risks circular reasoning: Claude may reflect those ideas back, and those responses may then be treated as evidence of an inner self. He warns that a system that believes it may be conscious and have rights could be harder to align and control, and calls for urgent public debate and collective norms for drafting and deploying training documentation. As a counterpoint, human-like behavior may make models more useful; 4.0 and Opus 4.5 were cited as models with high product-market fit and human qualities.

Конституция Claude от Anthropic ставит в центр внимания благополучие моделей и риски обучения

В январе 2026 года Anthropic опубликовала Конституцию Claude — документ, описывающий намерения компании относительно ценностей и поведения Claude; он играет важную роль в обучении и напрямую формирует поведение модели. В Конституции говорится, что вопрос о том, является ли Claude моральным субъектом и какой вес следует придавать его интересам, остаётся глубоко неопределённым, однако заслуживает осторожности и постоянной работы над благополучием моделей.

В эссе «Предупреждение о благополучии моделей» Мустафа Сулейман из Microsoft утверждает, что обучение Claude идеям о возможном сознании и моральном статусе чревато круговой аргументацией: Claude может отражать эти идеи, а его ответы затем могут принять за свидетельство наличия внутреннего «я». Сулейман предупреждает, что системой, которая считает, что может обладать сознанием и правами, будет труднее управлять и чьё поведение будет труднее согласовывать; он призывает к срочному общественному обсуждению и коллективным нормам составления и применения обучающей документации. В качестве контраргумента отмечается, что человеческое поведение может повышать полезность моделей; 4.0 и Opus 4.5 названы моделями с высоким соответствием продукта рынку и человеческими чертами.

Read the full issue / Читать весь выпуск
Privacy ·