Формулировка ChatGPT о «памяти» литературы может отражать защиту авторских прав, но причина неясна

Когда модель попросили объяснить сложный фрагмент книги, она, по имеющемуся описанию, ответила, что вспоминает книгу по памяти и может помнить ее неточно. Такая формулировка создала впечатление самореферентной системы с собственным пониманием и была воспринята как необычная и тревожащая.

Одно из возможных объяснений — обучение с подкреплением, направленное на то, чтобы модели не воспроизводили целые книги, защищенные авторским правом: модель могла быть обучена обсуждать литературу как человек, который прочитал книгу, но не помнит всех деталей. Это остается гипотезой: проверить исходный ответ не удалось, поскольку он был дан в режиме инкогнито и исчез из истории чатов.

Также возник вопрос о терминологии для систем с агентными роями: в будущем такие системы могут говорить о себе «мы», а не «я».