ChatGPT’s Literary “Memory” Wording May Reflect Copyright Safeguards, but Cause Is Unclear
When asked to explain a difficult passage from a book, a model reportedly said it was recalling the book from memory and might not remember it accurately. The wording made the model sound like a self-aware entity with its own understanding, an effect described as unusual and unsettling.
One possible explanation is reinforcement learning aimed at preventing models from reproducing entire copyrighted books: the model may be trained to discuss literature like someone who has read it but does not remember every detail. This remains a hypothesis, and the original response could not be checked because it was made in incognito mode and disappeared from chat history.
The exchange also raised a terminology question for systems using agent swarms: instead of referring to themselves as “I,” such systems might eventually use “we.”
Формулировка ChatGPT о «памяти» литературы может отражать защиту авторских прав, но причина неясна
Когда модель попросили объяснить сложный фрагмент книги, она, по имеющемуся описанию, ответила, что вспоминает книгу по памяти и может помнить ее неточно. Такая формулировка создала впечатление самореферентной системы с собственным пониманием и была воспринята как необычная и тревожащая.
Одно из возможных объяснений — обучение с подкреплением, направленное на то, чтобы модели не воспроизводили целые книги, защищенные авторским правом: модель могла быть обучена обсуждать литературу как человек, который прочитал книгу, но не помнит всех деталей. Это остается гипотезой: проверить исходный ответ не удалось, поскольку он был дан в режиме инкогнито и исчез из истории чатов.
Также возник вопрос о терминологии для систем с агентными роями: в будущем такие системы могут говорить о себе «мы», а не «я».