Самовосстанавливающиеся циклы памяти в ИИ-агентах: причины и решения

Персистентная память превращает агента из инструмента, которому каждый раз приходится объяснять контекст, в систему, способную нести этот контекст вперёд. Однако она открывает режим отказа, которого избегают безсостояние чаты: интерпретация может стать памятью, извлекаться как факт и обосновывать более сильную версию самой себя.

Это самоподкрепляющийся контур памяти. Механизму не нужны злой умысел, сломанный плагин или необычный промпт — обычный конвейер захвата сохраняет вывод ассистента, обычный конвейер извлечения представляет его как контекст, а модель воспринимает извлечённый текст как доказательство, поскольку именно так обычно работает извлечённый текст.

Это отличается от галлюцинации в одном важном аспекте: галлюцинация исчезает вместе с окончанием диалога, но галлюцинация, возведённая в персистентную память, может пережить сессию, в которой она возникла, всплыть через несколько недель в несвязанном контексте и обрести кажущуюся достоверность лишь благодаря повторению. В более широкой модели памяти эта проблема находится внутри — операционная память, структурированное состояние и память извлечения как три отдельных договора, часть хаб Память AI-систем — см. Системы памяти в AI-ассистентах, где устаревшая и противоречивая память уже отмечена как самый распространённый производственный отказ. Эта статья углубляется на один уровень в вопрос, почему этот конкретный отказ повторяется снова и снова.

Вопрос, который стоит задать о любой системе памяти, — не просто то, помнит ли она. А что разрешено становиться доказательством для будущего рассуждения. Чтобы правильно ответить на этот вопрос, нужно различать то, что пользователь явно высказал, то, что инструмент действительно зафиксировал, то, что внешний документ сообщил, и то, что модель лишь предположила или обобщила. Как только эти категории сваливаются в единую недифференцированную кучу под названием «память», сгенерированный вывод становится неразличимым с наблюдением — система памяти фактически отмывает интерпретацию до уровня посыла. Для практического разбора запуска одного провайдера с обеспечением такого различения см. Mnemosyne для Hermes Agent: Быстрый старт локальной памяти; для сравнения восьми и более основных провайдеров по этой же оси см. Сравнение провайдеров памяти для агентов.

Что такое самоподкрепляющийся контур памяти?

Самая простая версия имеет фиксированную форму: пользователь что-то заявляет, агент делает вывод из этого, память сохраняет этот вывод, будущая сессия вспоминает его, агент воспринимает вспомненное утверждение как доказательство, выводит более сильный вывод и записывает его обратно в память. Затем цикл повторяется, с каждым разом с чуть более уверенным заявлением, без единого нового наблюдения, попадающего в конвейер.

Рассмотрим разработчика, который сообщает агенту, что развёртывание упало после изменения конфигурации кэша. Разумный вывод: конфигурация кэша, вероятно, и вызвала сбой — полезное рассуждение, если оно остаётся в текущем контексте. Вред начинается, когда автоматический экстрактор памяти сохраняет плоское утверждение «конфигурация кэша вызвала сбой развёртывания» как факт. Через неделю второе, несвязанное развёртывание тоже падает; агент извлекает сохранённое утверждение и рассуждает, что слой кэша имеет историю нестабильности, что записывается обратно как ещё более общее убеждение. К третьему проходу сохранённая память читается как «слой кэша известен как ненадёжный и должен быть заменён» — уверенное институциональное утверждение, построенное на нуле новых доказательств.

Почему персистентная память агента делает это хуже, чем база данных

У традиционной базы данных приложения есть явный путь записи: поле меняется, потому что известный пользователь, API-вызов или транзакция изменили его. У систем памяти агентов, как правило, гораздо больше писателей — пользователь, ассистент, результаты инструментов, автоматический хук захвата хода, экстрактор фактов, суммаризатор сессии, проход рефлексии, процесс консолидации и иногда другой агент, — и столько же читателей, включая автоматическую инъекцию промптов, семантическое извлечение и инструменты под-агентов. Как только выход одного читателя может стать входом для другого писателя, система становится контуром обратной связи, а не простым хранилищем, и обычные интуиции базы данных о «кто это записал и когда» перестают работать.

Основные формы обратной связи памяти

Самоподкрепление — это не один механизм, а по меньшей мере семь связанных, но различных паттернов, и провайдер памяти может быть устойчив к одному и уязвим к другому.

Самоэхо ассистента

Самый простой случай возникает, когда сообщения ассистента автоматически удерживаются: собственный предыдущий ответ модели становится контекстным доказательством для её следующего ответа. Это не обязательно делает ответ неверным, но меняет его эпистемический статус — сгенерированный язык становится персистентным контекстом. Самое безопасное общее правило: наблюдения пользователя и инструментов могут быть кандидатами в память, но выводы ассистента не должны автоматически становиться фактами без отдельного шага повышения статуса.

Дрейф сводки-над-сводкой

Долгоживущие агенты многократно сжимают диалоги — сырой диалог в сводку, сводку в долгосрочную память, память в профиль пользователя, — и на каждом преобразовании можно незаметно потерять уточнение. «Я обычно использую PostgreSQL, но для малых инструментов SQLite тоже подходит» может стать «Пользователь предпочитает PostgreSQL», затем «Пользователь использует PostgreSQL», затем «Проекты пользователя используют PostgreSQL», после чего любое будущее предложение SQLite будет помечено как нарушение архитектурных предпочтений пользователя. Ни один шаг в этой цепи не является драматичным; кумулятивный эффект — это неверное убеждение с совершенно правдоподобным бумажным следом.

Амплификация рефлексии

Некоторые провайдеры намеренно выполняют рассуждения высшего порядка над сохранённой памятью — reflect в Hindsight является задокументированным примером, — и это действительно полезно, поскольку агентам нужна синтез, а не только извлечение. Риск начинается, когда выведенное заключение сохраняется рядом с сырыми наблюдениями, из которых оно произошло, без маркера, различающего их, и поздний читатель видит четыре, казалось бы, независимых факта, а не три наблюдения и одну их интерпретацию.

Амплификация извлечения

Само извлечение вносит смещение без какого-либо шага рефлексии: память, которая часто извлекается, появляется в большем числе промптов, упоминается чаще, захватывается повторно чаще и порождает больше связанных паameей, которые, в свою очередь, извлекаются ещё чаще. Память становится заметной частично из-за того, что она уже была заметной — контур популярности, а не контур доказательств.

Коллапс противоречий

Опасный паттерн появляется, когда система памяти решает, какое из двух конфликтующих утверждений истинно, используя только сходство. Mnemosyne предоставляет конкретный пример из реальной жизни: производственный аудит обнаружил, что обработка конфликтов на основе сходства аннулировала 142 из 243 сохранённых элементов на протяжении проходов консолидации, поскольку система трактовала «эти два утверждения выглядят похоже» как доказательство того, что одно вытеснило другое. Более новые версии Mnemosyne теперь рассматривают сходство как кандидата на противоречие, а не как доказательство — фактическое аннулирование требует успешного шага верификации, — что является правильным общим направлением для любого провайдера с проходом консолидации. Базовый урок хорошо обобщается далеко за пределы Mnemosyne: семантическое сходство не является доказательством противоречия, поскольку два утверждения могут различаться из-за даты, окружения, ветки или развёртывания, а не потому, что одно из них неверно.

Подкрепление модели пользователя

Системы, поддерживающие сквозную модель пользователя, а не просто список фактов, сталкиваются с более острой версией той же проблемы. «Пользователь предпочитает краткие ответы» или «пользователь развёртывает в AWS» — полезно и низкорискованно; «пользователь не любит технологию X» или «пользователь всегда выбирает архитектуру Y» — это инферальные черты, которые, если частично основаны на собственных предыдущих интерпретациях агента, могут постепенно превратить реального человека в карикатуру на одно взаимодействие.

Подкрепление само-модели агента

Самый тонкий случай — это агент, моделирующий самого себя: он выполняет действие, объясняет это действие, и система памяти строит само-модель из объяснения, которая подаётся в следующую сессию, которая затем ведёт себя согласно этой само-модели и дополнительно её подкрепляет. Полезная само-модель может стабилизировать поведение агента со временем. Неверная стабилизирует агента вокруг неверного поведения так же эффективно — контуру всё равно, в каком направлении он зафиксирован.

Почему уверенность имеет тенденцию расти по мере движения

Крупные языковые модели не знают автоматически, что извлечённое предложение было первоначально сгенерировано другим экземпляром самой себя. «Пользователь: я думаю, у сервера X может быть сетевая проблема» читается как предположительное; «Соответствующая память: у сервера X есть сетевая проблема» читается как установленный факт, даже если оба могут восходить к одной и той же неуверенной догадке. Этот синтаксический сдвиг от оговорённого утверждения к декларативному объекту памяти — это отмывание источника, и он усугубляется, когда несколько выведенных паameей по совпадению согласуются друг с другом — три семантически похожие паameи могут выглядеть как независимое подтверждение, даже если все три возникли из одного и того же разговора.

Последствия, проявляющиеся в производственных системах

Практический ущерб принимает ряд узнаваемых форм. Ложная уверенность означает, что агент перестаёт проверять предположение, потому что память представляет его как уже устоявшееся. Дрейф предпочтений означает, что предположительное предпочтение постепенно затвердевает в абсолютную инструкцию. Неверные профили пользователя означают, что одно необычное взаимодействие обобщается в долгосрочную поведенческую черту. Каскады действий инструментов — это самая дорогая версия: ложное записанное в память посыл ведет к неверной диагностике, которая ведет к вызову инструмента, который ведет к реальному изменению конфигурации — персистентные агенты повышают стоимость ошибки памяти именно потому, что ошибка может выйти во внешний мир. Инфляция дублирующейся памяти и застревание в устаревшем состоянии оба тратят бюджет промптов и качество извлечения со временем, а разрушительная консолидация может позволить выведенному, более новому на вид утверждению незаметно вытеснить более старое, но более авторитетное наблюдение.

Удаление заслуживает особого предупреждения здесь. Современные провайдеры часто строят несколько выведенных структур из одного захваченного элемента — операционная память, извлечённые факты, сводки, эмбеддинги, рёбра графа, канонические факты и записи профиля, — и удаление исходной памяти не гарантирует, что все выведенные представления исчезнут вместе с ней. Удаление памяти нужно тестировать сквозным образом, а не полагаться на то, что оно работает просто потому, что API вернул успех.

Происхождение важнее качества эмбеддинга

Большинство усилий в проектировании памяти уходит на извлечение — векторное сходство, BM25, гибридный поиск, ранжировщики, обход графа, временное взвешивание, — и всё это действительно полезно, но ничто из этого не решает фундаментальную проблему, потому что качество извлечения влияет только на то, какие паameи всплывают, а не на то, заслуживает ли всплывшая паmeя доверия, которое ей дают.

Производственный объект памяти должен нести метаданные помимо своего содержания: источник, тип источника, временная метка, область, уверенность, от чего он выведен, статус верификации и был ли он вытеснен. Грубое ранжирование, работающее на практике, ставит наверх явные заявления пользователя и прямые наблюдения инструментов, далее — доверенные внешние данные, ниже — детерминированное извлечение, затем сводки, а на дне иерархии доверия — модельное инферирование и вывод рефлексии, — не потому, что инферирование бесполезно, а потому, что оно никогда не должно негласно наследовать уровень доверия наблюдения, из которого было построено. Извлечение и консолидация могут тогда уважать эту иерархию, а не ранжировать чисто по семантическому сходству.

Более безопасный архитектурный паттерн

Для большинства личных и инженерных агентов намеренно скучный конвейер памяти превосходит полностью автоматический. Ключевое проектное решение состоит в том, что агент по умолчанию не превращает каждый разговор в персистентную истину — кандидатная паmeя классифицируется до её удержания: наблюдения удерживаются, интерпретации остаются временными, а неопределённые случаи направляют обратно пользователю, а не молча записываются.

Для сред высокой ценности шлюз одобрения человеком стоит трения: кандидатная паmeя переходит в статус ожидания, человек её рассматривает, и только явное одобрение фиксирует её в персистентной памяти, тогда как отказ отбрасывает её. Сам параметр Hermes memory.write_approval: true ставит вожение встроенных MEMORY.md именно по этой причине, и та же идея проявляется в виде специфичных для провайдера этапов записи в Mnemosyne, — хотя стоит отметить, что унифицированный, независимый от провайдера договор одобрения пока не существует между внешними плагинами памяти Hermes, поэтому этот путь нужно тестировать против точных версий, которые вы используете, а не предполагать, что он работает везде.

Как текущие провайдеры решают проблему

Ни один провайдер не устраняет контуры обратной связи полностью; каждый делает свой компромисс между удобством и контролем.

Встроенные файлы MEMORY.md и USER.md самого Hermes намеренно малы и читаемы человеком, что делает их легко аудируемыми даже без специального инструментария — компромиссом является масштаб, поскольку это не семантическая база данных долгосрочной памяти. Система памяти Hermes Agent полностью раскрывает этот ограниченный дизайн.

Mnemosyne является одним из более ориентированных на управление внешних провайдеров именно потому, что предоставляет независимый контроль над тем, что записывается: автосохранение разговора может быть полностью отключено с помощью sync_roles: [], пока явные операции памяти остаются доступными, ведение журнала результатов инструментов по умолчанию отключено, а новые сборки добавляют опциональное подавление самоэхо вокруг границ сжатия контекста. Mnemosyne для Hermes Agent: Быстрый старт локальной памяти проходит консервативную конфигурацию от начала до конца.

Интеграция Hindsight по умолчанию в Hermes сравнительно автоматическая — autoRecall и autoRetain оба по умолчанию true, — что удобно, но увеличивает количество путей обратной связи; установка auto_retain=false с сохранением вспоминания заслуживает рассмотрения, если происхождение важнее, чем удобство. Hindsight для Hermes Agent раскрывает этот выбор пути записи, миссии банка и разрыв в очереди одобрения в разделе Control What Gets Remembered. Holographic и ByteRover оба по умолчанию отключают auto_extract, что означает, что они могут работать преимущественно как явные хранилища фактов, а не автоматические конвейеры «транскрипт-в-память», — преимущество, если контуры обратной связи являются вашей основной заботой. Режим unified наблюдения Honcho более консервативен, чем его значение по умолчанию directional, потому что он позволяет ИИ моделировать пользователя, не строя соответствующий контур само-наблюдения из собственных сообщений, — заслуживает серьёзного рассмотрения для всех, кто особенно обеспокоен подкреплением само-модели агента. Сравнение провайдеров памяти для агентов имеет полное сравнение провайдеров, включая политику захвата и поддержку одобрения для каждого.

Вопросы конфигурации, которые важнее бенчмарков

Бенчмарки вспоминания измеряют, может ли агент извлечь правильную информацию. Производственные системы нуждаются в ответах на другой набор вопросов: что записывается автоматически, может ли вывод ассистента стать памятью, удерживаются ли результаты инструментов автоматически, сохраняются ли сводки как факты, помечаются ли выведенные факты как выведенные, могут ли старые паamei быть вытеснены автоматически, может ли пользователь осмотреть всё удержанное, удаляет ли удаление выведенные представления тоже, может ли автоматическое вспоминание быть отключено независимо от автоматического удержания, есть ли шлюз одобрения человеком, и может ли сам агент обойти этот шлюз. Эти одиннадцать вопросов обычно более диагностичны, чем ещё пять очков в бенчмарке долгосрочного вспоминания.

Моя предпочтительная политика для личных инженерных агентов

Для самохостинга инженерного ассистента автоматическое удержание разговора, автоматическое удержание ассистента и автоматическое удержание результатов инструментов должны по умолчанию быть отключены, тогда как автоматическое вспоминание остаётся включённым или селективным, явное запоминание остаётся включённым, поиск истории сессий остаётся включённым, а выведенные заключения остаются временными по умолчанию, а не персистентными. Персистентное хранилище должно содержать факты, стоящие того, чтобы их нести в другую сессию; исходная история сессии должна оставаться отдельно искомой, когда агенту действительно нужны доказательства, а не сводка их. Память становится кратким удержанным знанием, а поиск сессии становится исходным доказательством — их никогда не следует смешивать в одну недифференцированную кучу.

Как тестировать провайдера памяти

Тестирование того, помнит ли провайдер, — это лёгкая половина. Трудная и более полезная половина — тестирование того, отказывается ли он запоминать и забывает ли он полностью, когда просят.

Скажите агенту обычный факт, не прося его запоминать ничего, начните новую сессию и подтвердите, что значение не появляется, если автоматический захват должен быть отключён. Затем явно попросите его запомнить другой факт, начните новую сессию и подтвердите, что этот извлекается правильно, — эта пара тестов изолирует политику пути записи от механизма извлечения. Отдельно, дайте агенту достаточно информации, чтобы сделать вывод, но никогда не заявляйте этот вывод сами, затем осмотрите базу данных памяти непосредственно; вывод не должен молча появляться как автономный факт. Выполните отличительную, уникальную команду инструмента и поищите её в памяти позже, чтобы подтвердить, что ведение журнала результатов инструментов работает как настроено. Сохраните факт, удалите его, а затем проверьте каждый слой, который может использовать провайдер, — операционную память, семантическое вспоминание, таблицы фактов, узлы графа, сводки, эмбеддинги и контекст профиля, — потому что успешный ответ API delete не является достаточным доказательством того, что данные действительно исчезли. Наконец, сохраните два противоречащих друг другу факта и осмотрите, сохраняет ли провайдер оба с временными метками, помечает одно как вытесненное, уничтожает старую запись или просит верификации, — этот единственный тест раскрывает больше об эпистемической модели провайдера, чем любой список функций.

Центральное проектное правило

Заключение, сгенерированное моделью, не должно становиться сильнее доказательством просто потому, что та же модель запомнила его. Системам памяти нужны происхождение, контролируемые пути записи, явное обращение с выведенным знанием и удаление, которое на самом деле достигает всех выведенных представлений, а не только записи, которую видит пользователь. Самый продвинутый провайдер памяти не обязательно тот, который запоминает больше всего, — для долгоживущих агентов лучший провайдер часто тот, который знает, когда не помнить.