Почему агент не находит то, что помнит

1. Что мы проверяем и зачем

ИИ-помощник может помнить факт, но не найти его по новой формулировке. Другой вариант: поиск возвращает знакомую по словам запись, в которой нет ответа. Если измерять только убедительность итогового текста, обе ошибки можно пропустить. Поэтому в этой работе поиск проверяется отдельно от языковой модели.

RAG означает, что перед подготовкой ответа система получает сведения из внешнего хранилища. В классической работе Lewis и соавторов поиск соединён с генерацией [1]. Здесь рассматривается только один возможный источник контекста - заметки CapyAgent. Исследовательские вопросы: помогает ли реализованная обработка форм слов; что происходит при перефразировке; как этот механизм ведёт себя на внешнем корпусе по сравнению с простым базовым поиском?

Единица измерения - запрос и упорядоченный список идентификаторов найденных записей. Мы не просим модель отвечать по найденному тексту и не называем попадание документа выполнением пользовательской задачи.

2. Что важно в современных исследованиях RAG

Из первичных работ выделены разные уровни проверки. BEIR сравнивает поиск на разнородных данных [2]. LongMemEval разделяет организацию памяти, поиск и использование найденного [3]. Это разные объекты оценки: хорошая выдача ещё не подтверждает правильный ответ.

Свежие работы не дают основания выбирать метод только по его названию. SAGE изучает связь поисковых запросов агента с поисковым механизмом [4]. RAFT рассматривает поиск по меняющемуся состоянию технического обращения [5]. В работе LARA отдельно рассматриваются качество выдачи и последующий результат [6]. Для CapyAgent это мотивирует раздельные измерения, а не перенос чужих чисел.

Self-RAG изучает обучаемое управление поиском и проверкой ответа [7]. Его воспроизведение требует иной модели и протокола. В этой статье Self-RAG, плотные векторные индексы, графовый поиск и обучение переформулировке не запускались. Обзор источников целевой, а не систематический обзор всей литературы.

3. Какой CapyAgent исследован

Проверки относятся к ревизии 77ac9b72409fc2b6afc5741fd2469c662758a1b4, взятой из доступной ветки разработки [8]. На дату проверки GitHub отдельно показывал стабильный выпуск 1.3.20 и предварительный Linux-выпуск 1.3.21. Снимок разработки, тег выпуска и установленная у пользователя программа - разные вещи; результаты не приписываются всем версиям.

В коде различаются история диалогов, заметки и профиль. Мы вызываем именно FileStore.Recall для заметок. У поиска по истории другие пути; внешние инструменты поиска и дополнительные навыки также не входят в это испытание. Реализованный Recall сопоставляет слова, их основы и префиксы, учитывает длину, метки и свойства записи. Это не векторный поиск по смыслу. Вызван полный Recall, включая его встроенные правила разбора времени; вклад отдельных правил не изолировался.

Использована отдельная копия зафиксированного кода. Продуктовый код не исправлялся; добавлены только файлы экспериментальных тестов. Полный репозиторий закрыт: публичный манифест фиксирует версии и хеши, но независимый запуск CapyAgent требует разрешённого доступа к этому снимку.

4. Данные, базовые методы и метрики

Авторский диагностический набор содержит 160 коротких записей о вымышленных проектах. Для 80 фактов созданы точный запрос, запрос с другой формой слова и перефразировка: по 80 запросов каждой группы. Ещё 20 запросов задают вопросы, ответа на которые нет. В корпусе есть записи, упоминающие тему, но не содержащие нужный факт. Данные подготовлены с применением ИИ по фиксированным шаблонам; это не реальные обращения и не экспертная выборка поведения пользователей.

Второй набор - публичный SciFact в представлении BEIR [9]. Использованы все 5 183 документа и 50 из 300 тестовых запросов. Идентификаторы выбраны до просмотра исходов: первые 50 после сортировки по SHA-256 строки research-v1: с идентификатором. Каждый документ представлен заголовком и аннотацией без разбиения. Отбор, контрольная сумма архива и список запросов опубликованы.

Базовые методы: точное наличие всех Unicode-слов запроса и BM25 с k1=1.2, b=0.75, приведением к нижнему регистру, без стемминга и стоп-слов. Равные оценки разрешаются порядком документов. BM25 возвращает только положительные оценки. Все методы ограничены пятью результатами. Время записей уравнено, метки пусты; заметки загружены через документированный JSONL-формат, поэтому качество извлечения фактов методом Remember здесь не проверяется.

Recall@k - доля размеченных нужных документов, найденных в первых k результатах, затем среднее по запросам. MRR@5 - среднее обратное место первого размеченного нужного документа, с нулём при промахе. На вопросах без ответа отдельно считается непустая выдача; её нельзя автоматически называть галлюцинацией модели. Зависимые варианты одного факта не трактуются как независимая случайная выборка.

5. Новые измеренные результаты

Для точных запросов Recall нашёл нужную запись первой в 79 из 80 случаев и в первых пяти во всех 80. Для заданных изменений формы слова получен такой же счёт. Точный поиск всех слов не справился с изменениями форм; это ожидаемая граница выбранного контроля, а не сравнение со всеми возможными лексическими системами.

Единственный промах на первом месте заслуживает отдельного разбора: по запросу «доступ Клён» первой оказалась запись о проекте «Ива», хотя запись о «Клёне» была в первых пяти. Оба названия вымышлены и принадлежат авторскому набору. Этот случай показывает, почему высокая полнота в пяти результатах не заменяет проверку первого результата и того, к какому объекту относится найденный факт. Причина ранжирования не проверялась отдельной абляцией.

Для подготовленных перефразировок Recall не нашёл ни одной целевой записи. BM25 дал Recall@5 75%, но это не доказательство понимания смысла: метод может получить нужный документ за счёт общих слов и имени проекта. На 20 вопросах без ответа Recall и точный поиск вернули пустую выдачу, BM25 - непустую во всех 20. Без порога релевантности широкий поиск повышает полноту и одновременно возвращает лишние кандидаты.

Большой разрыв на SciFact согласуется с различием механизмов: требование совпадения слов ограничивает выдачу, когда научное утверждение и аннотация сформулированы по-разному. Это интерпретация, поддержанная кодом и устройством опыта, а не доказанная единственная причина разницы. Английские научные аннотации отличаются от коротких русских личных заметок. Выборка из 50 запросов не является полным официальным результатом BEIR.

6. Как повторить и проверить подсчёт

Опубликованы авторские данные, Go-тест вызова Recall, базовые методы, выдача по каждому запросу и сводка. Для SciFact доступны список выбранных запросов, выдачи и код подготовки данных; исходные аннотации здесь не переиздаются.

Проверки выполнялись на KotikTurbo с Fedora 44, Go 1.26.10 и Python 3.14.8. Внутри изолированной копии: go test -p 1 ./internal/memory -run '^TestResearchMemoryRetrievalV1$' -count=1 -json. Пути к данным и результату задаются через RESEARCH_FIXTURES и RESEARCH_RESULTS. Затем запускаются baselines.py и analyze_public.py. Полные настройки и границы повторения приведены в приложении [10].

Сохранены текущий тихий профиль ноутбука, один поток и ограничение собственного процесса четвертью ядра. Платные API, GPU и пользовательские данные не использовались. Поэтому длительность этого прогона не публикуется как скорость продукта. Счёт попаданий дополнительно пересчитан отдельной процедурой по сырым спискам.

7. Ограничения, непройденные проверки и вывод

Набор с вымышленными проектами мал и шаблонен. SciFact относится к другой предметной области и языку; его разметка релевантности не обязательно исчерпывает все подходящие документы. Не измерялись генерация ответа, корректность цитирования моделью, обновление знаний, поиск по истории, доступ через все интерфейсы и достижение внешней цели.

Новый сквозной RAG-прогон с языковой моделью не проводился: оплачиваемый API-бюджет не разрешён, а локальная модель не настроена и не принята для этой изолированной серии. Запуск GPU и изменение ночного профиля не выполнялись. Эти части остаются отдельной необходимой проверкой, а не завершённым результатом. Плотный поиск, гибрид BM25 с векторами и повторное ранжирование остаются гипотезами улучшения.

Практический вывод узкий: существующий Recall полезен в проверенных лексически близких случаях, но его нельзя без отдельного опыта считать универсальным поиском по документам или смыслу. Для следующего сравнения нужно сохранить те же данные, отдельно проверить полноту и ложную выдачу, а затем проверить ответ модели по найденным источникам. Лицензия снимка CapyAgent - BSL 1.1 с дополнительным разрешением; MIT-атрибуция адаптированных компонентов Hermes сохранена в приложении.