[에이전트] 학계 1순위 중요도 점수를 버린 이유, LLM 1~10점은 변별력이 없다

부제: 학술적으로 가장 강력히 추천되던 "중요도 점수"를 왜 기억 시스템에서 뺐나

에이전트가 장기기억을 쌓을 때, 어떤 기억을 더 중요하게 다룰지 정해야 한다.
무엇을 항상 꺼내 보고, 무엇을 먼저 잊을지의 기준이다.

1순위 추천을 받았지만

기억 시스템을 설계하며 학술 조사를 크게 한 번 했다.
신경과학·인지심리학·AI 에이전트 시스템·철학을 훑어 "기억의 유의미함"을 여러 축으로 정리했다.

그중 학술 근거가 가장 강하고 구현 비용도 낮은 1순위가 "importance score"였다.
Stanford Generative Agents가 직접 인용되는 정석 방법이다.
LLM이 각 기억에 1~10점을 매기고, 그 점수로 주입·검색 우선순위를 정한다.

정석이니 넣으면 될 것 같았다.

그런데 변별력이 없다

문제는 실제로 LLM에게 점수를 매기게 해보면 드러난다.
점수가 죄다 중간에서 상단(7~9)에 몰린다.

"이 기억 중요해?"라고 물으면 웬만하면 다 "어느 정도 중요하다"고 답한다.
사용자가 남긴 정보인데 안 중요하다고 하기가 애매하니까.
결과적으로 점수가 기억들을 갈라주지 못한다.

순위를 매기려고 도입한 신호가 순위를 못 매기면 쓸모가 없다.
그래서 우리는 importance를 아예 뺐다. 컬럼을 마이그레이션으로 지웠다.
학계 1순위 추천을, 변별력이 없다는 이유로 거부한 것이다.

점수 대신 구조로

대신 "몇 점?"이라는 애매한 질문을 구조로 바꿨다.

• 카테고리 유형별 가중치: 사실(fact)·선호(preference)·상태(state)·계획(plan) 유형마다 기본 우선순위를 다르게. 사실은 오래 남기고, 일시적 상태는 짧게. 이 유형별 가중치(type prior)는 A-MAC 논문에서 가져왔다. A-MAC은 기억의 가치를 다섯 요인(미래 효용·사실 신뢰도·의미적 새로움·최근성·콘텐츠 타입 prior)으로 나누는데, 재미있게도 자체 실험에서 타입 prior가 다섯 중 가장 영향력이 컸다. 인스턴스마다 점수를 매기는 대신 유형으로 가는 게 근거 없는 선택이 아니었던 셈이다.
• 정체성 플래그: "이 사람이 누구인가"에 해당하는 기억은 점수와 무관하게 항상 주입 + 삭제 보호.
• 최근성·검색 관련도: 실제로 언제 쓰였고 지금 대화와 얼마나 맞는지.

즉 "이 기억 몇 점이야?"라는 흐릿한 질문 대신, "이건 어떤 종류의 기억인가", "정체성인가"라는 분류와 구조적 판단으로 바꿨다.
LLM이 잘하는 건 애매한 점수 매기기가 아니라 분류다. 잘하는 걸 시켰다.

정리

• 학계 정석은 LLM이 기억마다 importance를 1~10점 매겨 우선순위로 쓰는 것(Stanford). 우리 조사도 학술 ROI 1순위로 꼽음
• 그러나 LLM 점수는 중간값에 몰려 변별력이 없음 → 순위 신호로 무용. importance 컬럼 제거
• 대신 카테고리 유형별 가중치(A-MAC type prior) + 정체성 플래그 + 최근성/관련도라는 결정적 구조로 대체
• A-MAC 자체 실험에서도 타입 prior가 다섯 요인 중 가장 영향력이 큼 — 유형으로 가는 선택의 근거
• LLM에게 애매한 점수를 시키기보다, 잘하는 분류를 시키고 나머지는 구조로 처리

참고: A-MAC — Adaptive Memory Admission Control for LLM Agents (arXiv:2603.04549)

학술적으로 가장 강력히 추천되는 방법이라도, 실제 데이터에서 변별력이 없으면 버린다.
특히 LLM에게 1~10 점수를 매기게 하는 신호는 의심해야 한다 — 대개 중간에 몰린다.
점수가 흐릿하면, 분류와 구조로 바꾼다.