[LLM] 대화 요약 대신 정보 추출 화자 귀속 편향 방지

부제: 요약이 AI의 일시적 입장을 확정 사실로 박제하던 문제를 추출로 바꾼 이야기

대화가 길어지면 요약해서 다음 대화에 넣는다.
매번 전체 기록을 다 넣을 순 없으니, 압축해 두는 것이다.
그런데 LLM에게 대화를 요약시키니 이상한 일이 났다.

요약이 AI의 말을 사실로 박제했다

첫 번째 문제는 요약이 누구 말인지 안 가린다는 거였다.
AI가 한 말과 사용자가 한 말을 뭉뚱그려 요약하면서, AI의 일시적 입장을 사용자 사실처럼 굳혔다.

구체적인 사례가 있었다.
AI가 "러닝을 중단하고 진료부터 받으세요"라고 조언한 적이 있는데,
요약이 이걸 "이 사용자는 러닝 중단·진료 우선"이라는 확정 사실로 박제했다.
사용자가 그렇게 정한 게 아니라, AI가 그 순간 건넨 조언이었을 뿐인데.

그 요약이 매 턴 다시 주입되니, AI가 자기가 했던 임시 조언을 계속 강화했다.
부상을 반영한 훈련 플랜을 만들어 달라고 해도 "중단해야 한다"는 방향으로만 쏠렸다.

범인은 원문이 아니라 요약이었다

격리 실험으로 확인했다.
거부하는 서사가 든 요약을 주면 부상 반영 플랜 생성이 0/6,
사실만 담은 중립 요약은 3/6, 요약을 아예 안 주면 7/8이었다.
원문 대화가 아니라 "요약 내용"이 응답을 망치고 있었다.

논문을 찾아보니 이건 우연이 아니었다.
대화 요약에서 가장 안 풀린 문제가 화자 귀속·중요도·사실성이라고 한다.
그리고 에이전트(AI)의 입장은 기껏해야 그때의 일화일 뿐,
사용자에 대한 사실로 올려서는 안 되는 것이었다.
압축은 권위를 만든다 — 뭉뚱그려 요약되면 그게 확정된 사실인 양 힘을 얻는다.

요약기가 아니라 추출기로

그래서 방향을 바꿨다.
"대화 요약기"를 버리고 "사용자 상태 추출기"로 다시 설계했다.

• 사실은 사용자 턴에서만 추출한다. AI가 한 말은 사용자 사실로 올리지 않는다.
• 각 정보에 출처를 태깅한다 — 사용자가 말했나, AI가 말했나, 추론인가.
• 충돌하면 최신 사용자 진술을 우선한다.

대화를 압축한 서사가 아니라, 검증된 사용자 사실만 남기는 것이다.

정리

• 대화를 통째로 요약하니 화자를 안 가려, AI의 일시적 조언이 사용자 확정 사실로 박제됐다
• 그 요약이 매 턴 재주입되며 AI가 자기 입장을 강화(self-prime) — 부상 플랜 생성이 쏠렸다
• 실험: 거부 서사 요약 0/6 · 중립 요약 3/6 · 무요약 7/8 → 범인은 원문이 아니라 요약 내용
• "요약"을 버리고 "추출"로 — 사용자 턴에서만, 출처를 태깅해, 충돌 시 최신 사용자 진술 우선

대화를 통째로 요약해 메모리에 넣으면, AI의 일시적 말이 압축되며 권위를 얻어 사용자 사실로 승격된다.
필요한 건 요약이 아니라 추출이다. 그것도 사용자 말에서, 누가 말했는지를 붙여서.