AI의 판단력은 복리로 자라지 않는다

개인 지식 시스템 second를 설계하며 세션 전문(대화 로그)에서 알맹이만 뽑아 위키에 쌓는 증류(distillation) 작업을 AI 세션에게 반복해서 맡기는 구조를 짰다. 세션 하나의 전문이 100MB를 넘기도 하고 그중 90%가 툴 출력·파일 덤프·시행착오 같은 노이즈라, 그대로 쌓으면 독이 된다. 그래서 매번 “이걸 남길까 버릴까”를 판단하는 증류 세션이 필요했는데, 이 구조를 짜던 도중 질문 하나가 튀어나왔다. 이 증류 세션들은 반복할수록 판단이 좋아지는가.

정리를 시킬수록 똑똑해진다는 기대

직관적으로는 그럴 것 같다. AI에게 내 데이터를 계속 정리시키면 그 AI가 나를 점점 더 잘 알게 되고, 다음 판단은 더 정확해질 것 같다. 이 기대는 낯설지 않다. 앞서 만들었다가 실패한 agent-system이라는 AI 비서 생태계가 정확히 이 전제를 팔고 있었다. AI 비서 조직이 상호작용을 거듭할수록 스스로 똑똑해지는 자가학습 복리 성장을 약속한 구조였다.

문제는 이 약속을 검증할 방법이 없었다는 데 있다. “AI가 똑똑해지고 있다”는 주장을 확인할 파일이 어디에도 없었다. second의 증류 설계는 이 전제를 다시 검증대에 올리는 데서 시작했다.

왜 환상인가 — 매 세션은 같은 실력으로 시작한다

증류 기준을 설계하면서 판정 렌즈부터 한 문장으로 정했다.

“3주 뒤의 세션이 이걸 알면 다음 작업이 더 똑똑해지나?” — 재사용 가능성이 유일한 축이다.

이 렌즈로 남기는 것과 버리는 것을 가른다.

남기는 것은 여섯 가지다.

• 결정과 이유: 어떤 선택을 왜 했는지
• 삽질과 해법: 문제 → 원인 → 해법으로 이어지는 흐름
• 재사용 가능한 지식
• 전환점: 방향이나 판단이 바뀐 지점
• 프로젝트 상태 변화
• 명시적 선호·패턴 신호: 뚜렷하게 드러난 취향과 패턴

버리는 것은 다섯 가지다.

• 툴 출력·파일 덤프
• 단순 작업 나열: “읽음·수정함·커밋함” 같은 기록
• 일회성 삽질의 중간 과정: 결론만 남기고 과정은 버린다
• 스쳐가는 도구·광고
• 근거 없는 인상

그런데 이 기준을 세우다가 정면으로 물었다. 판단이라는 게 학습하면서 좋아지나. 답은 아니다였다.

정리(증류)하는 AI 세션은 매번 같은 실력으로 새로 시작한다. 세션에 경험이 쌓이지 않는다. “AI가 하다 보면 나를 잘 알게 돼 판단이 늘겠지”는 환상이다.

세션은 계기판과 같다. 매번 켤 때마다 눈금이 0으로 돌아온다. 어제 100번을 정리했든 오늘 처음 정리하든, 이번 세션이 발휘하는 판단력의 출발선은 같다. 세션이 반복된다고 해서 그 출발선이 앞으로 당겨지지는 않는다.

그럼 무엇이 자라는가 — 기준과 재료

세션의 실력이 그대로라면, 그런데도 second 전체는 왜 정말로 나아지는가. 자라는 것은 두 가지뿐이고, 둘 다 파일이다.

기준 — 레시피가 정확해진다

무엇을 남기고 버릴지의 기준(증류 규칙) 자체는 갱신된다. 컴파일 결과와 “이번에 버린 것” 보고서를 보고 “그건 남겼어야지”라고 교정하면, 그 교정이 규칙 문서에 그대로 반영된다.

자라는 것은 두 가지뿐, 둘 다 파일이라 눈으로 검증 가능하다 — 기준(무엇을 남기고 버릴지의 규칙)과 재료(축적된 profile·위키). 요리사가 느는 게 아니라 레시피가 정확해진다.

요리사 비유가 정확한 지점이 여기다. 오늘 처음 이 레시피를 손에 쥔 요리사도, 레시피가 정확하면 어제와 같은 결과를 낼 수 있다. 실력이 요리사 개인에게 축적되는 게 아니라 레시피라는 물건에 축적되는 것이다.

재료 — 컨닝페이퍼가 두꺼워진다

또 하나는 재료, 즉 컴파일마다 두꺼워지는 profile과 위키다. 3주 뒤 세션의 판단력 자체는 여전히 같지만, 그 세션은 더 두꺼워진 profile과 위키를 읽고 시작한다. 결과적으로 더 정확하게 알맹이를 짚어낸다. 즉, 세션이 똑똑해진 게 아니라 읽을거리가 많아진 것이다.

검증 가능성이 만드는 차이

agent-system의 자가학습 복리 성장과 second의 설계는 겉보기엔 둘 다 “시스템이 나아진다”고 말한다. 차이는 그 나아짐을 확인하는 방법에 있다.

second는 성장의 증거를 파일로 못박는다. “왜 AI가 안 똑똑해지냐”를 묻는 대신 “규칙집과 서가가 자랐나”로 성장을 판정한다. 기준(증류 규칙 문서)과 재료(profile·위키) 둘 다 눈으로 열어볼 수 있는 파일이라는 것이 결정적 차이다. 파일로 못박을 수 없는 성장 주장은, 그것이 아무리 그럴듯해도 채택하지 않는다.

감시 장치 — 조용한 삭제를 막다

이 세계관을 실제로 지키려면 판단이 “안 보이게” 되는 일부터 막아야 한다. 판단이 안 보이면 검증할 수 없고, 검증할 수 없으면 조용한 삭제, 즉 중요한 걸 몰래 버리는 일을 막을 수 없다.

이 감시 장치가 없다면 기준과 재료가 자란다는 주장 자체도 다시 검증 불가능한 약속으로 되돌아간다. 버린 목록을 매번 눈으로 대조할 수 있어야, 자란 것과 안 자란 것을 실제로 구분할 수 있다.

도구를 설계할 때 남는 함의

LLM을 활용한 도구를 만드는 입장에서 이 구분은 실전에 곧장 걸린다. “AI가 알아서 똑똑해지길” 기다리는 설계는 검증 지점이 없어 결국 근거 없는 인상에 기댄다. 반면 규칙 문서를 사람이 직접 교정하는 경로와, 재료가 파일로 쌓이는 경로를 따로 설계하면 나아짐을 파일 diff 하나로 보여줄 수 있다.

정리하면, 세션 단위의 판단력은 복리로 자라지 않는다. 매 세션은 매번 같은 실력으로 시작한다. 그런데도 시스템 전체는 나아질 수 있다. 다만 나아지는 자리가 AI의 판단력이 아니라 AI가 참고하는 파일, 즉 기준과 재료라는 게 핵심이다. 어떤 도구가 “쓸수록 똑똑해진다”고 주장한다면, 그 성장이 담긴 파일을 가리킬 수 있는지부터 물어야 한다. 가리킬 파일이 없다면 그 주장은 아직 약속일 뿐이다.