← Notes

조직보다 자산 먼저 — 두 번 실패하고 남은 3원칙

AI 에이전트 생태계 구축기· 6 / 10
  1. 1 — 완료는 실측으로만 말한다
  2. 2 — 같은 함정, 세 번째는 다른 얼굴로
  3. 3 — 테스트가 통과했다고 완료는 아니다
  4. 4 — 속 빈 강정 — 함수는 있는데 왜 안 불렸나
  5. 5 — 하루 만에 지은 나의 두 번째 뇌
  6. 6 — 조직보다 자산 먼저 — 두 번 실패하고 남은 3원칙
  7. 7 — AI의 판단력은 복리로 자라지 않는다
  8. 8 — 큐는 비우고, raw는 지우지 않는다
  9. 9 — 하나의 비서를 세 개의 뇌로 나눈 이유
  10. 10 — 허위 적격 0 — 애매하면 통과시키는 필터

지식 시스템의 가치는 조직(팀·채널·자동화)이 아니라 자산(데이터 축적) 그 자체에서 나온다. 이 정의는 클로드 기반 개인 지식 시스템을 두 차례 만들고 두 번 다 실패시킨 뒤에야 사후 부검으로 얻은 것이다. 실패는 한 번이면 우연이지만 두 번이면 패턴이고, 그 패턴에서 세 가지 설계 원칙이 나왔다.

두 번의 실패가 남긴 것

두 실패는 방향이 정반대였지만, 도달한 자리는 같았다 — 아무도 검증할 수 없는 상태에서 멈췄다.

  • 실패 1 · agent-system(동결): 비서·팀·채널·검증이라는 조직을 먼저 지었고, 지식창고는 그 조직의 부속 기능으로 밀렸다. 2주가 지나 실제로 쌓인 자산은 쪽지 6장뿐이었다. 더 근본적인 문제는 가치가 “연동이 됐는가·설정이 맞았는가” 같은 배선에 의존해 중간 상태를 검증할 방법이 없었다는 것이다. 그 결과 완료 선언이 두 번 나왔다가 둘 다 틀렸다.
  • 실패 2 · 연습용 second(정지): *카파시(Karpathy)*의 LLM-wiki 패턴을 34페이지 분량으로 충실히 구현해 자산 축적 자체는 잘 됐다. 그런데도 일주일 만에 멈췄다. 원인은 셋이다.
    1. 인풋만 있고 아웃풋 없음: 로그를 실측하니 수집 6건 대 질의 2건. 쌓기만 하고 쓰지는 않았다.
    2. 격리 구조: 그 폴더 안에서 세션을 켜야만 지식에 접근할 수 있었다. 개발은 다른 프로젝트 폴더에서 진행되니, 창고 자체가 안 쓰이는 원인이었다.
    3. 읽은 것만 담고 한 일은 못 담음: 클리핑(유튜브·아티클)은 들어오지만, 매일의 개발 세션·결정·삽질이 들어올 통로는 없었다.

인풋만 있고 아웃풋 없음(로그 실측: 수집 6 대 질의 2) / second 폴더에서 세션을 켜야만 존재하는 격리 구조라 개발 중인 지크가 쓸 일 없음 / “읽은 것”(클리핑)만 담고 “한 일”(작업)이 들어올 통로 없음.

즉, 하나는 조직을 먼저 지어 자산이 부속으로 밀렸고 하나는 자산을 쌓고도 쓰지 않아 죽었다 — 겉보기엔 정반대지만 둘 다 결과를 검증할 방법이 없었다는 점에서 뿌리가 같다. 아래 세 원칙은 이 두 실패를 각각 반박하는 형태로 짜여 있다.

원칙 1 — 조직보다 자산 먼저

지식 시스템의 가치는 소프트웨어가 아니라 데이터 축적에서 나온다. 조직(팀·채널·자동화)을 먼저 지으면 자산이 부속으로 밀린다.

  • 정의: 창고에 비유하면, 선반(조직)을 아무리 정교하게 짜도 그 위에 놓을 물건(자산)이 없으면 창고는 텅 빈 채다.
  • 어느 실패에서 나왔나: agent-system이 정확히 이 경로였다 — 비서·팀·채널이라는 선반은 그럴듯했지만 2주 뒤 남은 물건은 쪽지 6장이었다.
  • 어떻게 적용했나: 세 번째 시도는 범위를 “새 리포 1개, 훅 1개, 글로벌 규칙 3줄, 권한 설정 1건, 스킬 2개. 이것이 전부다”로 좁혔다. 서버·앱·크론·에이전트 조직·텔레그램은 명시적으로 하지 않는 것에 넣었다.

조직 자체가 나쁜 것은 아니다. 다만 검증된 자산이 없는 상태에서 조직부터 세우면 그 유지 비용(설정·연동·점검)이 먼저 청구되고, 정작 쌓아야 할 자산에는 손이 못 간다. agent-system의 2주가 그 청구서였다.

원칙 2 — 가치는 파일로 실재해야 한다

배선돼야만 존재하는 가치는 검증 불가 → 완료 오보의 온상. “열어보면 검증 끝”인 디스크의 파일이라야 한다.

  • 정의: 벽 속 배선처럼, 스위치를 눌러 불이 들어오기 전까진 제대로 됐는지 아무도 모르는 가치는 검증 불가능하다.
  • 어느 실패에서 나왔나: agent-system의 완료 오보 두 번이 이 결핍에서 나왔다 — 연동이 됐다는 선언은 있었지만 열어서 확인할 파일은 없었다.
  • 어떻게 적용했나: 세 번째 시도는 이 원칙을 완료기준에 직접 새겼다. 모든 Phase의 완료기준을 지크가 파일을 열어보거나 실행 결과를 눈으로 확인하는 실측으로 못박았다.

이 원칙은 질문을 바꾼다. “설정이 몇 개 남았나” 대신 “지금 디스크에 뭐가 있나”로. 검증 비용이 파일 하나 여는 정도로 낮아지면, “됐다고 믿었는데 아니었다”는 오보 자체가 성립할 자리가 없어진다.

원칙 3 — 수기 의존·검증 전 자동화·격리는 한 덩어리로 금지된다

세 하위 원칙이 함께 묶이며, 연습용 second가 멈춘 세 원인을 그대로 반박한다.

캡처 마찰이 있으면 3일 안에 죽는다. 크론을 먼저 깔면 아무도 안 보는 데서 쓰레기가 쌓인다. 시스템은 사용자가 가는 곳에 따라와야지, 사용자가 시스템에 찾아가게 하면 죽는다.

  • 정의:
    • 수기 의존 = 사망: 캡처 마찰이 조금이라도 있으면 시스템은 3일 안에 멈춘다.
    • 검증 전 자동화 금지: 크론(정기 자동 실행)을 먼저 깔면 아무도 보지 않는 곳에서 쓰레기가 조용히 쌓인다.
    • 격리 금지: 시스템은 사용자가 가는 곳으로 따라와야지, 사용자가 시스템을 찾아가게 만들면 죽는다.
  • 어느 실패에서 나왔나: 연습용 second의 세 원인이 각각 대응한다. 수집(클리핑) 마찰은 낮았지만 꺼내 쓰는 질의 쪽 마찰 때문에 죽은 것은 수기 의존의 사례고, agent-system이 조직이라는 자동화된 구조를 검증 없이 먼저 깔았다가 실패한 것은 자동화 금지의 사례며, second 폴더 안에서만 세션을 켜야 접근되던 구조는 격리 금지의 사례다.
  • 어떻게 적용했나: 세 번째 시도의 목표는 이 세 하위 원칙이 겨냥하는 지점을 압축한다.

격리 금지는 정수기를 부엌 반대편 창고에 두면 아무도 마시러 가지 않는 것과 같은 이치다. 매번 별도로 찾아가야 하는 동선이라면, 내용물이 훌륭해도 바쁜 하루 속에서 그 한 걸음은 결국 생략된다.

원칙을 넘어서

세 원칙은 지식 관리 도구에 국한되지 않는다. 검증 불가능한 가치를 배선 뒤에 숨기는 모든 시스템 설계에 이전 가능하다 — “일단 조직부터 갖추고 나중에 채우자”는 본능이 왜 위험한지에 대한 반례다.

즉, 조직(구조)은 자산(내용물) 없이는 가치가 없는데 조직을 먼저 지으면 언제나 자산이 뒤로 밀린다. 그리고 “검증”은 추상적 판단이 아니라 파일을 열어보거나 실행해보는 구체적 행위다 — 이게 안 되는 설계는 처음부터 완료 오보를 내장하고 있는 셈이다.

목차