멋진 비서를 만들기 위한 뜬구름 시도 끝에, LLM Wiki부터 세웠다

처음에는 헤르메스처럼 나를 알아 가고, 필요한 일을 대신 챙기는 에이전트를 만들고 싶었다. 무엇을 자동화할지는 뚜렷하지 않았지만, 쓰면 쓸수록 나를 더 잘 이해한다는 설명은 충분히 매력적이었다.

하지만 큰 그림을 먼저 그린 두 번의 시도는 모두 멈췄다. 하나는 제대로 서지 못했고, 다른 하나는 겉모습만 남았다. 그래서 세 번째에는 완성된 비서가 아니라, 내 맥락을 쌓고 전달하는 기반부터 만들기로 했다.

로컬 에이전트는 내 컴퓨터에서 실행하며, 내가 준 정보와 도구를 이용해 작업을 처리하는 AI 프로그램을 말한다.

헤르메스에서 시작한 막연한 욕심

헤르메스가 개발자 사이에서 빠르게 알려지던 때였다. 특히 사용하면서 얻은 정보를 쌓아 다음 작업에 반영하는 자가학습이라는 설명이 마음에 들었다. 나도 일상과 개인 업무, 개발을 알아서 챙기는 에이전트를 갖고 싶었다.

문제는 그때 내가 원한 것이 구체적인 작업보다 “자동화”라는 말 자체에 가까웠다는 점이다. 막상 맡길 일은 없는데, 에이전트를 만드는 일만 점점 커졌다. 무엇을 반복해서 맡길지 정하지 않은 채, 어디에 설치할지·어떤 모델을 쓸지·비용은 어떻게 감당할지를 Claude Code와 오래 설계했다. 헤르메스를 분석하며 그 안의 자가학습과 지식 저장 방식을 공부하기도 했다.

그러다 “이 정도라면 Claude Code로도 만들 수 있지 않을까”라는 생각이 들었다. 내가 익숙한 도구로 더 유연한 개인 에이전트를 만들고 싶었다. 그렇게 헤르메스와 비슷한 것을 직접 구축하는 첫 번째 시도를 시작했다.

첫 번째 시도는 부실공사로 멈췄다

처음에는 비서·정보 수집·개발 지원처럼 많은 역할을 한 시스템에 담으려 했다. 설계와 구현을 진행했지만, 막상 기능들은 기대한 방식대로 제대로 동작하지 않았다. 만들어 둔 기능들은 테스트를 전부 통과했는데, 정작 그 기능을 실제로 부르는 곳이 없었다. 그걸 두 번이나 완성이라고 적어두고서야 알았다. 더 큰 문제는 고쳐 가며 계속 써 볼 구체적인 일이 내게 없었다는 점이다.

직접 헤르메스도 한 번 구축해 봤다. 내가 만든 것과 비교하며 방향을 잡고 싶었기 때문이다. 그런데 그렇게 설치하고 나서도 이걸로 뭘 해 볼까 싶었다. 만들고 싶은 시스템은 있었지만, 당장 그 시스템에 맡길 일이 많지 않았다.

그래서 첫 번째 시도는 부실공사 건물처럼 멈췄다. 여기저기 고칠 곳은 있었지만, 그 건물 안에서 실제로 할 일이 없으니 계속 손볼 이유도 약해졌다.

그래도 이 생각을 완전히 놓지는 못했다. 첫 번째 시도에서 눈에 보이는 결과물이 부족했던 만큼, 다음에는 내가 매일 마주할 수 있는 비서의 모습을 먼저 만들면 달라질 수 있다고 생각했다.

두 번째 시도는 종이 성이었다

그러다 화면에 자비스처럼 보이는 AI가 요청을 받아 일을 처리하고, 그 과정을 화면으로 보여 주는 모습을 어디선가 봤다. 이렇게 보이는 무언가를 만들면 무엇을 시키고 있는지 알 수 있고, 첫 번째 시도와는 달라질 수 있겠다고 생각했다. 화면이 생기면 할 일도 따라 생길 것이라고 생각했다.

그래서 두 번째에는 화면에 자비스처럼 보이는 비서를 띄우고, 음성으로 말을 주고받으며, 요청과 진행 상황을 칸반 보드로 보여 주는 모습을 만들고 싶었다.

화면과 기능 목록을 설계하고, 에이전트와 연결하는 구조도 만들었다. 그러나 껍데기 자체도 만족스럽지 않았고 버그도 많았다. 무엇보다 그 비서에게 실제로 맡길 일을 여전히 찾지 못했다. 내부에서 어떤 흐름으로 일이 처리되는지도 충분히 이해하지 못한 상태였다.

화면은 만들었지만, 화면이 할 일을 주진 않았다. 두 번째 시도는 겉모습은 있었지만, 실제로 살기 어려운 종이 성에 가까웠다.

시도	만들고 싶었던 것	실제로 멈춘 이유
첫 번째	여러 일을 알아서 처리하고 성장하는 큰 에이전트	기능이 불안정했고, 고쳐 가며 써 볼 구체적인 일이 없었다.
두 번째	화면·음성·칸반으로 대화하는 자비스형 비서	겉모습과 내부 흐름 모두 미완성에 가까웠고, 맡길 일도 없었다.

두 번째 시도 뒤에는 잠시 의욕이 떨어졌다. 그래도 두 번의 시도에서 공통점 하나는 보였다. 나는 실제 필요보다 먼저, 머릿속의 완성된 모습을 만들려고 했다. 그래서 다음에는 무언가를 크게 보여 주려 하기보다, 나에게 계속 필요한 한 가지부터 찾기로 했다.

세 번째: 결국 원했던 것은 나를 아는 에이전트

두 번의 시도를 거치며 내가 계속 원했던 것을 다시 생각했다. 결론은 거대한 자동화가 아니라 나를 아는 에이전트였다. 내가 어떤 일을 해 왔는지, 어떤 방식을 선호하는지, 지금 무엇을 고민하는지를 매번 처음부터 설명하지 않아도 되는 상태가 필요했다.

그때 예전에 잠깐 만들었다가 방치한 LLM Wiki가 떠올랐다. LLM Wiki는 작업 기록과 대화 맥락을 쌓아 두고, AI가 필요할 때 참고할 수 있게 정리하는 개인 지식 공간이다. 당시에는 별도 저장소를 열어야 했고, 내용을 찾아보는 일도 번거로워서 잘 쓰지 못했다.

하지만 이 공간을 에이전트가 나를 이해하는 기반으로 쓰면 이야기가 달라졌다. 세 번째에는 그 지식 공간을 새로 정리하고, 세션이 시작할 때는 쌓인 맥락을 전달하고 세션이 끝나면 새 작업과 대화를 다시 남기는 순환 구조를 만들기로 했다.

이 구조는 일을 알아서 완성하는 만능 비서가 아니다. 내가 한 일을 잊지 않고, 다음에 함께 일할 에이전트가 그 맥락을 이어받게 하는 기반이다.

뜬구름 설계보단 기반이 먼저였다

세 번째 시도에서는 화면·음성·칸반이나 복잡한 자동화를 먼저 만들지 않았다. 내가 항상 필요로 할 한 가지, 즉 내 맥락을 쌓고 다시 전달하는 일만 맡겼다. 나는 이 순환을 수확과 환류라고 불렀다. 멋진 비서는 아직 없었지만, 적어도 매번 나를 처음 만나는 에이전트와 일할 필요는 없어졌다.

앞선 두 시도가 완성된 건물이나 성을 서둘러 올리려던 시도였다면, 이번에는 튼튼한 바닥을 먼저 다지는 선택이었다. 이 기반 위에 무엇을 더 붙일지는 나중에 실제 필요가 생겼을 때 정하면 된다.

이제 보니 앞선 두 시도는 내가 실제로 필요로 하는 것보다, 머릿속에 그린 완성된 모습을 먼저 따라간 뜬구름 설계에 가까웠다. 정작 쓸 일이 분명하지 않으니, 크게 만들어도 고칠 이유와 다음 단계가 생기지 않았다.

즉, 두 번의 시도 끝에 바꾼 것은 도구가 아니라 시작점이었다. 막연히 멋진 에이전트를 만들려 하기보다, 지금도 계속 필요한 일을 하나 정하고 그것이 안정적으로 돌아가는 기반부터 만들기 시작했다. 그 기반을 계속 쓰면서 필요가 생길 때 하나씩 붙이는 편이, 나에게는 더 오래 갈 방식이었다.