스티키 병합까지 붙이고 나니 다음 문이 열렸다. 이제 위키를 “관리”해야 한다. 분류가 어색하고, 키워드가 너무 많고, 합친 문서가 마음에 안 들고, 제목이 두 번 찍혀 있다. 사람이 손으로 고치고 싶은 순간이다.
그런데 이 제품의 파이프는 처음부터 AI다. 대화가 들어오고, 요약·정리되고, 초안이 잡히고, 병합으로 확정이 된다. 그 결과물을 사람이 마크다운 에디터로 매일 다듬는 그림은 거의 성립하지 않는다. 문서 수가 조금만 늘어도 손 관리는 비현실이다. 내가 원하는 건 위키를 손으로 키우는 게 아니라, AI가 쌓아 준 걸 내가 쓸 수 있게 두는 쪽이었다.
그래도 취향은 남는다. 같은 공간이라도 말투, 분류 깊이, 합치는 기준이 사람마다 다르다. 그래서 손잡이는 열었다. 분류 다시 짜기, 키워드 다시 달기, 병합, 분할, 문서 재작성. 전부 AI 경유다. 사람이 구조를 손으로 설계하는 게 아니라, 지시 한 줄을 넣고 결과가 바뀌는 쪽.
문제는 그 다음이다. AI 조정이 의도와 어긋날 때.
제목만 달라는 말
7월 16일 무렵, 다시쓰기에 “제목 중복 제거”만 넣었다. 문서 제목이 본문 맨 위 H1으로 한 번 더 붙어 있는 흔한 상태였다. 원하는 건 그 중복만 지우는 것이었다.
결과는 본문이 거의 사라지고 잔여만 남는 쪽이었다. 부분 지시인데 모델이 전체를 다시 쓴 것이다. 길게 쌓아 둔 내용이 요약처럼 줄어들거나, 아예 빠졌다.
원인은 단순했다. 재작성 경로가 모델에게 전체 본문 재생성을 맡기고 있었고, 나온 결과를 원본과 견주는 보존 검증이 없었다. “제목만”이라고 써도 모델은 짧은 문서처럼 다시 내놓을 수 있고, 그 출력이 그대로 초안에 들어갔다. 프롬프트만으로는 부족했다.
고친 방향은 세 갈래로 나눴다. 첫째, 제목 중복 제거처럼 규칙이 분명한 작업은 결정적으로 처리한다. 문서 제목과 같은 선두 # H1만 코드로 떼고 모델을 부르지 않는다. 둘째, 부분 수정은 SEARCH/REPLACE 패치를 원본에 적용한다. 바꿀 구간만 찾아 갈아 끼운다. 셋째, 정말 전체 재작성이 필요할 때만 전체 경로를 타되, 길이가 급감하면 검증에서 거절한다. 축약하라는 지시 없이 본문이 반 토막 나면 통과시키지 않는다.
스모크는 통과했다. 제목 중복 제거 시나리오에서 본문과 링크가 남는지도 확인했다. 그걸로 끝난 건 아니다. 스모크는 계약 몇 개를 고정한 것이고, 실사용에서 나오는 지시 문장·문서 길이·모델 기분은 경우의 수가 훨씬 많다. 비정형 입력이 기본인 제품에서 “테스트 통과 = 끝”은 거의 성립하지 않는다. 프롬프트와 검증을 계속 손보는 일이 본업에 가깝다.
되돌릴 수 없으면 손잡이가 아니다
재작성이 빗나가면 그 다음 질문이 바로 온다. 되돌릴 수 있냐.
처음 설계에서는 재작성을 에디터 보조처럼 두었다. 지시하면 초안이 나오고, 사람이 보고 저장한다. 이력·롤백 대상이 아니었다. 정리 배치나 합치기처럼 “공간이 통째로 바뀐 AI 묶음”만 이력에 올렸다.
실사용에서는 그게 안 맞았다. 재작성은 오래 걸리고 멈춘 것처럼 보였다. 요청 경로에서 동기 호출을 끝까지 기다리는 구조라 진행도 잘 안 보이고, 다른 화면으로 갔다 오면 브라우저 상태에 있던 초안이 통째로 사라졌다. 즉시 UX라고 적어 둔 것과 체감이 달랐다. 채팅도 비슷하게, 이탈하면 중간 답이 날아간 느낌이 났다.
그래서 말이 바뀌었다. 재작성도 롤백 대상이어야 하고, 큐에 들어가야 한다. 채팅은 큐에 넣더라도 위키 변이 큐와 분리하고, 롤백과는 상관없게 둔다. 문서를 바꾼 AI 작업과, 대화 한 턴을 같은 이력 줄에 섞지 말자는 쪽이다.
이력 단위도 같이 정리됐다. 처음에는 커밋 단위로 보이면 되지 않을까, 요약이랑 자동 분류를 한 커밋으로 묶을지 말지 같은 이야기가 나왔다. 문서 하나씩 취소할 일은 잘 없을 것 같다는 감각도 있었다. 제품 결정은 그 감각과 맞닿되, git 커밋 UX를 표면에 올리지 않는 쪽으로 갔다. git은 저장 감사와 재해 복구 인프라다. 사람이 보는 이력·되돌리기는 공간에 묶인 AI 액션 한 건, 그 액션 직전 문서 스냅샷으로 통째 원복이다. 정리 배치는 요약과 배치 끝 확정을 한 줄로 보고, 재작성은 지시 후 잡이 끝나면 본문에 바로 반영하고 rewrite 한 줄로 남긴다. 초안 패널에서 적용 버튼을 누르는 단계는 없다. 잠긴 문서는 거절한다.
손잡이를 연 이상, 의도랑 결과가 다를 때 한 번에 되돌릴 수 있어야 한다. 그렇지 않으면 손잡이가 아니라 도박이다.
돌아가는데 자세히 보면
지금 골격은 있다. 관리 손잡이, 재작성 검증, 공간 단위 이력과 언두·리두. 스모크도 있고, 실사용에서 한 번씩 돌려 본다.
자세히 보면 아닌 것이 많다. 분류가 어색한 칸, 키워드 파편, 합치면 안 되는 묶음, 재작성 지시 해석이 미끄러지는 문장. 에이전트 서비스는 입력이 비정형이고 경우의 수가 폭증한다. 기준을 한 줄로 고정하기 어렵다. 그래서 스모크 통과와 실사용 케이스는 계속 어긋난다. 그때마다 검증을 한 겹 더 쌓거나, 규칙을 코드로 빼거나, 프롬프트를 줄인다.
이 글에서 남기고 싶은 건 교훈 문장 하나가 아니다. AI로 위키를 만들면 손 관리는 사실상 불가능에 가깝고, 취향은 AI 손잡이로 열 수밖에 없으며, 그 손잡이는 검증과 이력 없이는 위험하다는 경험이다. 제목만 고쳐 달라고 했는데 본문이 사라진 날, 그게 가장 짧게 보였다.
골격은 잡혔고 다 하진 않았다. 돌아가는 것과 믿을 만한 것은 아직 다른 층이다. 케이스를 열 때마다 프롬프트를 고치는 일이, 당분간은 계속 일자리로 남는다.