Satya Nadella가 최근에 쓴 글에 이런 문장이 있다. 인사이트 있음.

일(task)은, 심지어 직무(job)까지도 위임할 수 있다. 하지만 학습은 절대 위임할 수 없다.

그는 기업의 미래를 두 종류의 자본으로 설명한다. human capital은 사람의 지식이고 판단이고 패턴 인식이다. token capital은 회사가 직접 만들고 가지는 AI 역량이다. 핵심은 이거다. token capital이 커진다고 human capital이 작아지지 않는다. 오히려 더 비싸진다. 사람이 방향을 못 잡아주면 그냥 연산만 제자리에서 돈다.

이 얘기는 개인 레벨에서도 그대로 적용된다. 나는 이걸 몇 달째 작은 규모로 실험해 오고 있었는데, 이 글이 그 과정을 정확하게 정의하는 문장을 줬다.

모델은 빌리는 것, 학습은 사는 것

남의 frontier 모델 위에 뭘 만든다는 건 불편한 진실 하나를 깔고 간다. 그 모델은 내 게 아니다. 어느 날 갑자기 단종될 수도, 가격이 오를 수도, 한도가 걸릴 수도, 조용히 더 나쁜 버전으로 바뀔 수도 있다. 그 안에 들어있는, 내가 의존하는 모든 능력은 내것이 아니다.

그럼 모델이 렌트라면, 내가 진짜 가지는 건 뭘까?

모델 바깥에 쌓이는 전부다. 내가 추가한 교정들. 내 일에서 잘했다는 게 뭘 뜻하는지 정의한 evals. 잘 해낸 작업과 망항 작업의 trace. 6개월치 맥락을 매일 아침 다시 설명하는 대신 한 번 확인하면 되는 걸로 바꿔주는 knowledge base.

이 축적이 러닝 루프다. 모델과 달리 이건 내 거다. Nadella는 이걸 회사의 새 IP라고, 조금씩 나아지면서 그 개선분이 복리로 불어나는 엔진이라고 한다. 개인 규모로 내려와도 똑같다. 매 세션 0으로 리셋되는 어시스턴트냐, 내 일의 베테랑으로 자라는 어시스턴트냐의 차이는 크다.

루프를 소유한다는 게 실제로 어떤 모습인가

“내 AI를 가진다"는 건 제일 좋은 모델 고르는 일이 아니다. 모델은 흔해빠진 부품이고, 자산은 바로 루프다. 언제 뭘 빌려 쓰든 그 위에 얹히는 건 세 가지다.

첫째, 나만의 evals다. MMLU도 아니고 남의 리더보드도 아니다. 내가 신경 쓰는 결과에서 이게 나아지고 있는지를 재는 기준이다. 나한테 의미 있는건 “2주 안 건드린 프로젝트 상태를 정확히 복원했나"지 “공개 벤치마크 점수 잘 나왔나"가 아니다.

둘째, 실사용에서 나온 진짜 trace다. 버리지 않고 모으면 모든 세션이 학습 신호가 된다. 많은 순간에서 에이전트가 헤맨 작업이 잘한 작업보다 값지다. 거기가 루프가 더 올라갈 자리니까. 내일 당장 fine-tune 하자는 얘기가 아니다. 개선의 원재료가 날아가지 않고 모이고 있다는 게 중요하다.

셋째, 답을 찾을수 있는 기억. 다들 제일 많이 건너뛰는 게 이건데, 복리는 여기서 제일 세게 붙는다. knowledge base, 그냥 평문 Markdown 노트 몇 개라도 좋다. “3개월 전에 X를 어떻게 결정했더라"를 머리 쥐어짜는 일에서 한 번 찾아보는 일로 바꿔준다. 물어볼 수 있는 기억, 이게 도구와 동료를 가른다.

셋 다 모델을 가질 필요가 없다. 모델 둘레의 맥락을 가지고, 그게 계속 유지 하면 된다.

진짜 테스트: 모델을 갈아끼워도 전문성은 남는가

Nadella가 이 테스트를 한 문장으로 날카롭게 박았다.

회사는 “generalist” 모델을 갈아끼우면서도 자기 학습 시스템에 박힌 “company veteran” 전문성을 잃지 않을 수 있어야 한다.

여기에 전부 들어있다. 소버린은 내가 내 모델을 돌리는 게 아니다. 지금 쓰는 모델을 갖다 버려도 전문성이 살아남는 거다. 모델을 바꿨더니 시스템이 내 일에 대해 알던 게 통째로 날아간다면, 애초에 가진 게 없었던 거다. 남의 능력에 빌려썼을 뿐이다. 그리고 그건 굳이 당신 말고도 누구나 할수 있다.

흔히 말하는 그 공포, “AI가 내 전문성을 빨아들여서 모두한테 되팔 거야"라는 불안도 이 각도에서 다시 보인다. 불안 자체는 진짜인데 과녁이 틀렸다. 값이 떨어지는 건 이미 학습 데이터에 들어가 있는 퍼진 지식이다. 값이 안 떨어지는 건 아무도 못 가진 trace로 굴러가는 복리 루프다. 내 결정, 내 교정, 내 맥락. 안 밀려나는 길은 모델보다 많이 아는 게 아니다. 모델이 못 보는 루프를 갖는 거다.

내가 직접 겪은 문제들

여기가 철학이 바닥에 닿는 데다. 틀려보고 배운 것들이다.

  • 존속성이 중요하고 휘발성에 유의해라. 한 세션은 천재인데 다음 세션엔 다 까먹는 에이전트는 의미가 없다. 딱 매일 밤 그만두는 비싼 인턴이다. 제일 중요한것은 루프가 세션을 넘어 살아남게 만드는 거다. 쌓은 맥락이 어딘가 오래 남게 유지 되지 않으면, 루프가 없는 거다. 금붕어를 키우는 거다.
  • 관리 안 하는 knowledge base는 자산이 아니라 빚이다. 낡은 노트는 노트가 없느니만 못하다. 틀린 길로 끌고 가니까. 루프는 더하는 만큼 지워야 복리가 붙는다. 나는 낡은 맥락을 물 새는 독으로 취급한다. 보이는 순간 막자, 나중으로 미루지 말자. 이 빚도 복리로 는다.
  • 루프를 모델 바깥에 둬라. 한 벤더의 메모리 기능이나 fine-tune에 기대고 싶은 본능, 나태함이 발목을 잡는다. 학습이 한 모델 가중치 안이나 한 플랫폼의 전용 저장소 안에 들어앉는 순간, 갈아끼우기 테스트는 끝난 거다. evals도 trace도 지식도 내가 통제하고 다음 모델로 들고 갈 수 있는 형태로 둬라.
  • 많이 한 거랑 쌓인 거를 헷갈리지 마라. 작업 천 개 돌리고 아무것도 안 남기면 루프가 아니다. 복리는 작업마다 뭔가 한 푼씩 저축되어야지 붙는다. 따로 얻는것이 없으면, 자본이 아니라 그냥 토큰을 태우는 거다.

그래서 뭘 해야 하나

지금 굴리는 규모가 뭐든, 자신의 루프를 가지기 시작해라. frontier 모델도 RL 파이프라인도 필요 없다. 습관 세 개면 된다.

  1. 자기만의 성공 기준을 정의하기. 너한테 중요한, 다시 돌려볼 케이스 몇 개면 된다. 그게 네 eval 0번이다.
  2. 맥락을 계속 남겨라. 노트 디렉토리든 메모리 파일이든, 세션을 넘어 살아남는 거면 뭐든 좋다. 기준은 하나다. 내일도 오늘 결정한 걸 기억하느냐.
  3. 더하는 만큼 가차없이 태워기. 자산은 양이 아니다. 언제나 맞는 루프다.

Nadella가 걱정하는 건 소수의 모델이 가치를 다 빨아들이고, 나머지 모두의 지식은 흔해빠진 것이 되는 그림이다. 어느 규모에서든 방어 전략은 같다고 본다. 러닝 루프를 가져라. 모델이 해내는건 너가 한게 아니다. 루프는 끝까지 내게 남고 모델을 가리지 않는다.