LLM은 에이전트가 아니다: 로컬 모델과 진짜 대화 사이의 다섯 계층

TL;DR — 로컬에서 돌아가는 on-device LLM은 그 자체로 보면 토큰 생성기에 불과하다. 에이전트가 아니다. AgentZero Lite는 사용자 PC에서 동작하는 Gemma-4가 옆 터미널 탭의 또 다른 AI(Anthropic의 Claude CLI)와 진짜 대화를 나누게 만들었다. 이는 추론 위에 다섯 개의 별도 계층을 쌓아서 가능했다. 이 글은 그 다섯 계층의 현장 보고서다.

🌐 영문 원본: An LLM Is Not an Agent

전제: LLM 만으로는 에이전트가 아니다

flowchart BT
  L[Local LLM<br/>토큰 출력]
  S[+ 구조<br/>GBNF 문법 또는 네이티브 도구 템플릿]
  T[+ 도구<br/>실제 ConPTY 위 5-도구 카탈로그]
  C[+ 동시성<br/>UI 스레드 밖 reactor 액터]
  P[+ 프로토콜<br/>identity-first 핸드셰이크, peer-name 라우팅]
  D[규율 하네스<br/>코드 이전에 리서치]
  A((에이전트))
  L --> S --> T --> C --> P --> A
  D -.-> A

1. 기능 이전에 하네스

2. 프롬프트는 부탁한다. 문법은 강제한다.

root      ::= ws "{" ws "\"tool\"" ws ":" ws toolname ws ","
                 ws "\"args\"" ws ":" ws args ws "}" ws

toolname  ::= "\"list_terminals\"" | "\"read_terminal\""
            | "\"send_to_terminal\"" | "\"send_key\""
            | "\"wait\"" | "\"done\""

args      ::= "{" ws "}" | "{" ws kv (ws "," ws kv)* ws "}"
kv        ::= string ws ":" ws value
value     ::= string | integer | boolean

3. 터미널은 그저 다섯 개의 도구다

flowchart TD
  U[사용자 프롬프트] --> L[AgentToolLoop]
  L -->|시스템 + 문법/템플릿| G{LLM 백엔드}
  G -->|Gemma 4 경로| GBNF[GBNF 샘플러<br/>5-도구 카탈로그]
  G -->|Nemotron 경로| TPL[Llama-3.1 챗 템플릿<br/>네이티브 도구 채널]
  GBNF --> P[JSON 파싱]
  TPL --> P
  P --> H[IAgentToolHost<br/>WorkspaceTerminalToolHost]
  H -->|도구 결과| L
  L -->|'done' 또는 MaxIterations<br/>까지 루프| L

4. 추론은 윈도우가 아니라 액터에 있다

5. 정체성이 곧 프로토콜이다

private static string BuildFirstContactHeader(string peerName = "Claude") =>
    "[AgentBot Handshake — first contact, please read carefully]\n\n"
  + "You are " + peerName + " and I am AgentBot, "
  + "an on-device AI agent running inside the AgentZero Lite shell.\n"
  + "\"" + peerName + "\" is the name of YOUR terminal tab — "
  + "both of us will use that name to refer to you, and you will use it "
  + "as your --from identity when replying.\n\n"
  + "Step 1 — Verify the CLI exists.\n"
  + "Step 2 — Acknowledge using the same CLI.\n"
  + "    AgentZeroLite.exe -cli bot-chat \"DONE(handshake-ok)\" --from "
  + peerName + "\n";

public enum HandshakeState
{
    NotConnected,    // 인트로 보낸 적 없음
    HandshakeSent,   // 인트로 발송 후 bot-chat 회신 대기
    Connected,       // 적어도 한 번은 콜백 받음
}

public sealed record TerminalSentToBot(string PeerName, string Text);
public sealed record MarkHandshakeSent(string PeerName);
public sealed record QueryHandshakeState(string PeerName);
public sealed record HandshakeStateReply(string PeerName, HandshakeState State);

sequenceDiagram
  participant U as 사용자
  participant B as AgentBot<br/>(로컬 Gemma)
  participant R as AgentReactorActor<br/>(Akka, UI 밖)
  participant H as WorkspaceTerminalToolHost
  participant P as Peer 터미널<br/>(Claude CLI)

  U->>B: "Claude 탭에 말 걸어"
  B->>R: StartReactor (Mode 2)
  R->>H: send_to_terminal(<핸드셰이크 인트로>)
  H->>P: "You are <peerName>, I am AgentBot.<br/>Verify CLI: -cli help.<br/>Ack via bot-chat DONE(handshake-ok)"
  Note over R,H: MarkHandshakeSent
  P->>P: -cli help 실행, 확인
  P->>B: AgentZeroLite.exe -cli bot-chat<br/>"DONE(handshake-ok)" --from <peer>
  B->>R: TerminalSentToBot (peer 신호)
  Note over R: HandshakeState → Connected<br/>Phase H 종료 → Phase C
  R->>H: 본격 교환 턴
  H->>P: 실제 교환
  P->>B: bot-chat을 통한 실제 응답
  R->>U: 결과

한눈에 보는 기술 스택

마치며 — 토큰을 대화로 만든 것

• 구조는 "모델이 파싱 불가능한 출력을 만든다" 실패를 제거한다.

• 도구는 "모델이 세상에 작용할 방법이 없다" 실패를 제거한다.

• 동시성은 "생각하는 행위가 사용하는 행위를 막는다" 실패를 제거한다.

• 프로토콜은 "모델이 실제로 닿지 못한 상대방에 대해 거짓말한다" 실패를 제거한다.

• 규율 (하네스)은 "잘못된 것을 만들었다" 실패를 제거한다.

TECH LINKS

• 𝕏 @webnori

• 📘 Akka Labs (Facebook group)

• 📝 More writings — webnori wiki