AgentZero Lite — 윈도우에 온디바이스 LLM과 멀티 CLI를 데려오다 (Part 1)

AI 시대의 미니멀 IDE — 여러 개의 CLI Agent를 한 화면에서 다루고, 똑똑한 큰 모델과 가벼운 온디바이스 LLM을 한 자리에서 조합한다.

1. 왜 또 다른 터미널인가 — CLI의 전성시대

flowchart LR
  classDef plat fill:#1e293b,stroke:#06b6d4,color:#e2e8f0
  classDef new fill:#312e81,stroke:#a855f7,color:#e9d5ff
  classDef gap fill:#7f1d1d,stroke:#ef4444,color:#fecaca

  subgraph mac["macOS / Linux"]
    direction TB
    A1["tmux"]:::plat
    A2["cmux"]:::new
    A3["amux"]:::new
    A4["agent-of-empires"]:::new
  end

  subgraph win["Windows"]
    direction TB
    B1["Windows Terminal"]:::plat
    B2["wmux (신생)"]:::new
    B3["?? 빈 자리 ??"]:::gap
  end

  mac -.대안 풍부.-> goal["멀티 AI Agent<br>같은 화면"]
  win -.오랜 공백.-> goal
  B3 ==> agentzero["AgentZero Lite"]:::new

2. AgentZero Lite — 한 줄 요약

• 진짜 ConPTY 터미널을 N개 띄울 수 있다 (의사 PTY 흉내가 아님).

• 워크스페이스로 탭들을 폴더 단위로 묶는다 — 프로젝트마다 별도 CLI 세트 유지.

• AgentBot 채팅 패널이 포커스된 터미널로 텍스트나 키스트로크를 전달한다.

• 온디바이스 LLM (Gemma 4) 이 그 채팅 패널 안에서 터미널 AI들을 조율한다.

• WASM 샌드박스 플러그인으로 사용자가 기능을 직접 탑재할 수 있다.

• 음성 입력은 Whisper.net + Vulkan 으로 오프라인 동작.

• 단일 실행 파일, .NET 10 외 의존성 없음, 빌드 ~60 MB.

flowchart TB
  classDef tab fill:#0f172a,stroke:#06b6d4,color:#e2e8f0
  classDef bot fill:#312e81,stroke:#a855f7,color:#e9d5ff
  classDef ws fill:#1e293b,stroke:#f59e0b,color:#fde68a

  user(("👤 User"))
  subgraph win["AgentZero Lite (단일 .exe)"]
    direction TB
    subgraph tabs["탭 (ConPTY 터미널 N개)"]
      direction LR
      T1["Claude tab"]:::tab
      T2["Codex tab"]:::tab
      T3["pwsh tab"]:::tab
      T4["build-log"]:::tab
    end
    subgraph side["사이드바"]
      direction TB
      W1["▸ monorepo"]:::ws
      W2["▸ blog"]:::ws
    end
    subgraph bottom["하단 패널"]
      direction LR
      P1["AGENT BOT<br>(Chat / Key / AI)"]:::bot
      P2["NOTE"]:::tab
      P3["LOG"]:::tab
    end
  end
  user --> tabs
  user --> bottom
  side -.컨텍스트.-> tabs
  P1 -.포커스 탭.-> tabs

3. AI ↔ AI 대화 — Lite 에디션의 시그니처 기능

AgentZeroLite.ps1 help 를 학습하고, terminal-list 로 탭을 보고, terminal-send <grp> <tab> "..." 로 다른 탭의 AI 에게 말을 걸어.

sequenceDiagram
  autonumber
  actor U as 👤 User
  participant C as Claude tab (탭 0)
  participant IPC as AgentZero IPC<br>(WM_COPYDATA + MMF)
  participant X as Codex tab (탭 1)

  U->>C: "Codex에게 인사하고 REST 설계 제안해"
  C->>IPC: terminal-send 0 1 "안녕 Codex, ..."
  IPC->>X: 텍스트 자동 입력
  X->>X: 응답 구성
  X->>IPC: terminal-send 0 0 "안녕 Claude, ..."
  IPC->>C: 응답 자동 입력
  Note over C,X: 클라우드 중계 없음<br>로컬 IPC만 통과

4. ChatMode 와 AIMode — 작은 비서가 큰 모델을 부린다

• ChatMode (CHT/KEY) — 입력한 텍스트나 키스트로크를 그대로 활성 터미널로 전달하는 입력 브로커. AI 가 아니다.

• AIMode — Shift+Tab 으로 전환하면 같은 채팅창이 온디바이스 LLM 코디네이터가 된다.

flowchart LR
  classDef cht fill:#0f172a,stroke:#06b6d4,color:#e2e8f0
  classDef ai fill:#312e81,stroke:#a855f7,color:#e9d5ff
  user(("사용자"))

  subgraph cht1["ChatMode (입력 브로커)"]
    direction LR
    I1["채팅 입력"]:::cht --> O1["활성 터미널로<br>그대로 전달"]:::cht
  end

  subgraph aim["AIMode (LocalLLM 코디네이터)"]
    direction LR
    I2["채팅 입력"]:::ai --> L["Gemma 4<br>(온디바이스)"]:::ai
    L --> R{"라우팅 판단"}:::ai
    R -->|"무거운 추론"| T1["Claude tab"]:::ai
    R -->|"빠른 정리"| T2["Codex tab"]:::ai
    R -->|"즉답"| O2["사용자에게 직답"]:::ai
  end

  user --> I1
  user --> I2

1. 출력 제약 — GBNF 문법으로 모든 출력이 {"tool": "<이름>", "args": { ... }} 외엔 절대 나올 수 없도록 sampler 단계에서 강제.

2. 도구 실행 — list_terminals, read_terminal, send_to_terminal, send_key, wait, done 6 종 도구 표면.

3. 결과를 컨텍스트로 다시 주입 — 다음 user turn 으로.

4. LLM 이 done 을 emit 할 때까지 반복.

stateDiagram-v2
  [*] --> Idle
  Idle --> Thinking: StartReactor(text)
  Thinking --> Generating: prompt prefill
  Generating --> Acting: tool_call JSON
  Acting --> Generating: tool_result 주입
  Acting --> Done: done 호출
  Done --> Idle: 한 사이클 완료
  Idle --> Idle: peer signal 또는<br>사용자 다음 입력

PM 을 누구에게 위임할 것인가? 이게 AgentZero Lite 의 진짜 질문이다. 클라우드의 똑똑한 모델에게 PM 을 시킬 수도, 온디바이스 작은 모델이 직접 PM 을 할 수도 있다. 사용자가 그 선택지를 가질 수 있게 만드는 것이 핵심이다.

5. 음성 — 손과 입을 동시에 쓰는 듀얼 멀티태스킹

sequenceDiagram
  autonumber
  actor U as 👤 사용자
  participant K as 키보드
  participant M as 마이크
  participant T0 as 탭 0 (Claude)
  participant T1 as 탭 1 (Codex)

  par 키보드 채널
    U->>K: 코드 작성
    K->>T0: "이 함수 리팩토링"
    T0-->>U: diff 응답
  and 음성 채널
    U->>M: "오늘 PR 요약"
    M->>T1: Whisper 받아쓰기 → 자동 입력
    T1-->>U: 음성 응답 (P3)
  end
  Note over T0,T1: 두 AI 대화가 동시에 흐름<br>사람 한 명이 둘 다 감독

• Whisper.net 오프라인 STT, GGML small(~466 MB) / medium(~1.5 GB) 모델이 로컬 캐시. 한국어 인식이 강한 turbo 변종도 별도 채택 가능.

• CPU + Vulkan 동시 번들 — Vulkan 백엔드는 크로스 벤더다. AMD, Intel, NVIDIA 모두 같은 바이너리로 가속된다. CUDA 종속 없이.

• 멀티 GPU 노트북에서도 Auto 픽이 dGPU 를 정확히 잡고, 잘못 잡혔을 땐 수동 오버라이드 한 클릭.

• TTS 출력은 개발 중 — Windows SAPI / OpenAI tts-1 배관은 들어와 있지만 응답 스트리밍 파이프라인은 단계적 진행.

6. WASM 플러그인 — 내가 필요한 기능은 내가 탑재한다

flowchart LR
  classDef host fill:#1e293b,stroke:#06b6d4,color:#e2e8f0
  classDef sand fill:#312e81,stroke:#a855f7,color:#e9d5ff
  classDef cap fill:#064e3b,stroke:#10b981,color:#a7f3d0

  subgraph host["AgentZero 호스트"]
    direction TB
    LLM["LocalLLM API"]:::cap
    Term["터미널 액터 API"]:::cap
    Note["NOTE 패널 API"]:::cap
  end

  subgraph sandbox["WASM 샌드박스"]
    direction TB
    Plug["Voice Note 플러그인<br>(manifest + html + js)"]:::sand
  end

  Plug -.명시적 권한 부여.-> LLM
  Plug -.명시적 권한 부여.-> Term
  Plug -.명시적 권한 부여.-> Note
  Plug -.기본은 무능력.-> X1[("✗ 파일 시스템")]
  Plug -.기본은 무능력.-> X2[("✗ 네트워크")]

• AgentZeroCLI 에 설정된 온디바이스 AI 기능을 당겨 쓰기 가능 — 플러그인 안에서 LocalLLM 호출.

• 첫 번째 공식 플러그인은 Voice Note — STT 기반 음성 저널, VAD 게이트 캡처, 감도 슬라이더, 일시정지/재개, LLM 요약.

• 새 플러그인은 manifest.json + index.html + *.js/*.css 만 있으면 끝. AgentBot [+] 메뉴의 Install Plugin Picker 에서 한 클릭 설치.

사용자가 필요한 것을 직접 만들 수 있다 는 발상은 LLM 시대에 더 자연스럽다. AI 가 코드를 잘 짜기 시작했으니 플러그인 한 개 만드는 비용이 사라지고 있다.

7. 하네스뷰 — 프레임워크가 함께 자란다

harness/
├── agents/        — 전문가 평가자 (security-guard, code-coach, test-sentinel, tamer)
├── engine/        — 워크플로우 (release-build-pipeline, pre-commit-review)
├── knowledge/     — 도메인 노트 (LLM 프롬프트 컨벤션, tool-calling 서베이)
└── logs/          — Mode 3 리뷰, RCA, 평가가 모두 여기 고정

1. 유닛 테스트 피드백 — T1G..T7G 라이브 + 헤드리스 TestKit 스위트가 회귀 대비 프로토콜·상태 머신을 검증.

2. 실 수행 로그 — %LOCALAPPDATA%\AgentZeroWpf\logs\app-log.txt 가 매 Reactor turn, peer signal, JSON parse failure 캡처.

3. Mode 3 RCA 로그 — 회귀마다 날짜별 사후 분석 (증상, 근본 원인, 패치, 평가, deferred 후속).

4. 사람이 검토자 — 하네스 제안을 수용하거나 코스 보정. "AI 가 다 한다" 가 아니라 반복 개선자와의 페어 프로그래밍.

8. 오픈 모델 젬마로 시작된 온디바이스 LLM의 시대

• 2025-03 — Gemma 3 (1B/4B/12B/27B). 140+ 언어, 노트북·워크스테이션 타깃.

• 2025-08 — GPT-OSS 20B/120B (MXFP4 4-bit MoE). 20B는 16 GB RAM 엣지에서 동작.

• 2025 — Gemma 3n (PLE 기반 RAM 절감). 모바일·휴대 기기 특화.

• 2026-04 — Gemma 4 (소형 128K, 중형 256K context). 노트북 로컬 실행 최적화.

• 2026-04 — NVIDIA Nemotron 3 Nano Omni (30B-A3B Hybrid Mamba-MoE, 256K). 비전+오디오+텍스트, 9× 처리량.

9. 토큰은 정말 공기처럼 싸질 것인가

10. 하이브리드 전략 — 벤더락 프리, 소비자가 선택권

flowchart LR
  classDef cloud fill:#1e3a8a,stroke:#3b82f6,color:#dbeafe
  classDef local fill:#064e3b,stroke:#10b981,color:#a7f3d0
  classDef user fill:#7c2d12,stroke:#f97316,color:#fed7aa

  user(("👤 사용자<br>선택권 보유")):::user

  subgraph cloud["클라우드 (벤더)"]
    direction TB
    Cl["Claude"]:::cloud
    Cx["Codex"]:::cloud
    Gm["Gemini"]:::cloud
  end

  subgraph local["온디바이스 (무료)"]
    direction TB
    G4["Gemma 4"]:::local
    Wh["Whisper STT"]:::local
    Os["GPT-OSS"]:::local
  end

  user -->|"무거운 추론"| cloud
  user -->|"PM·정리·STT"| local
  cloud <-.AI ↔ AI 대화.-> local
  user -->|"WASM 플러그인 자작"| W["Voice Note 등"]:::local

• 멀티 CLI — Claude, Codex, Gemini CLI 모두 동시 구동. 앞으로 또 다른 CLI 에이전트가 등장해도 같은 멀티뷰에 끼워 넣을 수 있다. 추가 작업 거의 없음.

• 온디바이스 ↔ 클라우드 라우팅 — AIMode 의 LocalLLM 이 PM 으로서 어느 모델에 일을 시킬지 결정. 추론이 무거우면 Claude 에게, 단순 정리면 Gemma 에게. Agent 사용비를 벤더 소속이 아닌 소비자가 선택하는 구조.

• 무료 음성 모델 조합 — STT 는 Whisper, TTS 는 한국어 강한 모델 별도. 각각 따로 채택해서 쓴다.

• WASM 플러그인 — 사내 도구·개인 워크플로우는 직접 만든다. 기능 추가에 벤더 승인 필요 없음.

• 하네스 뷰 — 어떤 에이전트가 어떻게 일하고 있는지 들여다 본다. 블랙박스 안 됨.

PlayGround 로서의 가치. AgentZero Lite 는 "온디바이스로 다 대체한다" 가 목표가 아니다. 작은 모델이 특수한 기능에 강하면 부분 채택하는 하이브리드 전략을 검증하는 실험장이다. Claude Code 와 경쟁하지 않는다.

11. 마치며 — Agent 서버리스 시장이 본격 전쟁이다

• 스킬·MCP 스펙은 인터페이스다. Anthropic 이 만들고 오픈한 스펙. 그 자체로는 과금 포인트가 작다.

• 하네스 프레임 + Agent 서버리스가 진짜 먹거리다. 토큰이 비용의 전부가 아니다. 토큰 × 툴 사용료 (Agent 서버리스) 같은 이중 과금 구조가 형성될 것이다. 하네스가 N 개 에이전트를 다루기 때문에, 에이전트 1개 단위의 경쟁이 아니라 시스템 단위 경쟁이다.

• 벤치마크는 이제 변별력이 약하다. LLM 이 더 높은 점수를 받는 것은 이제 중국 모델도 한다. 본격 전쟁은 Agent 서버리스 시장에서 일어난다.

• B2B 과금이 붙는 시장. 하네스 프레임워크는 그 위에 과금을 붙일 수 있는 영역이다.

• IDE 가 점점 비싸지고 무거워지는 중. 웹·GUI 기반 도구들이 AI 기능을 탑재하며 구독료를 올리고 있다. 더 라이트하게 N 개를 제어하는 CLI/TUI 시도는 계속될 것이다.

• 한때 개발자의 전유물이었던 CLI 가, 최근에는 수준 높은 크리에이티브 진영과 제품 기획 진영에서도 잘 쓰기 시작했다. 사용자 층이 넓어지고 있다.

• AgentZero Lite 는 이 AI 격변기에 다양한 AI 모델 (오픈 × 벤더) 조합을 사용자가 선택할 수 있는 하이브리드 전략을 검증하는 PlayGround 로 자리잡는다.

부록 — 함께 보면 좋은 자매 저장소

• harness-kakashi — 1인용 연습 하네스. 나루토 세계관으로 하네스의 감을 잡는 샌드박스.

• pencil-creator — 하네스로 디자인 시스템 템플릿을 자동 생성하는 실험.

• memorizer-v1 — 벡터 검색 기반 에이전트 메모리 MCP 서버. 하네스 공용 메모리로 진화 예정.

• DeskWeb — qooxdoo 기반 Windows XP 스타일 WebOS. 4종 Claude Code Skill 내장.

출처

• AgentZero Lite — <https://github.com/psmon/AgentZeroLite> (README · README-KR)

• Anthropic tweaks Claude usage limits to manage capacity — The Register, 2026-03-26

• GitHub Copilot is moving to usage-based billing — GitHub Blog

• Gemma 3 — Google DeepMind, Gemma 4 model overview, Gemma 3n developer guide

• Introducing gpt-oss — OpenAI

• NVIDIA Nemotron 3 Nano Omni Powers Multimodal Agent Reasoning

• Sandboxing Agentic AI Workflows with WebAssembly — NVIDIA

• The Rise of AI Terminal Multiplexers — Beam

• tmux vs cmux — ice-ice-bear blog

• wmux — Windows tmux alternative for AI agents

• Whisper.net.Runtime.Vulkan — NuGet

Next