AgentZero Lite v0.6.1 — 음성으로 입력, OS로 출력: CLI에 손이 생긴 날

AI 시대의 미니멀 Windows 셸이 두 가지를 새로 배웠다. 데스크톱을 직접 조작할 수 있고, 음성으로 그 자신을 조작할 수 있다. 미션 M0014가 OS-Control 표면을 도입해 모든 읽기 전용 기능을 CLI 동사(AgentZeroLite.exe -cli os …)와 LLM 도구(os_*) 양쪽에 대칭적으로 노출했다. 미션 M0008은 이미 완전 온디바이스 음성 파이프라인(Whisper + Vulkan, Akka Streams, 명령 인터셉터)을 배달했다. 두 가지를 합치면 — 의도적으로 설계된 승인 게이트 안에서 — 온디바이스 어시스턴트가 핸즈프리로 컴퓨터 자신을 조작할 수 있게 된다.

무엇이 추가되었나

한눈에 보는 아키텍처

flowchart LR
    subgraph IN[입력]
      MIC[🎙 마이크]
      KBD[⌨ 키보드]
      RCLI[📡 원격 CLI<br/>WM_COPYDATA]
    end

    subgraph VP[음성 파이프라인 · M0008]
      VAD[VAD + Akka Streams<br/>VoiceSegmenterFlow]
      STT[Whisper.net<br/>CPU + Vulkan]
      VCI[VoiceCommand<br/>Interceptor]
    end

    subgraph BOT[AgentBot · UI 게이트웨이]
      MODE{AI Mode?}
      LOOP[AgentLoopActor<br/>IAgentLoop]
    end

    subgraph TOOLS[툴벨트 · M0013/M0014]
      TR[터미널 릴레이<br/>도구]
      OS[OS-Control 파사드<br/>OsControlService]
    end

    subgraph WIN[Windows 표면]
      UIA[UI Automation 트리]
      GDI[GDI BitBlt → PNG]
      INP[SendInput<br/>게이트]
    end

    MIC --> VAD --> STT --> VCI
    VCI -- "stop / summarize" --> BOT
    VCI -- 패스스루 --> BOT
    KBD --> BOT
    RCLI --> BOT

    MODE -- off --> TR
    MODE -- on --> LOOP
    LOOP --> TR
    LOOP --> OS

    OS --> UIA
    OS --> GDI
    OS -.게이트.-> INP

    OS --> AUDIT[(tmp/os-cli/audit/<br/>YYYY-MM-DD.jsonl)]

• 하나의 파사드, 여러 호출자. OsControlService는 CLI 디스패처, in-process LLM 툴벨트, E2E 스모크 프로브 모두에게 도달한다. 셋 다 감사 로그에 caller 필드를 박아두므로, 포렌식 시점에서 "어느 채널이 그 클릭을 일으켰는가"를 추적할 수 있다.

• LLM은 픽셀을 보지 않는다. 스크린샷은 경로만 반환한다. 에이전트 루프 컨텍스트가 이미지로 부풀지 않고, 프롬프트 인젝션 공격면이 작게 유지된다.

• 음성은 또 하나의 입력일 뿐. 키보드와 같은 봇 디스패치로 흘러간다. 트랜스크립트가 도착한 뒤 AI 모드 + 도구 호출이 무엇을 할지 결정한다 — os_* 도구가 발사될지 여부 포함.

대칭 표면

1. CLI 동사에 --allow-input 플래그(호출별), 또는

2. 프로세스 환경 변수 AGENTZERO_OS_INPUT_ALLOWED=1 (1 / true / yes 모두 인정).

{
  "ok": false,
  "error": "OS input simulation is gated. Set environment variable AGENTZERO_OS_INPUT_ALLOWED=1 (LLM/GUI) or pass --allow-input on the CLI verb to enable.",
  "verb": "<tool name>"
}

음성 트랜스크립트가 분류되는 방식

flowchart TD
    T[Whisper 트랜스크립트] --> N{공백/Null?}
    N -->|예| P[PassThrough no-op]
    N -->|아니오| TR2[Trim + 후행 구두점 제거]
    TR2 --> S{StopPhrases 정확<br/>일치?}
    S -->|예| STOP[StopSpeaking<br/>TTS 취소, LLM 디스패치 생략]
    S -->|아니오| K{터미널 + 요약 포함<br/>or terminal + summar?}
    K -->|예| SUM[SummarizeTerminal<br/>스냅샷 후 LLM 요청]
    K -->|아니오| PT[PassThrough<br/>봇으로 전달]

산출물이 떨어지는 곳

tmp/os-cli/
├── audit/2026-05-08.jsonl        호출별 한 줄 (cli, llm, e2e)
├── screenshots/2026-05-08/       PNG (HH-mm-ss-fff prefix)
└── e2e/2026-05-08.log            E2E 스모크 요약

{
  "ts":     "2026-05-08T11:42:09.123+09:00",
  "caller": "cli | llm | e2e",
  "verb":   "list_windows | screenshot | mouse_click | …",
  "args":   { },
  "ok":     true,
  "error":  null
}

활용 사례 — 이 조합이 무엇을 푸는가

1. 다음 탭에서 키보드 치는 동안 음성으로 화면 리뷰

"터미널 작업 요약해 줘."

2. 핸즈프리 TTS 중단

"그만."

3. CLI를 통한 원격 데스크톱 점검

# 같은 박스의 Claude 탭(또는 임의의 피어 터미널)에서:
AgentZeroLite.exe -cli os list-windows --filter "Visual Studio"
AgentZeroLite.exe -cli os screenshot --hwnd 0x000A0234
AgentZeroLite.exe -cli os element-tree 0x000A0234 --depth 5

4. LLM 주도 UI 검사 (대신 타이핑은 안 함)

"내 노트패드 열려 있어? 열려 있으면 내용 캡처해."

1. os_list_windows({ "title_filter": "Notepad" }) → hwnd 목록.

2. os_screenshot({ "hwnd": <hwnd>, "grayscale": true }) → 경로 반환.

3. os_text-capture (CLI, 향후 LLM 노출) — 텍스트 추출.

4. done과 함께 운영자 친화 요약.

5. 운영자 승인 세션의 자기조종 마이크로 플로우

$env:AGENTZERO_OS_INPUT_ALLOWED = "1"

의도적으로 배제한 안티패턴

• 스크린샷 바이트를 LLM 컨텍스트에 인라인 금지. 툴벨트는 경로 문자열만 반환한다. 바이트 인라인은 토큰을 낭비하고 프롬프트 인젝션 공격면을 키운다.

• os_launch LLM 도구 없음. os_activate는 기존 hwnd를 요구한다. CLI에는 open-win이 있지만 이를 LLM에 노출하면 재귀 위험(LLM이 자기 자신의 인스턴스를 운전)이 생긴다. 향후 미션이 필요하다면 자신의 승인 플래그 뒤에 별도로 들어간다.

• 스크린샷 경로 재사용 금지. 파일명에 밀리초 정밀도 (HH-mm-ss-fff) prefix를 박아 거의 동시에 찍은 두 캡처가 충돌하지 않게 한다.

• "사소한" 호출도 감사 누락 금지. os_list_windows도 로그한다 — 열거 자체가 흔적을 남길 가치가 있는 핑거프린팅 신호이기 때문.

Origin (AgentWin)와의 패리티

• Imported: list-windows, get-window-info, screenshot, element-tree, text-capture, dpi, activate, mouse-click, mouse-move, mouse-wheel, keypress.

• Skipped: scroll-capture (element-tree에 흡수), copy <text> (기존 copy 동사와 충돌), virtual-desktop service (전용 향후 미션).

시도해보기

pwsh Docs/scripts/launch-self-smoke.ps1 -Configuration Debug

• 릴리즈 페이지: https://github.com/psmon/AgentZeroLite/releases/tag/v0.6.1

• 소스: https://github.com/psmon/AgentZeroLite

마무리

TECH LINKS

• 𝕏 @webnori

• 📘 Akka Labs (Facebook group)

• 📝 More writings — webnori wiki