[KO] 테스트 픽스처보다 똑똑한 모델 — AgentZero Lite TTS↔STT 라운드트립 스위트 만들기

이 글은 영문 원본 When the Model Is Smarter Than Your Test Fixture — Building a TTS↔STT Round-Trip Suite for AgentZero Lite 의 한국어 번역본입니다.

시리즈: AgentZero Lite — Part 8. 직전 글(Part 7 — Step 2 Landed: Akka.NET Streams Now Carry the Whole Voice Path)은 음성 서브시스템에 스트리밍 substrate 를 깔았다. 이번 글은 그 위에 측정 도구 를 얹는다 — 커밋 사이에 좋아지는지 나빠지는지 알 수 있도록.

TL;DR

• 5-case xUnit 스위트가 TTS (Windows SAPI 기본 음성) → WAV → resample → STT (Whisper.net medium, CPU) 라운드트립을 돌리고 transcript 를 입력과 비교한다.

• Pure-model, 파일 기반, Akka 없음, 스트림 없음. 결정적(deterministic) 베이스라인이고, 스트리밍 변종은 이 베이스라인 대비 delta 로 측정 가능해진다.

• 비교 단계에서 case + 구두점 + 공백을 접어 동치 비교하기 때문에 토크나이저의 화장(예: "hello" → "Hello.") 이 content drift 로 잡히지 않는다.

• 5개 중 4개 통과. 떨어진 한 개가 흥미로운 케이스 — Whisper 가 사용자 입력의 typo 모래 (sand) 를 문맥상 맞는 모레 (day after tomorrow) 로 자동 교정. Edit distance 1, similarity 96.8 %. 테스트는 그 drift 를 정직하게 보고했고, 글에선 그래야 한다 고 주장한다.

• 다음 사람이 다시 도출하지 않도록 적어둘 만한 6개 교훈. 가운데 4개는 기법, 양 끝 2개는 철학.

왜 지금 이게 필요했나

• 마이크 없음, 스피커 없음. 음향 경로는 자체 문제(Windows mic enhancements, room noise, 하드웨어 편차)를 가진다. raw 모델 쌍을 검증하려면 파일 기반 라운드트립 — WAV 로 합성, WAV 를 STT 에 넘기기 — 가 답.

• Actor 없음, stream 없음. 그건 운용 관심사. 여기서 묻는 건 "중간에 다른 움직이는 부품 없이, TTS 와 STT 가 문자열에 무슨 짓을 하는가?"

• 실제 provider. 어느 쪽이든 mock 하면 의미 없음 — 알고 싶은 건 실제 배포 파이프라인의 실제 hallucination rate 이지 mock 의 rate 가 아님.

flowchart LR
    A["입력 문자열"] --> B["WindowsTts.SynthesizeAsync"]
    B --> C["WAV 바이트"]
    C --> D["File.WriteAllBytes<br/>*-tts.wav"]
    C --> E["WavToPcm.To16kMono<br/>(NAudio resample)"]
    E --> F["PCM 16k mono"]
    F --> G["File.WriteAllBytes<br/>*-stt-input-16k.wav"]
    F --> H["WhisperLocalStt.TranscribeAsync<br/>(medium, CPU)"]
    H --> I["transcript 문자열"]
    A --> J["Normalize<br/>(case + 구두점 + 공백)"]
    I --> J
    J --> K{"== ?"}
    K --> L["VERDICT + diff + 타이밍"]

    classDef io fill:#1f2937,stroke:#0ea5e9,color:#e5e7eb
    classDef pure fill:#0b3d2e,stroke:#10b981,color:#d1fae5
    class B,H,E pure
    class D,G io

[Fact] public Task Korean_short_안녕하세요()         => RunRoundTrip("안녕하세요", language: "ko", caseId: "ko-short");
[Fact] public Task Korean_question_today_weather()  => RunRoundTrip("오늘의 날씨는 어때?", language: "ko", caseId: "ko-question");
[Fact] public Task Korean_long_multi_clause()       => RunRoundTrip(
    "내일의 날씨는 말고 모래의날씨는 흐리고 그리고 주간내내 비올예정입니다.",
    language: "ko", caseId: "ko-long");
[Fact] public Task English_short_hello()            => RunRoundTrip("hello", language: "en", caseId: "en-short");
[Fact] public Task English_question_how_are_you()   => RunRoundTrip("how are you?", language: "en", caseId: "en-question");

교훈 1 — 비교: == 는 너무 엄격하고, Contains 는 너무 느슨하다

private static string Normalize(string s)
{
    if (string.IsNullOrEmpty(s)) return string.Empty;
    var sb = new StringBuilder(s.Length);
    foreach (var c in s)
    {
        if (char.IsWhiteSpace(c)) continue;
        if (char.IsPunctuation(c)) continue;   // .,?!;:'"() 및 유니코드 친척까지 커버
        sb.Append(char.ToLowerInvariant(c));    // 한글에선 no-op
    }
    return sb.ToString();
}

• char.IsPunctuation 을 hard-coded 리스트 대신 사용. smart quote, em-dash, 그리고 Whisper 가 한국어 텍스트에 즐겨 붙이는 전각 구두점까지 잡아낸다.

• ToLowerInvariant 는 무조건 적용. 한글은 case 가 없으니 비용 0이고, 같은 Normalize 가 두 언어 모두에 동작한다. trivially right 한 branchless 코드가 언어별 cleverness 보다 가치 있다.

교훈 2 — Whisper 가 픽스처의 typo 를 자동 교정한다. 테스트는 여전히 떨어진다. 그래서 좋다.

─── COMPARISON ────────────────────────────────────────────────────────
normalised input   : "내일의날씨는말고모래의날씨는흐리고그리고주간내내비올예정입니다"
normalised output  : "내일의날씨는말고모레의날씨는흐리고그리고주간내내비올예정입니다"
exact match        : False
edit distance      : 1
similarity         : 96.8%

VERDICT            : ✗ FAIL — see comparison

"한 글자 차이일 뿐. 임계값을 >= 0.95 PASS 로 올리고 넘어가자."

1. 그 1글자 drift 가 정확히 당신이 원했던 신호다. 스위트의 존재 이유는 TTS+STT 가 content 를 보존하는지 알기 위함이다. Whisper 가 content 를 바꿨다. 그게 질문에 대한 답이다. 변화가 작고 주장하기에 정확 하다는 이유로 숨기는 건 답을 보존하는 게 아니라 버리는 거다.

2. 다음 변화는 양성(benign)이 아닐 거다. 오늘은 누구도 반대하지 않을 동음이의어 교정. 내일은 모델이 사용자가 소유격을 의도했다고 생각해서 송파구 → 송파의 구 (Songpa's borough) — 같은 1-substitution, 같은 "똑똑함", 같은 1-edit-distance, 그러나 정확한 구 이름을 찾는 downstream 코드를 깨뜨림. fuzzy 임계값은 어느 쪽이 일어나는지 알려주지 않는다.

3. 콘솔 dump 가 운영자에게 모든 걸 알려준다. normalised input 과 normalised output 이 옆에 나란히 출력 — diff 가 모래 → 모레 면 리뷰어는 "아, 모델이 내 typo 고쳤네" 하고 넘어간다. 송파구 → 송파의 구 면 리뷰어는 진짜 문제를 본다. 둘 다 1-edit-distance fail 이지만 같은 종류의 문제는 아니다.

교훈 3 — Dual output channel: ITestOutputHelper 그리고 Console.WriteLine

private void Log(string line)
{
    try { _output.WriteLine(line); } catch { /* 실패한 assert teardown 중 helper 가 dispose 됐을 수 있음 */ }
    Console.WriteLine(line);
}

교훈 4 — 오디오는 항상 증거로 저장하라

%TEMP%\agentzero-tts-stt-tests\
  20260429-180920-162-ko-long-tts.wav             ← SAPI 가 만든 것
  20260429-180920-162-ko-long-stt-input-16k.wav   ← Whisper 가 실제로 들은 것

교훈 5 — 성능 베이스라인. 지금 기록하고, 나중에 regress 잡기

• xRT 는 긴 오디오에서 좋아진다. Whisper 의 호출당 오버헤드 — 모델 로드, prompt setup, beam-search 초기화 — 가 짧은 클립을 지배한다. 5.93초 utterance 의 1.68× 가 medium 모델 CPU 정상 상태(steady state) 에 더 가깝다. 0.5초 클립의 ~5× xRT 로 결론 내지 마라.

• TTS 는 STT 보다 두 자릿수 빠르다. 합성은 거의 병목이 아니다. 라운드트립이 느리면 STT 부터 봐라.

• 첫 번째 테스트가 모델 로드 비용을 낸다 (~9초 prep). 같은 스위트의 후속 테스트는 캐시 hit (prep: 0 ms). 5-test 스위트의 wall-clock end-to-end ~50초 — 로컬 반복 OK, CI OK.

• 다른 STT (cloud Whisper, Webnori Gemma, on-device Gemma)

• 다른 모델 크기 (tiny / small / large)

• GPU 가속 (Vulkan / CUDA)

교훈 6 — InternalsVisibleTo 는 state 용이지 helper 용이 아니다

콘솔이 실제로 어떻게 보이는가

═══════════════════════════════════════════════════════════════════════
Round-trip case: ko-question
═══════════════════════════════════════════════════════════════════════
input              : "오늘의 날씨는 어때?"
language           : ko
input chars        : 11
TTS provider       : WindowsTTS (SAPI default voice)
STT provider       : WhisperLocal (model=medium)
OS                 : Microsoft Windows NT 10.0.26200.0
.NET               : 10.0.7

TTS voices available: Microsoft Heami Desktop, Microsoft Zira Desktop, ...
[STAGE 1/3] TTS    : 33 ms · 96150 bytes
WAV saved          : C:\...\agentzero-tts-stt-tests\20260429-180759-870-ko-question-tts.wav
[STAGE 2/3] decode : 1 ms · 69736 pcm bytes (~2.18s audio)
PCM level          : peak=-5.2 dBFS · rms=-21.3 dBFS
STT-input WAV saved: C:\...\agentzero-tts-stt-tests\20260429-180759-870-ko-question-stt-input-16k.wav
STT prep           : 0 ms · ready=True
[STAGE 3/3] STT    : 8915 ms · 4.09x realtime
transcript         : "오늘의 날씨는 어때?"
transcript chars   : 11

─── COMPARISON ────────────────────────────────────────────────────────
normalised input   : "오늘의날씨는어때"
normalised output  : "오늘의날씨는어때"
exact match        : True · edit distance: 0 · similarity: 100.0%

TIMING TOTAL       : 8949 ms (33 synth + 1 decode + 8915 STT)
VERDICT            : ✓ PASS
═══════════════════════════════════════════════════════════════════════

이게 다음에 무엇을 가능하게 하나

• Cloud Whisper swap — 같은 스위트를 WhisperLocalStt 대신 OpenAiWhisperStt 로. 직접적인 latency / 품질 / 비용 trade-off 표를 얻는다.

• Whisper small vs medium — 현재 실행 중인 앱은 비용/속도 위해 small 기본; 테스트 스위트는 품질 측정에 medium 사용. 픽스처마다 둘 다 돌리는 [Theory] row 를 추가하면 합성 벤치마크가 아닌 실제 배포 픽스처 위에서의 small-vs-medium 정확도 갭을 본다.

• Streaming-graph regression — Akka.Streams 출력 그래프가 sentence 별로 chunk 하고 progressive TTS 를 돌리면, 같은 5개 픽스처의 streaming-flavor 변종이 여기 파일 기반 reference 대비 regression 을 잡는다.

• GPU 가속 — 베이스라인의 xRT 컬럼이 Vulkan / CUDA Whisper.net runtime 을 wire 할 때 "이게 더 빠른가" 체크가 된다.

닫는 말

• psmon

TECH LINKS

• 𝕏 @webnori

• 📘 Akka Labs (Facebook group)

• 📝 More writings — webnori wiki