LLM을 실제 사용자 흐름에 넣으면서 붙인 판정 기준과 안전장치.
4편
라이브 채팅의 신청곡 한 줄을 스트리머 노래책의 곡으로 매칭하는 파이프라인 전체를 코드 수준으로 정리합니다. 어떤 메시지를 신청으로 볼지 가르는 티어 분류기의 실제 상수부터 10단계 결정론적 캐스케이드, 자모 단위 fuzzy, 프롬프트 캐싱을 건 LLM 판정과 환각 차단까지 다룹니다.
결정론적 매칭이 회수하지 못한 3,067곡을 LLM 에이전트 배치로 되찾았습니다. 죽어 있던 상한, 서버 안의 HTTP 클라이언트가 된 도구, 리스 기반 멱등성, 회수율 게이트, 그리고 에이전트가 물러선 곡을 사람이 확정하는 검수 대기열까지 실제 코드와 실제 수치로 정리합니다.
라이브 방송을 녹화해 신청곡 한 곡 구간만 클립으로 만드는 파이프라인입니다. 파드 하나가 축출되며 녹화 4건이 사라진 사고, Kubernetes Job으로 옮기자 이어하기가 따라온 과정, 가사와 STT를 겹쳐 경계를 찾는 알고리즘, 그리고 클립이 0개가 된 날 드러난 네 겹의 원인을 실제 코드와 수치로 정리합니다.
AI로 인프라를 운영하다 AWS Secrets Manager auto-rotation 장애를 겪은 이야기. AI가 장애를 분석하기도, 2차 장애를 만들기도 한 경험에서 배운 Vibe Infra의 규칙들.
