kubernetes ·
노래클립 자동생성 파이프라인 - 방송 녹화, STT, Agent 판정
라이브 방송을 녹화해 신청곡 한 곡 구간만 클립으로 만드는 파이프라인입니다. 파드 하나가 축출되며 녹화 4건이 사라진 사고, Kubernetes Job으로 옮기자 이어하기가 따라온 과정, 가사와 STT를 겹쳐 경계를 찾는 알고리즘, 그리고 클립이 0개가 된 날 드러난 네 겹의 원인을 실제 코드와 수치로 정리합니다.
조현우 62 min read go ·
SOOP, 치지직, 씨미 채팅 수집 커넥터로 12,000개 방송 채팅 수집하기
치지직, SOOP, 씨미 세 곳에서 수천 개의 채팅 WebSocket을 동시에 유지하며 만난 문제입니다. 두 겹 keepalive가 각각 다른 죽음을 잡는 이유, 68,248번의 Ping/Pong 측정이 상수를 정한 과정, 공유 출구 IP 하나가 만든 P0 인시던트를 코드와 함께 정리합니다.
조현우 49 min read kubernetes ·
단일 k3s 노드에서 110개 Pod 제한을 넘기기
온프렘 단일 k3s 노드에서 kubelet maxPods와 PodCIDR 한계를 함께 조정하며 겪은 운영 기록입니다. 단순 설정 변경으로 끝나지 않았던 이유와 테스트에서 확인한 한계를 정리합니다.
조현우 8 min read aws ·
비용을 줄이려 넣은 S3 Lifecycle 한 줄이 만든 장애
임시 버퍼와 추출 결과물을 한 버킷에 담아둔 상태에서 범위를 지정하지 않은 만료 규칙을 넣었습니다. 각각은 안전했던 두 결정이 만나 문제를 가렸고, 전혀 다른 작업에서 만난 403이 그 사실을 알려준 기록입니다.
조현우 7 min read devops ·
Vibe Infra로 장애를 만들고, 장애에서 배우다
AI로 인프라를 운영하다 AWS Secrets Manager auto-rotation 장애를 겪은 이야기. AI가 장애를 분석하기도, 2차 장애를 만들기도 한 경험에서 배운 Vibe Infra의 규칙들.
조현우 11 min read