AI와 함께 인프라를 굴리며 만든 장애, 그리고 거기서 세운 운영 원칙들.
5편
AI로 인프라를 운영하다 AWS Secrets Manager auto-rotation 장애를 겪은 이야기. AI가 장애를 분석하기도, 2차 장애를 만들기도 한 경험에서 배운 Vibe Infra의 규칙들.
임시 버퍼와 추출 결과물을 한 버킷에 담아둔 상태에서 범위를 지정하지 않은 만료 규칙을 넣었습니다. 각각은 안전했던 두 결정이 만나 문제를 가렸고, 전혀 다른 작업에서 만난 403이 그 사실을 알려준 기록입니다.
온프렘 단일 k3s 노드에서 kubelet maxPods와 PodCIDR 한계를 함께 조정하며 겪은 운영 기록입니다. 단순 설정 변경으로 끝나지 않았던 이유와 테스트에서 확인한 한계를 정리합니다.
수집 채널 수를 KEDA의 확장 신호로 바꾸고, Karpenter와 Spot Instance로 필요한 Worker와 노드를 공급하며 만든 운영 원칙을 공유합니다.
노래책 콘솔에서 YouTube 반주 영상을 직접 재생하려고 만든 게이트웨이입니다. 추출과 다운로드를 한 노드에 묶어야 했던 이유, 출구 IP가 통째로 차단됐던 사고, 일관 해시로 singleflight를 살린 방법, 캐시 히트를 CloudFront로 넘긴 구조를 실제 코드와 설정으로 정리합니다.
