DEVOPS · INFRASTRUCTURE · RCA

Evidence-driven
Infrastructure Engineering

장애를 추측하지 않고 증거로 좁혀갑니다. Kubernetes, Linux, Network와 RCA 플랫폼을 직접 운영하며 남긴 엔지니어링 저널입니다.

최신 기록 보기 ↘ RCA Lab 살펴보기

01collect

02correlate

03verify

EVIDENCE 27 field notes

27Total notes

20RCA notes

5Incidents

37Topics

FIELD NOTES UPDATED 2026.08.10

TOPICS RCA20 Kubernetes18 DevOps12 AIOps7 Node Agent7 Security6

FEATURED EVIDENCE

최근 장애를 어떻게 좁혔는지

Troubleshooting 전체 보기 →

TROUBLESHOOTING

Troubleshooting · 2026.08.10 · 4 min read

rclone Google Drive RATE_LIMIT_EXCEEDED 해결기

이슈 발생: 2026-08-09 · 발행 기준: 2026-08-10 08:26 KST 환경: Kubernetes CronJob, restic, rclone, Google Drive Kubernetes에서 Ghost 데이터를 restic으로 암호화한 뒤 rclone을 통해 Google Drive에 보내는 백업을 구성했다. 백업 Job은 재시도 끝에 성공하기도

분석 기록 읽기 ↗

ANALYSIS METHODEDITORIAL FLOW

01
Event scope증상과 영향 범위
→
02
System role현재 역할과 경계
→
03
Evidence usage파일과 프로세스 대조
→
04
Root cause가설을 증거로 검증
→
05
Verification복구 후 상태 확인
✓

LATEST FIELD NOTES

운영 과정에서 남긴 최신 기록

Ghost가 최신 글·태그·날짜를 자동으로 구성합니다

Troubleshooting 2026.08.10

rclone Google Drive RATE_LIMIT_EXCEEDED 해결기

이슈 발생: 2026-08-09 · 발행 기준: 2026-08-10 08:26 KST 환경: Kubernetes CronJob, restic, rclone, Google Drive Kubernetes에서 Ghost 데이터를 restic으로 암호화한 뒤 rclone을 통해

4 min read ↗

Troubleshooting 2026.08.09

Rancher 502와 단일 장애점: Tunnel부터 Pod까지 추적하기

이슈 발생: 2026-08-08 · 발행 기준: 2026-08-09 18:43 KST 환경: RKE2, Rancher, Cloudflare Tunnel, Traefik/Service DNS Rancher를 Cloudflare Tunnel로 공개할 때 502만 보고

5 min read ↗

Troubleshooting 2026.08.09

Cloudflare Tunnel 뒤의 Traefik·Hubble이 열리지 않았던 이유

이슈 발생: 2026-08-08 · 발행 기준: 2026-08-09 10:17 KST 환경: RKE2, Traefik, Cilium Hubble, Cloudflare Tunnel Cloudflare Tunnel의 원점을 http://rke2-traefik.kube-system.

4 min read ↗

Troubleshooting 2026.08.09

RKE2 Agent의 인증서 만료 경고가 실제 만료가 아니었던 이유

Rancher의 인증서 만료 경고가 활성 Agent 인증서가 아니라 과거 Server 데이터에 남은 인증서에서 발생한 사실을 확인하고 안전하게 정리한 과정을 기록했습니다.

5 min read ↗

Troubleshooting 2026.08.08

RKE2·Tailscale·OCI LPG 중첩 라우팅 장애 해결기

OCI LPG로 가야 할 RKE2 노드 간 트래픽이 Tailscale 정책 라우팅으로 우회하면서 etcd와 Cilium 연결이 무너진 원인과 복구 과정을 정리했습니다.

5 min read ↗

RCA 2026.08.04

Durable Analysis Pipeline과 검증된 이미지로 운영 경계를 닫기

Evidence 저장과 분석을 DB task로 분리하고 lease·retry·outbox를 적용한 뒤, CI를 통과한 이미지와 SBOM·취약점 게이트까지 연결한 마무리 과정을 정리했습니다.

4 min read ↗

RCA LAB · PROJECT LOG

장애 원인을 설명할 수 있는
플랫폼을 만드는 과정

Node에서 증거를 수집하고, 규칙 기반 분석과 제한된 LLM 보조를 거쳐 검증 가능한 RCA 보고서로 만드는 과정을 순서대로 기록합니다.

RCA Lab 전체 보기 ↗

01Collect

Node · Runtime · CNI · Systemd

02Normalize

Evidence quality · Freshness

03Analyze

Rule engine · Bounded LLM

04Verify

Regression · Integrity bundle

Evidence-drivenInfrastructure Engineering

최근 장애를 어떻게 좁혔는지

rclone Google Drive RATE_LIMIT_EXCEEDED 해결기

운영 과정에서 남긴 최신 기록

rclone Google Drive RATE_LIMIT_EXCEEDED 해결기

Rancher 502와 단일 장애점: Tunnel부터 Pod까지 추적하기

Cloudflare Tunnel 뒤의 Traefik·Hubble이 열리지 않았던 이유

RKE2 Agent의 인증서 만료 경고가 실제 만료가 아니었던 이유

RKE2·Tailscale·OCI LPG 중첩 라우팅 장애 해결기

Durable Analysis Pipeline과 검증된 이미지로 운영 경계를 닫기

장애 원인을 설명할 수 있는플랫폼을 만드는 과정

Evidence-driven
Infrastructure Engineering

장애 원인을 설명할 수 있는
플랫폼을 만드는 과정