Production-like·Blind Corpus로 RCA 품질을 분리 검증하기
규칙을 만든 사람이 정답도 함께 보는 문제를 줄이기 위해 golden, production-like, blind evaluation을 분리하고 실제 managed sample 승격 경계까지 설계했습니다.
TOPIC COLLECTION
AIOps
7 postsLLM을 진단 보조로 제한한 RCA 파이프라인 설계
LLM이 장애 원인을 단정하거나 조치를 실행하지 않도록 Rule-based RCA 뒤의 제한된 보조 단계에 배치하고, 실패해도 보고서가 유지되도록 설계한 과정을 정리했습니다.
RCA 품질을 감으로 판단하지 않기: Evidence Quality와 회귀 게이트
신호가 검출됐다는 사실과 믿을 수 있는 RCA 결론은 다릅니다. Evidence 신선도·수집 상태·회귀 지표를 품질 게이트로 만든 이유와 구현 과정을 정리했습니다.
RCA 플랫폼을 관리 가능한 형태로 다듬기
Docker Compose로 실행 구조를 묶은 뒤, cluster 삭제, RCA report export, README 정리까지 진행하면서 프로젝트를 실제로 관리 가능한 플랫폼 형태로 다듬은 과정을 정리했습니다.
RCA 결과를 운영자가 이해할 수 있게 만들기: Web Console 설계
RCA report가 생성되더라도 운영자가 근거를 따라가며 이해할 수 없다면 실무에서 쓰기 어렵습니다. Web Console을 붙이면서 report 목록, 상세 화면, policy 판단, 에러 표시를 어떻게 설계했는지 정리했습니다.
RCA 플랫폼에 인증과 드릴다운을 붙이면서 배운 것
RCA report가 만들어지기 시작하자, 이제 중요한 문제는 “누가 이 정보를 볼 수 있는가”와 “운영자가 어떤 근거까지 따라가 볼 수 있는가”였습니다. 인증, RBAC, webhook 인증, report drilldown, 그리고 실제 노드 증거 수집 과정에서 고민했던 내용을 정리했습니다.
