[AI] CI/CD 파이프라인에 AI 모델 평가 자동화 단계 추가하기
CI/CD 파이프라인에 AI 모델 평가 자동화 단계를 넣는다는 것은, 빌드가 성공했는지만 보는 단계에서 한 걸음 더 나아가 응답 품질까지 배포 기준에 포함시키는 일입니다. 코드 테스트와 달리 AI 결과물은 비결정적이라서, 사람이 눈으로 몇 번 확인하는 방식만으로는 회귀를 잡기 어렵습니다. 최근에는 OpenAI Evals, LangSmith, Weave 같은 도구도 모두 평가를 개발 단계와 배포 전 단계에 연결하는 흐름을 강조하고 있습니다. CI/CD 파이프라인에 AI 모델 평가 자동화 단계가 왜 필요한가CI/CD라고 하면 보통 빌드, 단위 테스트, 정적 분석, 배포 정도를 먼저 떠올립니다. 그런데 AI 기능이 들어오면 이야기가 조금 달라집니다. 문법 오류가 없고 API 호출도 정상인데, 응답 품질이 이전..