[AI] AI 서비스도 모니터링이 필요하다: LangSmith와 Arize Phoenix 도입기

처음에는 응답만 잘 나오면 된다고 생각했습니다. 그런데 실제 서비스에 붙여보면 금방 다른 문제가 보입니다. 서버는 멀쩡한데 답변 품질이 흔들리고, 같은 질문인데 어떤 날은 잘 되고 어떤 날은 엉뚱하게 흐릅니다. 이 시점부터는 단순한 서버 모니터링이 아니라, LangSmith와 Arize Phoenix 같은 도구로 응답 품질과 추론 과정을 같이 봐야겠다는 생각이 들더군요.모니터링이 필요한 이유, LangSmith와 Arize Phoenix를 보기 전에 먼저 겪는 문제이 주제에서 중요한 것은 CPU나 메모리 그래프가 아닙니다. LangSmith나 Arize Phoenix를 검토하게 되는 순간은 보통 이런 때입니다. API는 정상 응답인데 품질이 떨어지고, 같은 프롬프트인데 결과 편차가 크고, retrieva..