LLM 도입 전 반드시 계산해야 할 '토큰 당 비용'과 ROI 산출법

"LLM 한번 붙여볼까요?" 이 말은 개발팀에서 꽤 가볍게 나오는데요. 그 다음 달 AWS 비용 청구서를 보면 그때 계산 좀 해볼걸… 하는 상황이 종종 생깁니다. LLM 비용은 대부분 토큰 단위로 계산됩니다. 문제는 이게 생각보다 감이 안 온다는 겁니다.LLM 도입 전에 반드시 계산해야 하는 토큰 비용한 번 실제 상황을 말씀드리겠습니다.예전에 내부 FAQ 챗봇 프로젝트가 하나 있었습니다. 사용자가 질문하면 LLM이 답변하는 구조였죠.개발 자체는 하루면 붙습니다. API 호출 하나면 끝이니까요.문제는 운영입니다.처음에는 테스트 트래픽이라서 하루 호출이 200~300건 정도였습니다. 그래서 비용도 거의 안 나옵니다.그런데 서비스에 붙이고 나니까 상황이 달라지더군요.체감상 하루 질문이 2만 건 정도까지 올라갔..