LLM 도입 전 반드시 계산해야 할 '토큰 당 비용'과 ROI 산출법

"LLM 한번 붙여볼까요?" 이 말은 개발팀에서 꽤 가볍게 나오는데요. 그 다음 달 AWS 비용 청구서를 보면 그때 계산 좀 해볼걸… 하는 상황이 종종 생깁니다. LLM 비용은 대부분 토큰 단위로 계산됩니다. 문제는 이게 생각보다 감이 안 온다는 겁니다.

LLM 도입 전에 반드시 계산해야 하는 토큰 비용

한 번 실제 상황을 말씀드리겠습니다.

예전에 내부 FAQ 챗봇 프로젝트가 하나 있었습니다. 사용자가 질문하면 LLM이 답변하는 구조였죠.

개발 자체는 하루면 붙습니다. API 호출 하나면 끝이니까요.

문제는 운영입니다.

처음에는 테스트 트래픽이라서 하루 호출이 200~300건 정도였습니다. 그래서 비용도 거의 안 나옵니다.

그런데 서비스에 붙이고 나니까 상황이 달라지더군요.

체감상 하루 질문이 2만 건 정도까지 올라갔습니다.

그리고 그때 처음 계산을 해봤습니다.

"이거 토큰 비용 계산 안 하면 위험하겠는데?"

그때 팀에서 한번 비용 시뮬레이션을 돌렸습니다.

LLM 비용은 결국 토큰 × 호출 수입니다

LLM 비용 구조는 생각보다 단순합니다.

대부분 이런 방식입니다.

총 비용 = (Input Token × Input 가격) + (Output Token × Output 가격)

예를 들어 보겠습니다.

대략 이런 상황입니다.

• 사용자 질문 평균 토큰: 200
• 시스템 프롬프트: 300
• LLM 응답: 600

그러면 한 번 호출에 들어가는 토큰은 대략 이 정도입니다.

Input Token  = 500
Output Token = 600
Total Token  = 1100

문제는 여기서 끝이 아닙니다.

운영에서는 트래픽이 붙습니다.

예를 들어 하루 요청이 20,000건이라면

1100 tokens × 20,000 requests
= 22,000,000 tokens / day

한 달이면 대략

6억 토큰 정도 됩니다.

이거 생각보다 금방 올라갑니다.

운영에서 트래픽 한번 붙으면 체감됩니다.

LLM ROI 계산은 이렇게 합니다

토큰 비용 계산이 끝났으면 그 다음은 ROI입니다.

LLM 도입의 ROI는 대부분 이런 식입니다.

ROI = 절감된 인건비 또는 운영비 - LLM 비용

예를 들어 보겠습니다.

• 기존 상담 인력: 3명
• 1인 인건비: 월 400만원
• 총 비용: 월 1200만원

LLM 챗봇으로 문의의 60%를 처리한다고 가정하면

• 절감 비용: 약 720만원

그리고 LLM 비용이

• 월 250만원

이면 ROI는 대략 이렇게 됩니다.

ROI = 720만원 - 250만원
    = +470만원

이 정도면 도입할 이유가 충분합니다.

반대로 ROI가 음수면요?

그건 기술 데모지 서비스 기능은 아닙니다.

운영에서 토큰 비용 줄이는 방법

운영 기준으로 보면 토큰 비용은 대부분 프롬프트에서 터집니다.

예를 들어 이런 경우입니다.

system prompt: 2000 tokens
context: 3000 tokens

이거 그대로 운영에 올리면 비용 폭탄 맞습니다.

그래서 보통 이런 방법을 검토합니다.

1. RAG 컨텍스트 제한

검색 결과를 그대로 다 넣지 않습니다.

보통 상위 3개 문서 정도로 제한합니다.

이거 안 하면 토큰 계속 증가합니다.

운영에서 한번 터져보면 바로 이해됩니다.

2. 시스템 프롬프트 최소화

개발 초기에는 프롬프트가 길어집니다.

테스트할 때는 상관 없습니다.

운영에서는 줄여야 합니다.

토큰 비용의 절반이 프롬프트에서 나오는 경우도 있습니다.

3. 캐시 전략

FAQ 같은 경우는 동일 질문이 많습니다.

그래서 이런 구조를 씁니다.

if (redis.exists(question)) {
    return redis.get(question)
}

// 동일 질문 많습니다
// 캐시 안 쓰면 토큰 비용 계속 증가합니다

이거 하나로 비용이 40% 줄기도 합니다.

실제로 그런 케이스도 있었습니다.

LLM 도입 전에 반드시 계산해야 하는 현실적인 부분

LLM은 정말 좋은 도구입니다.

문제는 비용 구조를 모르고 붙이면 운영에서 놀라게 됩니다.

API 붙이는 건 하루면 됩니다.

하지만 운영은 다릅니다.

트래픽이 붙으면 토큰 비용은 계속 올라갑니다.

그래서 저는 보통 LLM 도입할 때 이 세 가지를 먼저 계산합니다.

• 요청당 평균 토큰
• 예상 RPS
• 월 토큰 사용량

이거 계산하고 나면 도입 여부 판단이 훨씬 명확해집니다.

LLM이 모든 문제를 해결해 주지는 않습니다.

특히 비용은 더 그렇습니다.

운영 기준으로 보면 토큰 계산부터 하는 게 맞습니다.