AI 사용료 청구 금액을 보고 예상보다 비싼 값에 놀란 적 있으신가요? 최근 해외에서 이런 일이 실제로 벌어졌습니다. 그것도 한두 번이 아니라, 이제는 업계 전체가 주목하는 구조적 문제로 번지고 있습니다.

AI 사용료가 예측을 벗어나는 이유

지난 5월, 한 기업이 클로드(Claude) 사용료로 월 5억 달러를 청구 받았다는 보도가 나왔습니다. 컨설턴트 한 명이 전한 얘기라 숫자 자체는 그대로 믿을 필요 없지만, 원인은 생각해 볼 만합니다. 조직 차원의 지출 한도나 사용량 통제가 애초에 없었다는 것입니다.

최근엔 한 사용자에게 251억 원이 청구된 사건도 화제였습니다. 앤트로픽은 자동 충전 설정 오류라고 했는데, 사용자는 자동 충전을 켜둔 적이 없다고 했습니다. 청구가 됐지만, 원인은 아직 아무도 모릅니다. 이런 일들이 하나둘 쌓이면서 "우리도 언젠가 저런 청구서를 받을 수 있다"라는 불안이 번지고 있습니다.

기업 5곳 중 4곳이 AI 비용 예측에 실패합니다

늘어나는 AI 비용은 개별 기업의 해프닝을 넘어, 글로벌 IT 인프라 전반의 구조적 문제로 확산되고 있습니다. 더 심각한 건 '비용 예측' 자체가 안 된다는 점인데요. AI 비용 거버넌스 관련 조사에 따르면 전 세계 기업의 85%가 AI 비용을 오차 10% 이내로 예측하지 못하며, 조사 대상 372개 기업 중 25%는 실제 비용이 예측치보다 15% 이상 벌어졌습니다.

빅테크 기업도 예외는 아닙니다. 마이크로소프트는 개발자 1인당 월 500~2,000달러까지 치솟은 AI 코딩 라이선스 비용을 감당하지 못해 내부 사용을 축소했고, 아마존에서는 일부 직원이 사내 리더보드 상위권을 차지하려고 토큰 소비량을 과장한 사실이 적발되기도 했습니다. AI 지출은 더 이상 소액의 실험 비용이 아니라, 기업 손익계산서를 흔드는 자본 지출이자 운영비로 자리 잡았습니다.

[참고] 비슷한 맥락에서 클라우드 비용이 어디서 새는지 궁금하다면?
👉 AWS 비용이 매달 새는 3가지 구조와 절감 포인트

선두 기업들은 이렇게 대응하고 있습니다

무작정 AI 사용을 줄이는 대신, 글로벌 선두 기업들은 기술적 최적화와 거버넌스 체계를 함께 구축하는 쪽을 택하고 있습니다.

스마트 AI 라우팅으로 작업 난이도에 맞는 모델을 자동 배정합니다

모든 작업에 가장 성능 좋은 모델을 무조건 투입하는 건 비효율적입니다. 메타(Meta)를 비롯한 선도 기업들은 작업의 난이도와 문맥을 자동으로 분석해 적합한 모델로 요청을 분배하는 'AI 라우터'를 개발하고 있습니다. 예를 들어 Switchboard AI 같은 모델 라우터는 사용자나 AI 에이전트의 요청 난이도를 평가해 처리할 모델을 결정합니다. 단순 요약이나 데이터 정제, 일상적인 질문은 저렴한 경량 모델로, 고난도 기획이나 복잡한 리팩토링, 고성능 추론이 필요한 작업은 프리미엄 모델로 자동 배정하는 방식입니다. 이 라우팅 전략만 적용해도 전체 토큰 지출 단가를 낮출 수 있습니다.

하네스(Harness) 설계만으로 토큰 소비를 크게 줄입니다

AI 연구 컨설팅사 시스티마(Systima)에 따르면, AI 비용에는 모델 자체보다 '하네스(Harness)' 설정 방식이 더 큰 영향을 미칩니다. 같은 모델을 쓰더라도 어떤 지시문, 어떤 외부 도구, 어떤 작업 분할 방식과 함께 쓰느냐에 따라 요금이 크게 달라진다는 뜻입니다. 업계에서는 이 설정 층을 하네스라고 부르는데, 한 하네스 판매사는 동일 모델에서 하네스 설계만 바꿔도 토큰 소비량 최대 38%, 과금 비용 최대 41%, 실행 시간 최대 44%를 동시에 절감한 사례가 있다고 밝혔습니다.

FinOps 자동화와 표준화로 비용 이상을 실시간 추적합니다

AWS는 최근 'AWS FinOps Agent'를 공개했습니다. 비용이 갑자기 튀는 이상 징후가 발생하면 원인을 추적해 Jira 티켓을 생성하고, Slack으로 담당 개발자에게 즉시 알림을 보내 대응 지연을 최소화하는 방식입니다. 엔지니어링 워크플로 안에서 AI ·클라우드 비용 이상을 자동 추적하는 기능도 추가될 예정입니다. 한편 리눅스 재단은 구글 클라우드, 마이크로소프트, 액센츄어 등의 지지를 받아 'Tokenomics Foundation'을 출범하고, 클라우드 비용 표준 사양인 FOCUS(FinOps Open Cost and Usage Specification)를 확장해 토큰 소비를 실시간으로 가시화하는 표준 프레임워크를 마련하고 있습니다.

[참고] AI 인프라 의존도가 높아질수록 커지는 다른 리스크도 궁금하다면?
👉 클라우드 송환이 답일까? 비용 폭증의 진짜 원인과 해법

전담 핀옵스팀이 없는 기업이 지금 확인해야 할 3가지

대기업처럼 자체 핀옵스(FinOps) 전담팀을 두거나 거대한 라우팅 인프라를 직접 개발하기 어려운 기업이라면, 아래 세 가지부터 확인해 보시길 권합니다.

• AI 사용액을 팀·용도별로 나눠서 볼 수 있나요? 청구서가 한 덩어리로 오면 절감 논의 자체가 시작되기 어렵습니다.
• 자동 충전 설정과 지출 한도가 함께 걸려 있나요? 한도 없는 자동 충전에 재시도 루프까지 겹치면, 청구액은 걷잡을 수 없이 불어납니다.
• 배치·자동화 워크플로에 재시도 횟수 상한과 타임아웃이 걸려 있나요? 사람이 낮 시간에 쓰는 비용보다, 자동화가 밤새 돌며 쓰는 비용이 더 커지기 쉽습니다.

핵심은 '보이느냐, 안 보이느냐'입니다. 지금 우리 회사 AI 비용을 누가 얼마나 쓰는지 보인다면 관리할 수 있지만, 안 보이면 청구서를 받고 나서야 알게 됩니다. 위 체크포인트 중 하나라도 "어, 이거 확인 안 해봤는데" 싶은 항목이 있다면, 오늘 바로 점검해 보시길 권해드립니다.

파이브클라우드는 AI ·클라우드 인프라 전반의 비용 가시성 확보부터 사용량 기반 예산 통제 체계 수립까지 함께 설계합니다. 청구서를 받고 놀라는 대신, 미리 통제할 수 있는 구조를 지금부터 준비해 보세요.