AI 토크노믹스: 토큰 기반의 TCO 분석과 AI 비용 최적화 전략

기업 IT 예산에서 AI 지출이 차지하는 비중이 빠르게 커지고 있으며, 일부 기업에서는 절반에 달합니다. 기존 IT 예산은 소프트웨어 사용권이나 서버 단위로 산정되어 예측하기 쉬웠지만, AI 지출은 비선형적으로 증가해 예측이 어렵습니다. 토큰 사용량이 AI 추론 방식에 따라 달라지고, 여러 추론 단계를 거치는 고급 추론 모델은 단순 응답 모델보다 연산량이 훨씬 많기 때문입니다.

성과를 검증하기도 쉽지 않습니다. 의사결정권자의 45%는 기초 수준의 AI 자동화도 투자수익률(ROI)을 달성하는 데 최대 3년이 걸릴 것으로 예상했고, AI 투자가 측정 가능한 가치를 창출한다고 답한 재무 리더는 28%였습니다. 따라서 토큰 단위로 AI 지출을 추적, 예측, 최적화하는 비용 관리 체계가 우선되어야 합니다.

기업은 컴퓨트 비용을 주로 라이선스, 사용자 수, 서버 사용 시간으로 산정하지만, 이 기준으로는 AI의 실제 사용량과 비용 발생 구조를 충분히 설명하지 못합니다. AI 비용은 토큰 사용량과 토큰당 단가로 정해지는데, 비선형 수요, 사용량 변동, 가격 변동 때문에 예측하고 통제하기 어렵습니다.

조달 방식에 따라 비용 가시성과 장단점도 다릅니다. SaaS는 운영이 간편하지만 토큰 비용이 구독료에 포함되어 드러나지 않는 경우가 많습니다. API는 토큰 사용량과 단가를 확인할 수 있으나 프롬프트 길이 등에 따라 지출이 달라집니다. AI 팩토리는 인프라 비용을 직접 파악할 수 있지만 초기 투자 부담이 크고 운영 역량이 필요합니다. 대부분의 글로벌 기업은 시험적 워크로드를 API로, 규모가 크고 안정된 워크로드를 AI 팩토리로 처리하는 하이브리드 방식을 취합니다.

토큰 비용은 기술 스택, 호스팅 방식, AI 모델이라는 세 가지 요인에 따라 결정됩니다. 기술 스택에서는 GPU 구매·임대 비용이 가장 큰 비중을 차지하며, 차세대 GPU 랙은 전력 소비가 250~300kW로 일반 서버(10~15kW)보다 훨씬 커서 전력, 냉각, 시설 비용도 토큰 처리 비용에 반영됩니다.

호스팅 방식은 온프레미스, 콜로케이션, 네오클라우드, 하이퍼스케일러, API로 나뉘며 방식마다 비용 구조와 통제 범위가 다릅니다. 온프레미스는 초기 자본지출이 크지만 GPU 시간당 단가가 약 1~2달러로 가장 낮고, API는 모델과 처리 조건에 따라 출력 토큰 100만 개당 0.40~100달러 이상으로 편차가 매우 큽니다.

AI 모델은 개방형과 폐쇄형으로 나뉩니다. 개방형은 이용료가 없거나 낮고 파인튜닝과 데이터 주권 확보에 유리하지만 인프라와 운영 비용을 직접 부담해야 합니다. 폐쇄형은 구축 없이 최신 모델을 바로 쓸 수 있지만 토큰당 비용이 높고 벤더 종속 위험이 있습니다.

딜로이트는 온프레미스 AI 팩토리, 전문 네오클라우드 제공자(NCP), API의 TCO를 연차별 사용 시나리오로 시뮬레이션했습니다. 연간 토큰 사용량이 100억 개인 1년차에는 사용한 만큼만 지불하는 API가 가장 저렴했지만, 2년차부터는 AI 팩토리가 고정 인프라 비용을 더 많은 토큰에 분산하고 가동률을 높여 가장 낮은 비용을 보였습니다. 3년간의 누적 TCO는 API가 AI 팩토리의 약 2.1배였습니다.

사용량별 토큰당 비용으로 보면 NCP는 연간 490억 토큰부터, AI 팩토리는 670억 토큰부터 API보다 저렴해졌고, 840억 토큰을 넘어서면 AI 팩토리가 세 방식 중 가장 낮았습니다. 100억 토큰 규모에서 AI 팩토리의 TCO는 컴퓨트가 53%를 차지했습니다.

시사점은 세 가지입니다. 업무별 사용량과 특성을 측정해 우선순위를 정하고, 현재 사용량뿐 아니라 향후 수요를 함께 분석하며, 모듈형 하이브리드 아키텍처로 벤더 종속을 줄여 기술과 수요 변화에 대응해야 합니다.

과잉지출은 업무에 필요한 수준보다 큰 모델이나 인프라를 쓰는 데서 흔히 생깁니다. 특정 업무에서는 소형 모델이나 파인튜닝한 모델로도 더 적은 토큰으로 비슷한 정확도를 얻을 수 있고, 이상 탐지나 분류 같은 작업에는 중급 GPU나 CPU가 비용 측면에서 더 적합할 수 있습니다. 높은 성능이 꼭 필요한 업무에만 대형 모델을 쓰고 나머지는 소형·개방형 모델로 처리하는 병행 전략도 유용합니다.

설계 단계에서는 단순한 업무에 긴 추론을 돌리지 않도록 의사결정 트리와 규칙 기반 엔진을 활용하고, 양자화, 프루닝, 지식 증류 같은 모델 최적화와 검색증강생성(RAG), 응답 캐싱, 배치 처리 같은 추론 설계로 불필요한 토큰 사용을 줄입니다.

운영 단계에서는 GPU 사용 시간과 토큰 사용량을 통합 모니터링하고, 태그로 사업부별 비용을 배분하며, 예산 알림과 API 사용량 상한을 두어야 합니다. 재무·기술·사업 조직이 함께 관리하는 FinOps를 적용하면 투자 승인과도 연결할 수 있습니다.

AI 워크로드는 사용 방식과 추론 복잡도에 따라 비선형적으로 커지므로, 경영진은 토큰 사용량과 처리 비용을 함께 살펴보고 AI 사용을 가치 창출과 연결해야 합니다. 관리 체계가 없으면 AI 지출이 파악되지 않은 채 늘거나 되돌리기 어려운 인프라 약정에 묶일 수 있습니다.

경영진이 고려할 시사점은 네 가지입니다. 비용의 최종 부담 주체와 가격 반영 구조를 파악하고, 사용 규모에 맞춰 조달 방식을 선택하며, 인프라, 설계, 사용량을 함께 관리해 비용 증가를 억제하고, 인건비 절감액과 AI 처리 비용을 함께 평가해야 합니다.

실행 기반으로는 업무에 맞는 환경에 워크로드를 배치하는 하이브리드 인프라와, 토큰 사용량과 비용을 지속적으로 측정하고 통제하는 FinOps를 결합하는 것이 필요합니다. 그 출발점은 현재 어떤 서비스를 누가 어떤 업무에 쓰는지 파악하고, 청구 내역과 사용 기록을 조직·업무별로 연결해 관리 책임을 정하는 일입니다.