AI 비용은 모델 단가가 아니라 통제 실패에서 샜다

AI 에이전트를 세팅할 때 가장 먼저 비교한 것은 모델의 가격과 성능이었습니다. 그런데 한 달쯤 지나서 보니, 비용을 결정한 것은 모델의 단가가 아니라 제가 실제로 어떤 모델을 호출하고 있는지 통제할 수 있느냐였습니다.

무료 모델에서 시작한 이유

이미 Claude는 구독해서 쓰고 있었습니다. Hermes는 비용 부담을 줄이기 위해 StepFun의 무료 모델로 시작했습니다. 시작 단계에서는 합리적인 선택처럼 보였습니다. 다만 실제로 대화를 쌓고, 여러 역할의 에이전트가 맥락을 이어받아야 하는 상황에서는 답변 품질이 기대에 미치지 못했습니다. 문맥을 충분히 붙여도 한국어 답변의 밀도와 판단 품질이 아쉬웠습니다.

다음 선택은 DeepSeek V4 Flash였습니다. 벤치마크에서 좋은 평가를 받았고, 긴 컨텍스트를 다룰 수 있으며 속도도 빨랐습니다. 실제로 써보니 한국어 답변 품질도 나쁘지 않았습니다. 무엇보다 Flash는 저렴했습니다. 이 조합이면 성능과 비용 사이의 균형을 잡을 수 있다고 판단했습니다.

문제는 모델 통제였다

운영 원칙은 분명했습니다. Hermes에서는 Flash만 쓴다. 비용이 더 큰 Pro는 호출하지 않는다. 설정에서도 Pro를 막아두고 여러 번 확인했습니다.

그런데 실제 운영에서는 Flash가 해결하지 못하는 요청에서 Pro 호출이 계속 섞였습니다. 한 번의 고가 호출이 치명적인 것은 아니었습니다. 문제는 대화, 재시도, 역할별 작업, 자동화가 쌓이면서 그 호출이 눈에 잘 띄지 않는다는 점이었습니다.

처음에는 월 API 비용이 조금 올라가는 정도로 생각했습니다. 하지만 확인할수록 Flash만 썼다고 믿었던 운영과 실제 청구가 달랐습니다. 결국 DeepSeek API 비용이 GPT 구독료 20달러보다 커지는 상황까지 갔습니다. 저렴한 모델을 고른 이유가 사라진 순간이었습니다.

설정에 적어둔 것과 실제 호출 로그가 다르다면, 가격표는 의미가 없습니다.

GPT 구독으로 옮긴 이유

결국 GPT 구독을 추가했습니다. 여기서 중요한 것은 GPT가 항상 더 싸거나, 구독이 API보다 우월하다는 결론은 아닙니다. 대량 자동화, 서버 간 호출, 정해진 입력을 반복 처리하는 일은 여전히 API가 더 적합할 수 있습니다.

다만 제 운영에서는 매일 반복되는 대화, 맥락을 붙인 검토, 콘텐츠 초안, 판단 보조처럼 사용량을 미리 예측하기 어려운 일이 많았습니다. 그래서 예측할 수 없는 호출마다 비용을 계산하는 방식보다, 월 고정비 안에서 부담 없이 사용하고 결과를 검토하는 방식이 더 맞았습니다.

앱 개발을 진행하며 고정 구독료보다 수입이 커지는 시점이기도 했습니다. 비용 자체보다 불확실성에 쓰던 신경을 줄일 수 있다는 점이 더 컸습니다.

이 경험에서 가장 크게 바뀐 것은 AI를 쓰는 태도입니다. 이전에는 더 싼 모델을 찾으면 비용 관리가 끝날 것이라 생각했습니다. 이제는 가격표를 보기 전에, 운영 화면에서 어떤 모델이 실제로 선택 되는지, 예외 상황에서 누가 더 비싼 모델로 넘어가는지를 먼저 봅니다.

구독과 API를 경쟁 관계로 볼 필요도 없습니다. 질문과 검토가 계속 바뀌고 사람의 판단이 자주 개입되는 작업은 구독이 마음 편한 선택일 수 있습니다. 반대로 입력 형식이 정해져 있고, 실행 횟수와 결과를 측정할 수 있으며, 실패할 때 즉시 멈추게 만들 수 있는 작업은 API가 더 효율적일 수 있습니다. 핵심은 한쪽으로 통일하는 것이 아니라, 서로 다른 비용 구조에 서로 다른 일을 배치하는 것입니다.

비용을 볼 때 확인해야 할 3가지

개인 운영자라면 특히 숨은 비용을 계산해야 합니다. 이번 달 API가 얼마나 나올지 걱정하며 로그를 확인하는 시간, 원치 않는 모델 호출을 막기 위해 설정을 다시 만지는 시간, 높은 청구서를 보고 나서야 작업 방식을 바꾸는 시간도 모두 운영비입니다.

이제 AI 도입 비용을 볼 때 모델별 토큰 가격부터 비교하지 않습니다.

먼저 세 가지를 확인합니다.

1. 특정 모델을 정말 고정할 수 있는가. 설정과 실제 호출 로그가 일치하는지 확인합니다.
2. 실패와 재시도는 누가 부담하는가. 답변 품질이 낮아 다시 요청하고, 모델을 바꾸고, 자동화를 재실행하는 과정까지 비용 구조에 넣어야 합니다. 가장 싼 호출이 가장 싼 결과를 뜻하지는 않습니다.
3. 한 달 뒤 비용을 예측할 수 있는가. 비용이 낮더라도 상한을 알 수 없다면, 개인 운영자에게는 판단 피로와 불안정성이 됩니다. 반대로 구독료가 고정돼 있어도 실제 업무 흐름에 맞지 않으면 낭비가 됩니다.

남은 과제

AI 비용은 모델 하나를 고르는 문제가 아니라, 사람·에이전트·자동화가 함께 움직일 때 어떤 비용을 허용하고 어디에서 멈출지 설계하는 문제였습니다. Flash와 Pro의 경계를 완전히 통제할 수 없다는 사실을 확인한 뒤, 성능 경쟁보다 비용의 예측 가능성을 택했습니다.

좋은 AI 운영은 가장 싼 모델을 찾는 일이 아닙니다. 내 작업 방식에서 비용이 새는 경로를 알고, 그 경로를 감당할 수 있는 방식으로 바꾸는 일에 더 가깝습니다. 다음에는 모델별 실행량과 비용 상한을 함께 기록해, 판단이 실제 운영에서도 유지되는지 확인해보려 합니다.

자주 묻는 질문

Q1. DeepSeek Flash와 Pro의 비용 차이가 큰가요? 정확한 단가는 시점마다 달라질 수 있어 이 글에서 수치로 단정하지 않습니다. 다만 저의 경험에서는 Flash 대비 Pro 호출이 섞이는 것 만으로도 월 비용 구조가 크게 달라졌습니다.

Q2. Pro 호출을 막아뒀는데도 왜 계속 발생했나요? 설정상 차단과 실제 라우팅 동작이 항상 일치하지는 않았습니다. 이 부분은 특정 서비스의 동작을 단정하기보다, 제 운영 환경에서 Flash 고정이 유지되지 않았던 경험으로 이해해주시면 됩니다.

Q3. API 대신 GPT 구독으로 바꾸면 항상 더 저렴한가요? 아닙니다. 사용량이 일정하고 예측 가능한 대량 자동화에는 API가 더 유리할 수 있습니다. 사용량을 예측하기 어려운 대화형 업무에서 구독이 더 맞았던 것은 제 운영 방식에 한정된 결론입니다.

Q4. 1인 운영자가 AI 비용을 관리할 때 가장 먼저 봐야 할 것은 무엇인가요? 가격표보다 실제 호출 로그를 먼저 확인하는 것을 권합니다. 설정과 실제 동작이 일치하는지가 비용 예측의 출발점입니다.

Q5. 구독과 API를 함께 쓰는 것이 가능한가요? 가능합니다. 저도 Claude 구독, GPT 구독, DeepSeek API를 작업 성격에 따라 나눠 쓰는 방향으로 정리했습니다.