토큰관리

앞선 글에서 다룬 다중 AI 모델 폴백 구조가 제대로 작동하려면, 지금 각 모델의 한도가 얼마나 남았는지를 정확히 알아야 합니다. 이번 글은 무료 티어 한도 안에서 챗봇을 24시간 돌리기 위해 실제로 적용한 관리 방법들입니다. 사용량을 모델별로 따로 기록한다 모든 AI 호출 결과를 로그 파일에 남기되, 모델별로 분리해서 관리합니다. Groq는 일일 토큰 총량을 별도 파일에 누적 기록하고, 다른 모델들도 각자의 한도 체계(요청 수 기준, 토큰 수 기준 등)에 맞춰 따로 추적합니다. 이렇게 모델별로 분리해두지 않으면 폴백 순서를 정할 때 “지금 어떤 모델이 여유가 있는지"를 판단할 근거가 없습니다.