AI 폴백 서버와 직접 만든 하루 토큰 예산 추적기

Wed, 23 Sep 2026 08:02:11 +0900

무료 AI API 하나만 물려서 쓰면 반드시 하루 어딘가에서 한도에 걸린다. 이걸 해결하려고 만든 게 3단 폴백 구조의 작은 FastAPI 서버였다.

순서는 Cloudflare Workers AI → Groq → Gemini다. 처음엔 Gemini를 1순위로 뒀는데, 자동응답 기능이 Gemini의 하루 500회 한도를 낮 시간에 다 써버리면 정작 사람이 직접 명령어를 칠 때 쓸 한도가 안 남는 문제가 있었다. 그래서 “사실상 무제한"이라고 생각했던 Cloudflare Workers AI를 앞으로 보내고, 응답 형식이 엄격하게 필요한 자동응답 호출만 별도로 Groq부터 시작하도록 순서를 분기했다.

카카오톡 챗봇에 여러 AI 모델을 자동 폴백으로 엮은 구조

Sun, 20 Sep 2026 18:20:00 +0900

이 휴대폰 서버의 핵심 기능 중 하나는 카카오톡으로 말을 걸면 AI가 답해주는 개인용 챗봇입니다. 처음엔 모델 하나만 붙여도 될 줄 알았는데, 무료 티어의 일일/분당 한도에 자주 걸리면서 “한도가 다 찼을 때 챗봇이 그냥 조용해지는” 문제를 겪었고, 이를 해결하기 위해 여러 AI 모델을 자동으로 오가는 폴백 구조를 만들게 됐습니다.

문제: 모델 하나에 의존하면 챗봇이 먹통이 된다

무료 API 한도는 모델마다 다르게 책정되어 있고, 사용량이 몰리는 시간대에는 순식간에 소진됩니다. 한 모델만 쓰면 한도를 넘는 순간부터 챗봇이 응답하지 않는 시간대가 생깁니다. 개인용으로 24시간 돌리는 챗봇이라면 이건 꽤 치명적인 문제였습니다.

AI폴백 on Simon의 AI 시대에 살아남는 법

AI 폴백 서버와 직접 만든 하루 토큰 예산 추적기

카카오톡 챗봇에 여러 AI 모델을 자동 폴백으로 엮은 구조

문제: 모델 하나에 의존하면 챗봇이 먹통이 된다