다중 LLM 키·라우팅 지옥 끝낸 LiteLLM 2.x AI Gateway
Ⅰ. LiteLLM 기술이란? ⅰ. 기존 방식(제공자별 SDK 직접 호출)의 한계2023년만 해도 OpenAI 하나만 잘 다루면 됐습니다. 2024~2025년을 거치며 Anthropic Claude, Together, Fireworks, DeepSeek, AWS Bedrock(Claude·Llama·Mistral·Nova), Vertex(Gemini), Azure OpenAI, Groq, Qwen이 동시에 운영 자산이 됐습니다. 여기서 6가지 운영 통증이 반복됩니다. 1) SDK 분열 : openai-python, anthropic, boto3, google-genai, mistralai… 각자 응답 스키마·예외 클래스·스트리밍 포맷이 다르다. 같은 “429 too many requests”도 SDK마..
2026. 6. 9.