Проблема
Сейчас DeepSeek (primary) + Gemini (fallback) захардкожены в коде приложения. Смена провайдера = правка кода. Трекинга токенов нет.
Решение
Поднять self-hosted LiteLLM как OpenAI-compatible proxy:
- Приложение шлёт запросы на
http://litellm:4000 с OpenAI SDK
- LiteLLM: роутинг, fallback/retry, трекинг токенов — прозрачно
- Добавить Claude / любой провайдер без правки кода
Мотивация
- Упрощает добавление Claude в simpleAI (нет переписывания клиентского кода)
- Fallback DeepSeek → Gemini → Claude из конфига, не из кода
- Трекинг потребления токенов по провайдерам
Ссылки
Acceptance Criteria
Проблема
Сейчас DeepSeek (primary) + Gemini (fallback) захардкожены в коде приложения. Смена провайдера = правка кода. Трекинга токенов нет.
Решение
Поднять self-hosted LiteLLM как OpenAI-compatible proxy:
http://litellm:4000с OpenAI SDKМотивация
Ссылки
Acceptance Criteria