Skip to content

feat: LiteLLM gateway layer — вынести AI-провайдеры за пределы бизнес-логики #59

Description

@Tarasusrus

Проблема

Сейчас DeepSeek (primary) + Gemini (fallback) захардкожены в коде приложения. Смена провайдера = правка кода. Трекинга токенов нет.

Решение

Поднять self-hosted LiteLLM как OpenAI-compatible proxy:

  • Приложение шлёт запросы на http://litellm:4000 с OpenAI SDK
  • LiteLLM: роутинг, fallback/retry, трекинг токенов — прозрачно
  • Добавить Claude / любой провайдер без правки кода

Мотивация

  • Упрощает добавление Claude в simpleAI (нет переписывания клиентского кода)
  • Fallback DeepSeek → Gemini → Claude из конфига, не из кода
  • Трекинг потребления токенов по провайдерам

Ссылки

Acceptance Criteria

  • LiteLLM запущен как сервис в docker-compose
  • simpleAI шлёт запросы через gateway (не напрямую к провайдерам)
  • Fallback DeepSeek → Gemini работает через конфиг
  • Токены логируются
  • Переключение провайдера без пересборки приложения

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions