Versione

Informazioni di build e note operative correnti.

Software …

commit + timestamp lato server
Branch
—
Commit
—
Data commit
—
Data deploy
—
Uptime
—
Test
—

Note operative come usarlo

  • Deploy: scp dei file in /opt/kairion/llm_proxy/ + bash /opt/kairion/service.sh restart. Per spec il venv: .venv in /opt/kairion/llm_proxy/.venv.
  • Restart: bash /opt/kairion/service.sh restart (avvia uvicorn su 0.0.0.0:8780, 1 worker, no access log).
  • Health: curl -sk https://mlr.local/health → {"status":"ok","db":true,"configured":true,...}.
  • Log live: tail -f /opt/kairion/logs/llm-proxy.log (sorgente di verità per debugging live).
  • Storage dati: SQLite in /opt/kairion/data/llm_proxy.db (WAL). Backup automatici con service.sh su .env (vedi Backups .env nel menu Config).
  • Tenant & master: la master key è solo per audit/gestione (vai in API Keys); le tenant key per le richieste normali.
  • Cache semantica: ON di default (modello MiniLM-L12-v2 fp32, ~50MB) — disabilitabile con SEMANTIC_CACHE_ENABLED=false in .env.
  • Resilienza: il proxy fa auto-retry su altra key per 4xx model-not-supported, 429, 5xx (vedi issues #61 e #64).
  • OpenAPI: docs interattive su https://mlr.local/docs (Swagger UI) e schema OpenAPI su /openapi.json.

Comandi rapidi (shell su mlr.local)

copia e incolla
# Stato servizio
bash /opt/kairion/service.sh status
# Log live (ultime 200 righe)
tail -n 200 -f /opt/kairion/logs/llm-proxy.log
# Statistiche upstream (master)
curl -sk https://mlr.local/admin/upstream/stats \\
-H "Authorization: Bearer $MASTER_KEY" \\
| python3 -m json.tool | head -40
# Reset quota tracker (raro)
curl -sk -X POST https://mlr.local/admin/quota/refresh \\
-H "Authorization: Bearer $MASTER_KEY"