Politika

#Limitler ve bütçeler

Üç maliyet kontrolü vardır. Üçü de uyum kontrolü değil maliyet kontrolüdür ve aynı duruşu paylaşır: sayaç erişilemezse istek geçer ve kayıt bunu söyler. Bir sayaç yüzünden bütün şirketin yapay zekâ kullanımını durdurmak, fazla harcamayı önlemek için kesinti yaratmak olurdu.

#Dakikalık istek limiti

rate_limit_per_minute: kurumun bir dakikada gönderebileceği istek sayısı. Aşımda 429 rate_limited ve Retry-After başlığı döner; kayda rate · block · rate_limit_exceeded yazılır.

Sayaç sabit pencere kullanır: dakika sınırında kısa süreliğine limitin iki katına kadar çıkılabilir. Bu kaba bir kontroldür ve öyle olduğunu söyler; amaç tek bir tüketicinin şirketin sağlayıcı kotasını tüketmesini önlemektir.

Anahtar başına farklı limit için üstyazım kullanın; aksi hâlde bütün uygulamalar tek kovayı paylaşır.

#Aylık token bütçesi

İki ayrı ayar:

Ay UTC takvim ayıdır. Sayılan şey, sağlayıcının yanıtta bildirdiği kullanımdır (girdi + çıktı token). Aşımda 429 insufficient_quota döner; hangi bütçenin dolduğu mesajda ve kayıtta (tenant_monthly, key_monthly) yazar. Retry-After yoktur; bütçe ay başında sıfırlanır.

Sınır yumuşaktır: kullanım yanıt bitince bilinir, bu yüzden çizgiyi geçen istek ve o anda yolda olanlar tamamlanır, ret bir sonrakinde başlar. Bildirilmeyen kullanım sayılmaz; OpenAI akışlarında include_usage istemeyi unutmayın. Sayaç Redis'tedir: veri kaybolursa ayın sayımı sıfırdan başlar.

#Eşzamanlı tamponlu akış

TENANT_MAX_BUFFERED_STREAMS: tamponlu modda aynı anda bellekte tutulabilecek akış sayısı. Kendi sunucunuzda varsayılan sınırsızdır. Ayrıntı: Akışlı istekler.

#Ayarlamak

set-policy --tenant default --rate-limit 600 --budget 50000000 --key-budget 10000000
set-policy --tenant default --rate-limit off --budget off

Konsolun Politika ekranında aynı alanlar vardır; boş kutu "limit yok" demektir.