Uygulamaları bağlama
#Akışlı istekler
Akışlı (streaming) cevaplar varsayılan olarak olduğu gibi geçirilir: Tanık sağlayıcının yazdığı baytları geldiği anda iletir, biriktirmez. Kelime kelime akış korunur; Tanık'ın eklediği gecikme yalnız istek tarafındaki taramadır.
Bunun bedeli dürüstçe kayda geçer: geçirilen bir akışın içeriği taranmamıştır. Kayıtta pii_out · skipped · response_streamed kararı bulunur ve kanıt raporu streamed_not_scanned çekincesini basar.
#Tamponlu mod
Cevapların da taranmasını isteyen kurumlar politikadan tamponlu çıktı seçeneğini açar. Açıkken akışlı cevap sonuna kadar tutulur, kişisel veri taramasından geçirilir, sonra iletilir.
| Kapalı (varsayılan) | Açık | |
|---|---|---|
| Akış | Kelime kelime, gecikmesiz | İlk kelime, cevabın tamamı üretilince gelir |
| Çıktı taraması | Yok; kayıt bunu söyler | Var; bulunan veri maskelenir |
| Cevap çok büyükse | — | Tampon sınırını (STREAM_BUFFER_LIMIT_BYTES, varsayılan 8 MB) aşan cevap iletilmez; buffered_response_too_large döner |
Sohbet arayüzü olan bir uygulama için tamponlu mod hissedilir bir değişikliktir; o ekibi bilgilendirmeden açmayın.
Tek parça (akışsız) cevaplar her durumda taranır; bunun için tamponlu mod gerekmez.
#Token kullanımı
Tanık token saymaz ve tahmin etmez; sağlayıcının yanıtta bildirdiği sayıları kayda yazar. Bildirilmeyen kullanım kayda ve bütçeye girmez.
- Anthropic akışları kullanımı her zaman bildirir.
- OpenAI akışları yalnız istenirse bildirir:
stream_options: {"include_usage": true}gönderin. Aksi hâlde o isteğin kullanımı sayılmaz ve rapor bunu belirtmez; sayaç eksik kalır.
#Eşzamanlı akış sınırı
Tamponlu mod bellek tutar. Bir kurumun aynı anda tutabileceği tamponlu akış sayısı TENANT_MAX_BUFFERED_STREAMS ile sınırlanır; sınır dolunca yeni akışlı istek buffered_response_too_large ile reddedilir ve kayda buffer · block · slots_exhausted yazılır. Kendi sunucunuzda varsayılan sınırsızdır.
#Çağıran kapatırsa
Kullanıcı sekmeyi kapatırsa Tanık sağlayıcıya giden akışı da keser; sağlayıcının sayacı boşa dönmez. O ana kadar bildirilen kullanım kayda geçer.