LLM API entegrasyonlarını test etmek: streaming, araç çağrıları ve hatalar

Bir LLM entegrasyonu, sıradan API istemcilerinin nadiren karşılaştığı biçimlerde bozulur: yüzlerce server-sent event ile gelen bir yanıt, bir cümlenin ortasında kesilen bir akış, trafik artışında gelen bir 429, aşırı yüklenmiş bir sağlayıcı, istemcinin çalıştırıp yanıtlaması gereken bir araç çağrısı. Mock LLM API bunların her birini OpenAI ve Anthropic istek biçimlerinde, deterministik olarak üretir; böylece bu durumların ele alınışı üretimde keşfedilmek yerine her çalıştırmada test edilebilir.

LLM API testi — request and response sequence Sequence diagram for LLM API testing: GET /streams/v1/events answers 200 OK. GET /streams/v1/websocket answers 401 Unauthorized. POST /llm/v1/chat/completions answers 429 Too Many Requests. POST /auth/v1/firebase-token answers 503 Service Unavailable. Your client Fun API Playground GET /streams/v1/events 200 Tamam Olayları JSON veya metin/olay akışı olarak okuyun. GET /streams/v1/websocket 401 Unauthorized WebSocket laboratuvarı bağlantısı ve devam protokolü POST /llm/v1/chat/completions 429 Too Many Requests Chat Completions shape: streaming (SSE), tools, JSON mode… POST /auth/v1/firebase-token 503 Service Unavailable Mint a Firebase Auth token whose role custom claim grants…
Katalogdaki gerçek uç noktalar — yukarıdaki her istek karşılanıyor ve gösterilen her durum kodu, o uç noktanın gerçekten döndürdüğü bir koddur.

Bunu nasıl uygulayabilirsiniz?

  1. mock-echo modeline akışlı bir istek gönderin, tüm delta parçalarını birleştirin ve hem son metni hem de akışın bir durma nedeni ve son olayla bittiğini doğrulayın.
  2. mock-stream-cut modelinden akış alın ve istemcinizin yarım cümleyi son sonuç gibi göstermek yerine yanıtın eksik kaldığını bildirdiğini doğrulayın.
  3. mock-429 modelini çağırın ve istemcinizin Retry-After kadar beklediğini, sınırlı sayıda yeniden denediğini ve sonra açık bir hatayla vazgeçtiğini doğrulayın.
  4. Tek bir araç tanımlayarak mock-tool-call modeline istek gönderin, dönen araç çağrısını çalıştırın, sonucu geri gönderin ve son yanıtın bu sonucu kullandığını doğrulayın.
  5. mock-slow modelini sekiz saniyeden kısa bir istemci zaman aşımıyla çağırın ve isteğin askıda kalmak yerine yedek yolunuzun çalıştığını doğrulayın.

Denemek için API'ler

İlgili durum kodları

Diğer teknikler

Başlangıç rehberi · 55 mock REST API’nin tamamı

Son güncelleme