LLM API entegrasyonlarını test etmek: streaming, araç çağrıları ve hatalar
Bir LLM entegrasyonu, sıradan API istemcilerinin nadiren karşılaştığı biçimlerde bozulur: yüzlerce server-sent event ile gelen bir yanıt, bir cümlenin ortasında kesilen bir akış, trafik artışında gelen bir 429, aşırı yüklenmiş bir sağlayıcı, istemcinin çalıştırıp yanıtlaması gereken bir araç çağrısı. Mock LLM API bunların her birini OpenAI ve Anthropic istek biçimlerinde, deterministik olarak üretir; böylece bu durumların ele alınışı üretimde keşfedilmek yerine her çalıştırmada test edilebilir.
Katalogdaki gerçek uç noktalar — yukarıdaki her istek karşılanıyor ve gösterilen her durum kodu, o uç noktanın gerçekten döndürdüğü bir koddur.
Bunu nasıl uygulayabilirsiniz?
mock-echo modeline akışlı bir istek gönderin, tüm delta parçalarını birleştirin ve hem son metni hem de akışın bir durma nedeni ve son olayla bittiğini doğrulayın.
mock-stream-cut modelinden akış alın ve istemcinizin yarım cümleyi son sonuç gibi göstermek yerine yanıtın eksik kaldığını bildirdiğini doğrulayın.
mock-429 modelini çağırın ve istemcinizin Retry-After kadar beklediğini, sınırlı sayıda yeniden denediğini ve sonra açık bir hatayla vazgeçtiğini doğrulayın.
Tek bir araç tanımlayarak mock-tool-call modeline istek gönderin, dönen araç çağrısını çalıştırın, sonucu geri gönderin ve son yanıtın bu sonucu kullandığını doğrulayın.
mock-slow modelini sekiz saniyeden kısa bir istemci zaman aşımıyla çağırın ve isteğin askıda kalmak yerine yedek yolunuzun çalıştığını doğrulayın.
Sayfalama testi — Sayfa numarası ve imleçle sayfalama uygulamalarını ve istemcileri bozan uç durumları (son kısmi sayfa, aralık dışı sayfa ve topladığınız verilerle uyuşmayan toplam sayı) pratik yapın.
Hız sınırlama testi — Retry-After ve X-RateLimit başlıklarıyla gerçek bir 429 hatası tetikleyin ve istemcinizin doğrudan sınıra kadar yeniden denemek yerine geri çekildiğini doğrulayın.
İdempotans anahtar testi — Aynı yazma işlemini bir Idempotency-Key ile iki kez gönderin ve işlemin bir kez gerçekleştiğini doğrulayın; bu mekanizma, ağ üzerinden tekrar deneme işleminin mükerrer ücretlendirmeye dönüşmesini engeller.
ETag ve If-Match testleri — Eski bir ETag ile yazarak 412 Önkoşul Başarısız hatasına neden olun; bu, iki istemcinin birbirinin üzerine sessizce yazmasını engelleyen kontrol mekanizmasıdır.
Webhook imza testi — Bir geri çağırma işlemi kaydedin, bir teslimatı tetikleyin, HMAC imzasını doğrulayın ve değiştirilmiş bir veri paketinin reddedildiğini onaylayın.
OAuth ve JWT testleri — Gerçek istemci kimlik bilgileri, yetkilendirme kodu ve cihaz kodu akışlarını çalıştırın, ardından oturum ortasında belirtecin süresi dolduğunda istemcinizin ne yaptığını test edin.
Negatif test — 400, 401, 403, 404, 409, 418, 422, 429, 500 ve 503 numaralı kodları kasıtlı olarak tetikleyin ve müşterinizin her birine farklı şekilde yanıt verip vermediğini kontrol edin.
Asenkron iş testi — Uzun süreli bir iş başlatın, 202 olayını ve Location başlığını takip edin ve tamamlanana kadar (başarısızlık ve zaman aşımı yolları da dahil olmak üzere) sorgulama yapın.
MCP istemci testi — Bir MCP istemcisini ya da ajanını Streamable HTTP üzerinden test edin: initialize ve oturum kimlikleri, araç şemaları ve yapılandırılmış çıktı, araç hatası ile protokol hatası farkı ve kimlik doğrulama.