LLM-API-Integrationen testen: Streaming, Tool-Calls und Fehler

Eine LLM-Integration scheitert auf eine Weise, die gewöhnliche API-Clients selten erleben: eine Antwort, die in Hunderten Server-Sent Events eintrifft, ein Stream, der mitten im Satz abbricht, ein 429 bei einer Lastspitze, ein überlasteter Anbieter, ein Tool-Call, den der Client ausführen und beantworten muss. Die Mock LLM API erzeugt jeden dieser Fälle deterministisch, in den Request-Formaten von OpenAI und Anthropic, sodass die Behandlung bei jedem Lauf getestet werden kann, statt in Produktion entdeckt zu werden.

LLM-API-Tests — request and response sequence Sequence diagram for LLM API testing: GET /streams/v1/events answers 200 OK. GET /streams/v1/websocket answers 401 Unauthorized. POST /llm/v1/chat/completions answers 429 Too Many Requests. POST /auth/v1/firebase-token answers 503 Service Unavailable. Your client Fun API Playground GET /streams/v1/events 200 OK Ereignisse als JSON oder Text/Ereignisstrom lesen GET /streams/v1/websocket 401 Unauthorized WebSocket-Labor: Verbindung und Fortsetzungsprotokoll POST /llm/v1/chat/completions 429 Too Many Requests Chat Completions shape: streaming (SSE), tools, JSON mode… POST /auth/v1/firebase-token 503 Service Unavailable Mint a Firebase Auth token whose role custom claim grants…
Echte Endpunkte aus dem Katalog – jede der oben genannten Anfragen wird bedient, und jeder angezeigte Statuscode ist ein Statuscode, den dieser Endpunkt tatsächlich zurückgibt.

Wie man es übt

  1. Senden Sie eine Streaming-Anfrage an mock-echo, setzen Sie alle Deltas zusammen und prüfen Sie sowohl den finalen Text als auch, dass der Stream mit einem Stop-Grund und dem letzten Event endete.
  2. Streamen Sie von mock-stream-cut und prüfen Sie, dass Ihr Client eine unvollständige Antwort meldet, statt einen halben Satz als Endergebnis anzuzeigen.
  3. Rufen Sie mock-429 auf und prüfen Sie, dass Ihr Client auf Retry-After wartet, begrenzt oft wiederholt und dann mit einer klaren Fehlermeldung aufgibt.
  4. Senden Sie eine Anfrage mit einem deklarierten Tool an mock-tool-call, führen Sie den zurückgegebenen Tool-Call aus, senden Sie das Ergebnis zurück und prüfen Sie, dass die finale Antwort es verwendet.
  5. Rufen Sie mock-slow mit einem Client-Timeout unter acht Sekunden auf und prüfen Sie, dass Ihr Fallback greift, statt dass die Anfrage hängt.

APIs, um es auszuprobieren

Betroffene Statuscodes

Andere Techniken

Einstiegsanleitung · Alle 55 Mock-REST-APIs

Zuletzt aktualisiert