LLM-API-Integrationen testen: Streaming, Tool-Calls und Fehler
Eine LLM-Integration scheitert auf eine Weise, die gewöhnliche API-Clients selten erleben: eine Antwort, die in Hunderten Server-Sent Events eintrifft, ein Stream, der mitten im Satz abbricht, ein 429 bei einer Lastspitze, ein überlasteter Anbieter, ein Tool-Call, den der Client ausführen und beantworten muss. Die Mock LLM API erzeugt jeden dieser Fälle deterministisch, in den Request-Formaten von OpenAI und Anthropic, sodass die Behandlung bei jedem Lauf getestet werden kann, statt in Produktion entdeckt zu werden.
Echte Endpunkte aus dem Katalog – jede der oben genannten Anfragen wird bedient, und jeder angezeigte Statuscode ist ein Statuscode, den dieser Endpunkt tatsächlich zurückgibt.
Wie man es übt
Senden Sie eine Streaming-Anfrage an mock-echo, setzen Sie alle Deltas zusammen und prüfen Sie sowohl den finalen Text als auch, dass der Stream mit einem Stop-Grund und dem letzten Event endete.
Streamen Sie von mock-stream-cut und prüfen Sie, dass Ihr Client eine unvollständige Antwort meldet, statt einen halben Satz als Endergebnis anzuzeigen.
Rufen Sie mock-429 auf und prüfen Sie, dass Ihr Client auf Retry-After wartet, begrenzt oft wiederholt und dann mit einer klaren Fehlermeldung aufgibt.
Senden Sie eine Anfrage mit einem deklarierten Tool an mock-tool-call, führen Sie den zurückgegebenen Tool-Call aus, senden Sie das Ergebnis zurück und prüfen Sie, dass die finale Antwort es verwendet.
Rufen Sie mock-slow mit einem Client-Timeout unter acht Sekunden auf und prüfen Sie, dass Ihr Fallback greift, statt dass die Anfrage hängt.
API-Paginierung testen — Üben Sie die Seitennummerierung und die Cursornavigation sowie die Sonderfälle, die bei Clients zu Problemen führen können: die letzte unvollständige Seite, eine Seite außerhalb des gültigen Bereichs und eine Gesamtzahl, die nicht mit den von Ihnen erfassten Daten übereinstimmt.
API-Ratenbegrenzung testen — Lösen Sie einen echten 429-Fehler mit Retry-After- und X-RateLimit-Headern aus und überprüfen Sie, ob Ihr Client einen Rücksetzer auslöst, anstatt direkt bis zum Limit zu wiederholen.
Idempotenz-Schlüsseltest — Senden Sie denselben Schreibvorgang zweimal mit einem Idempotenzschlüssel und bestätigen Sie, dass die Operation einmal ausgeführt wird – der Mechanismus, der verhindert, dass ein erneuter Netzwerkversuch zu einer doppelten Belastung führt.
ETag- und If-Match-Test — Ein 412-Fehler (Vorbedingung fehlgeschlagen) wird durch Schreiben mit einem veralteten ETag ausgelöst – die Überprüfung, die verhindert, dass zwei Clients sich gegenseitig stillschweigend überschreiben.
Webhook-Signaturprüfung — Registrieren Sie einen Rückruf, lösen Sie eine Zustellung aus, überprüfen Sie die HMAC-Signatur und bestätigen Sie, dass eine manipulierte Nutzlast abgelehnt wird.
OAuth- und JWT-Tests — Führen Sie echte Client-Anmeldeinformationen, Autorisierungscodes und Gerätecodes durch und testen Sie dann, was Ihr Client tut, wenn das Token während der Sitzung abläuft.
Negativer Test — Provozieren Sie absichtlich die Fehler 400, 401, 403, 404, 409, 418, 422, 429, 500 und 503 und prüfen Sie, ob Ihr Client jeden einzelnen Fehler unterschiedlich behandelt.
Asynchrone Jobtests — Starten Sie einen langlaufenden Job, folgen Sie dem Statuscode 202 und dessen Location-Header und überprüfen Sie den Status bis zum Abschluss – einschließlich der Fehler- und Timeout-Pfade.
MCP-Client-Tests — Testen Sie einen MCP-Client oder Agenten über Streamable HTTP: initialize und Session-IDs, Tool-Schemas und strukturierte Ausgabe, Tool- gegenüber Protokollfehlern und Authentifizierung.