Spring AI in der Praxis: RAG, MCP und LLM-Evaluation mit Thorben Janssen | JAX 2026

Description

Viele Demos zeigen, wie schnell ein LLM mit Spring AI eingebunden ist. Für eine echte Anwendung reicht das jedoch nicht aus. Ein einzelner Prompt löst kein reales Geschäftsproblem, denn ohne Zugriff auf eigene Daten und ohne Anbindung der notwendigen APIs stößt das Modell sehr schnell an Grenzen. Gleichzeitig müssen die Ergebnisse des Modells zuverlässig validiert werden, doch das nichtdeterministische Verhalten macht klassische Testansätze unzuverlässig. In diesem Talk zeige ich dir, wie du LLM-basierte Funktionen systematisch prüfst und bewertest, auch wenn bekannte Teststrategien an ihre Grenzen stoßen. Du erfährst, wie du mit RAG zusätzliche Informationen bereitstellst, damit das Modell fundierte Antworten liefert, anstatt zu halluzinieren. Außerdem lernst du, wie du über das Model Context Protocol (MCP) gezielt API-Aufrufe einbindest und damit auch komplexe Abläufe umsetzen kannst.