tech&talk Dortmund - Prompting für kleine LLMs & Ask Your Data(bricks)

Willkommen zum tech&talk bei uns bei codecentric in Dortmund! Jeden Monat öffnen wir unsere Türen für alle Tech-Begeisterten, Entwickler:innen und Digital-Enthusiast:innen. Das Format ist gewohnt entspannt: Wir kommen zusammen, hören spannende Vorträge und tauschen uns danach bei kühlen Kaltgetränken und leckeren Snacks aus.

Um was geht es dieses Mal?

Passend zur Digitalen Woche Dortmund widmen wir uns dieses Mal voll und ganz dem Trendthema Künstliche Intelligenz – und ihr dürft euch auf zwei spannende Talks freuen:

Prompting für kleine LLMs - Aus dem Maschinenraum von Versicherungsprojekten
Thomas Timmermann (codecentric AG)

"Regulatorische Vorgaben führen bei Versicherungen häufig dazu, dass LLMs on-premise betrieben werden müssen. Dieser Vortrag teilt Erfahrungen aus PoCs und MVPs — von der Dunkelverarbeitung von E-Mails über Formularextraktion bis hin zu Assistenzsystemen für Risikovoranfragen und Leistungsanträge. Wir zeigen Techniken, die sich bewährt haben — deklarative Prompt-Workflows für schnelle Iteration ohne Redeployment, Ensemble Methods zur Qualitätssicherung, Fuzzy-Klassifikation für gezielte Aussteuerung — und sprechen offen über Stolpersteine: fehlerhafte Annotationen, die die Modellperformance dominierten, Fachmodelle, die sich unter den Füßen veränderten, PoCs, die reale Komplexität verbargen, und Assistenzsysteme, bei denen die UX/UI zu spät mitgedacht wurde."

Ask Your Data(bricks): Conversational Analytics zwischen Anspruch und Realität
Niklas Niggemann (codecentric AG)

Conversational Analytics boomt, doch "Ask Your Data" darf nicht mit einem einfach funktionierenden Chatbot verwechselt werden. In diesem Talk wird gezeigt, welche Anforderungen an ein Datenökosystem gestellt werden müssen, um verlässliche natürlichsprachliche Analytics zu ermöglichen, warum Governance dabei als zentral betrachtet werden muss, und wie diese Prinzipien am Beispiel von Databricks in die Praxis umgesetzt werden können.