Von Containern zu Modellen: Dockers AI-Evolution mit Model Runner und dem OCI Artifact Model Format

Die aktuelle AI-Welle hat die Industrie im Sturm erobert – und oft ist es einfacher, auf ihr zu reiten, als sich ihr entgegenzustellen. Obwohl Container-Technologie – insbesondere Docker – schon lange eine Rolle in der AI-Entwicklung spielt, fühlte sie sich dabei oft wie ein unpassendes Puzzleteil an. Die Bausteine waren vorhanden, aber das Zusammensetzen erforderte erheblichen Aufwand. Aufbauend auf der Arbeit der Open-Source-Community haben wir nun leistungsstarke Inference Engines wie llama.cpp direkt in Docker-Tooling integriert, einschließlich Docker Desktop und Docker CE. Um AI-Workflows weiter zu vereinfachen, stellen wir die OCI Artifact Model Specification vor – ein neues Subset des OCI Artifact-Formats, das speziell für die Verteilung von LLM-Artifacts entwickelt wurde. Und natürlich ist alles, was wir tun, selbst Open Source Software (OSS). In dieser Session lernt ihr, wie ihr diese neuen Docker-Funktionen für die GenAI-Entwicklung nutzen könnt. Ich zeige euch, wie ihr eigene Modelle im OCI Model Format verpackt, veröffentlicht und konsumiert – ganz einfach über jede Container Registry, die OCI Artifacts unterstützt. Außerdem schauen wir uns an, wie man lokal laufende Modelle direkt aus der eigenen Java-Anwendung anspricht – unter Verwendung von Bibliotheken wie LangChain4j, SpringAI und unserem alten Freund Testcontainers.