In den lichtdurchfluteten Räumlichkeiten des Berliner Data Space trafen sich am 13. und 14. März sieben ambitionierte Teams, um die erste Stufe der SPRIND Challenge Composite Learning zu beginnen. Ihre Mission: Die Zukunft der Künstlichen Intelligenz neu zu gestalten – dezentral, sicher und skalierbar. Anders als unser physischer Veranstaltungsort Data Space am Hackeschen Markt, ist der digitale Data Space in dieser Challenge an vielen Orten gleichzeitig, die Daten werden also nicht zentral geteilt.

Im Zentrum der Challenge steht das dezentrale Training von KI-Modellen mit verteilten Daten auf heterogener Hardware. Ein komplexes Unterfangen, das ein neues Framework erfordert, über das Unternehmen in Deutschland und Europa zukünftig große KI-Modelle effizient sicher trainieren können. In der ersten Stufe der Challenge sollen die Modelle mit verschiedenen Hardware-Systemen auf mindestens drei Cloud-Plattformen parallel trainiert werden, um eine robuste Grundlage für das Framework zu schaffen.

Zu Beginn der Challenge Days präsentierte jedes Team seinen entsprechenden Ansatz dafür. Während einige Teams sich eher auf die abstrahierte Orchestrierung und Bündelung existierender Rechenserver konzentrieren, arbeiten andere an der konkreten Entwicklung effizienter Beschleuniger und Compiler für unterschiedlichste und teils ganz neue Hardware-Systeme. Alle Entwicklungen tragen zu unterschiedlichen Stellen im Gesamt-Framework bei, und obwohl die Teams jeweils um die beste Lösung konkurrieren, ergeben sich große Synergieeffekte zwischen den einzelnen Ansätzen. Der Austausch ging weit über die Pitch-Präsentationen hinaus: Beim gemeinsamen Dinner hatten die Teilnehmer:innen Gelegenheit, Wissen auszutauschen und potentielle Kooperationen auszuloten.

Am zweiten Tag wurden die konkreten technischen Herausforderungen in Workshop-Formaten vertieft. In Peer-to-Peer-Sessions widmeten sich die Teams Themen wie Hardware-Architekturen, Tools und Datensätzen und diskutierten Möglichkeiten, die besten Talente für ihre Unternehmen zu gewinnen. Besondere Highlights waren die Gespräche mit den externen Experten Arthur Douillard von Google DeepMind und Max Ryabinin von Together AI, die Einblicke in aktuelle Forschungsergebnisse gaben. Ein Thema der Diskussionen war der DiLoCo-Algorithmus, der einen innovativen Ansatz zur dezentralen Optimierung von Modellparametern bietet. Statt alle Modell-Parameter gleichzeitig zu kommunizieren, geschieht dies sequentiell und nur teilweise, wodurch weniger Daten gleichzeitig bewegt werden und den einzelnen Rechenknoten mehr Autonomie verliehen wird. Dies reduziert die Belastung der Infrastruktur erheblich, während die Trainingsqualität erhalten bleibt oder sogar steigt – ein entscheidender Fortschritt für dezentrale KI-Anwendungen.

Am Nachmittag trat Marco Schuldt vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) auf die Bühne, um die Arbeit des IPCEI-CIS (Important Project of Common European Interest – Next Generation Cloud Infrastructure and Services) vorzustellen. Dieses zentrale digitalpolitische Vorhaben der EU soll Europas digitale Souveränität stärken. Die anschließende Diskussion warf neue Fragen auf: Wie können die Partnerunternehmen des IPCEI-CIS von den Entwicklungen der Challenge profitieren? Wie können sie Composite Learning nutzen, um Prozesse und Produktion effizienter, flexibler und sicherer zu gestalten?

Die zwei Tage in Berlin haben gezeigt: Die SPRIND Challenge ist weit mehr als ein Wettbewerb. Sie ist ein Katalysator für Innovationen im Bereich des dezentralen KI-Trainings. Und vielleicht ein erster Schritt zu einer europäischen Antwort auf das globale Skalierungs-Wettrennen in der KI-Entwicklung.

ÜBER DIE CHALLENGE

Composite Learning kombiniert verteiltes, dezentrales sowie föderiertes Lernen und bietet damit einen neuen Ansatz für KI: das Training von Modellen über verschiedene Systeme hinweg, ohne dass zentralisierte Rechenzentren erforderlich sind. Mit dieser Methode können Unternehmen zusammenarbeiten und neue, mächtige Modelle sicher und ohne Abhängigkeit von großen Rechenzentren trainieren. Modernste KI könnte so mehr Organisationen und für eine Vielzahl von Anwendungsbereichen zugänglich gemacht werden. Um die Einschränkungen der aktuellen Systeme zu überwinden, wie zum Beispiel mangelnde Kompatibilität zwischen verschiedenen Chips, Kommunikationsengpässe und die Abhängigkeit von zentralen Update-Servern, braucht es neue Lösungen.

Der Fokus liegt auf der Entwicklung von Lösungen, die ein effizientes Modelltraining auf heterogener Hardware ermöglichen, von Hochleistungs-GPUs bis hin zu CPUs unterschiedlicher Typen und Hersteller. Die Lösungen müssen belastungsfähig sein und sich dynamisch an Schwankungen von Rechenressourcen und Geräteausfällen anpassen. Die Teams werden einen funktionalen Kern für dieses Framework als Open Source liefern, der als Grundlage für die weitere Entwicklung dient, einschließlich kommerzieller Dienste und eigener Produktmerkmale.

Sieben Teams sind nach erfolgreicher Bewerbung im Februar 2025 in die Challenge gestartet. Die erste Stufe hat eine Laufzeit von zwölf Monaten und eine maximale Finanzierungssummer von bis zu 530.000 Euro pro Team; die zweite dauert neun Monate und wird mit bis zu 520.000 Euro finanziert. Für die Teams, die in Stufe 3 eintreten, stellt die SPRIND bis zu 600.000 Euro zur Verfügung, um die weitere Entwicklung und Umsetzung zu fördern.