Ins Reich des Risikos
KI wächst in sämtliche Bereiche des Unternehmens hinein. Bei Transparenz, Governance und Risikobewertung tun sich die meisten jedoch schwer. Jetzt ist der Moment, das Experimentierfeld zu verlassen, um zunächst klare Strukturen zu schaffen.
Viele Unternehmen experimentieren an vielen Stellen mit KI-Tools, doch noch zu selten wird das Thema ganzheitlich gedacht.
Mercedes-Benz
„Die Unternehmen stehen jetzt an dem Punkt, an dem sie aufhören sollten, weiter KI-Piloten zu initiieren, zu sammeln und immer noch mehr davon zu machen, ohne die Skalierung im Blick zu haben“, ist sich Roman Dumitrescu sicher, Direktor am Fraunhofer IEM (Institut für Entwurfstechnik Mechatronik) und Professor für Advanced Systems Engineering an der Universität Paderborn. Es gehe um ein Verständnis dafür, dass KI Bestandteil des eigentlichen Unternehmens und seines Betriebssystems werden müsse – ähnlich wie es bei der steigenden Wichtigkeit von IT vor einigen Dekaden gewesen sei. Der Automotive-Bereich stehe hier mit seinen IT-Backbones, die in den letzten Jahrzehnten aufgebaut wurden, relativ gut da, meint Dumitrescu. KI sei schlicht als nächste, konsequent weiterzuentwickelnde Stufe der Unternehmensdigitalisierung zu sehen.
Zu dieser Erkenntnis kommt auch ein Research Paper von CTI Consulting, das die Unternehmen derzeit in einem „Pilot Purgatory“ sieht. Schatten-KI ist dabei ein zentrales Risiko. „Die Kluft zwischen dem Tempo, mit dem Unternehmen KI einführen, und ihrer Fähigkeit, den Einsatz zu steuern, wird immer größer“, schreiben die Autoren. Fehlende Governance stellt letztlich eine „tickende Zeitbombe“ dar. Eine aktuelle Umfrage von Capgemini unter 800 Führungskräften im Automotive-Bereich kam zum Ergebnis, dass zwar drei Viertel der Unternehmen Agentic AI in der Produktentwicklung einsetzen, allerdings nur fünf Prozent eine ausgereifte KI-Governance umgesetzt haben. „Eine richtige, konsequente KI-Governance macht vermutlich unter einem Drittel der Unternehmen“, schätzt auch Dumitrescu. „Solange diese Fragen [zu Verantwortung und Risiken] ungeklärt bleiben, befinden sich KI-Initiativen in einem organisatorischen Niemandsland zwischen IT, Fachabteilungen und Compliance“, konstatiert das Research Paper.
„Wir sehen, dass die KI-Systeme viele Fehler machen. Dementsprechend braucht es eine Form der KI-Governance, in der Menschen am Ende des Tages Verantwortung tragen können – und zwar guten Gewissens“, konstatiert Roman Dumitrescu. Wenn auf der Tool- und der Datenebene KI eingesetzt wird, sollte also geregelt sein, dass immer noch ein Mensch am Ende des Tages verantwortlich sein muss und kann. „Das ist nicht nur wichtig für eine Rechts- und auch eine Haftungssicherheit, sondern auch, um eine Skalierung hinzubekommen“, meint der Fraunhofer-Experte. Sonst werde es nur bei vielen individuellen KI-Use Cases bleiben ohne echte Integration in die Prozesse.
Die Unternehmen stehen jetzt an dem Punkt, an dem sie aufhören sollten, weiter KI-Piloten zu initiieren, zu sammeln und immer noch mehr davon zu machen, ohne die Skalierung im Blick zu haben
Roman Dumitrescu, Fraunhofer IEM
Standardisierte Ansätze für Governance finden
Bisher habe der Fokus der Unternehmen bei der KI-Nutzung darauf gelegen, Kosten zu sparen, die Effizienz und Consumer Experience zu verbessern und produktiver zu werden, berichtet Muther Pola. „Erst in den vergangenen acht bis zwölf Monaten ist KI-Governance in vielen Bereichen stärker in den Mittelpunkt gerückt“, so der Head of AI beim auf Service-Management spezialisierten IT-Dienstleister Fusion Global Business Solutions. Auch für Pola ist es problematisch, KI gleichzeitig überall einzuführen zu wollen. Der sinnvollste Ansatz sei, Anwendungsfälle wie einen Business Case zu prüfen und vom Use Case ausgehend jeweils festzulegen, welches Maß an Regulierung erforderlich ist. Während regulatorische Rahmenwerke wie der EU AI Act und Standards wie NIST und ISO 42001 versuchen, die rasante technologische Entwicklung einzuhegen, sieht Pola nach wie vor eine Lücke, wenn es darum geht, KI im Unternehmensalltag wirksam zu steuern und tatsächlich den erwarteten Nutzen aus den Investitionen zu erzielen.
„Überall im Unternehmen sind isolierte KI-Initiativen rund um Plattformen wie OpenAI, Azure oder Gemini entstanden – und damit zahlreiche voneinander getrennte Silos, in denen sehr viele Beschäftigte KI einsetzen, ohne dass wirklich klar ist, was dabei geschieht“, so der KI-Experte. In den meisten Unternehmen fehle es noch an „Observability“, also vorhandene Systeme und deren Nutzung zu erfassen, um Risiken überhaupt beurteilen zu können. Zudem lasse sich aufgrund der mangelnden Transparenz kaum nachvollziehen, ob sich die Investitionen auszahlen, was Einfluss auf die weitere Investitionsbereitschaft haben könne.
Hier kommen Lösungen für Observability und Discovery ins Spiel, die sich zunehmend am Markt finden. „Damit lässt sich erkennen, welche Systeme vorhanden sind, worauf die Beschäftigten zugreifen, welcher Datenverkehr dahintersteht, welche Datenmengen tatsächlich in beide Richtungen übertragen werden und welchen Wert sie generieren“, so Pola. Einige dieser Tools führen demnach mit Blick auf Governance durch den gesamten KI-Lebenszyklus. Dabei würden die für das Automotive-Umfeld relevanten Anforderungen des EU AI Acts auf die KI-Assets angewendet, um sicherzustellen, dass die Vorschriften erfüllt werden.
Zu den größten Baustellen gehören weiterhin die Daten, die jetzt für KI verfügbar gemacht werden müssen. Zwar sei es je nach Unternehmensdaten schwierig, einen standardisierten Ansatz zu entwickeln, um Daten für KI bereitzustellen, meint Pola: „Allerdings lassen sich die Sicherheitskontrollen für die Daten gut übergreifend standardisieren: Dazu gehören beispielsweise Datenschutzkontrollen entsprechend DSGVO, Kontrollen im Zusammenhang mit personenbezogenen Informationen sowie Anforderungen des EU AI Act und der ISO 42001“. Ähnliches gelte für Fragen wie: Wem gehören die Daten? Handelt es sich um sensible Informationen? Welche Backend-Infrastruktur wird benötigt?
Enterprise Architecture als Governance-Ansatz
In den letzten Jahren hat sich Enterprise Architecture für die Ausrichtung der IT an Business-Zielen vor allem in vielen größeren Unternehmen bereits etabliert. Sie kann und sollte jetzt auch für die Organisation der KI-Governance genutzt werden. „Es geht letztlich nicht nur um KI, es geht um die Harmonisierung der IT-Systeme Systeme und Unternehmensprozesse, insbesondere angesichts der jetzigen Notwendigkeit zu Einsparungen. Da ist die Auseinandersetzung mit Enterprise Architecture Management ein wichtiger Schritt“, sagt Dumitrescu. Im EAM-Prozess seien die Ausgangsfragen: Was muss ich als Unternehmen können? Welche Prozesse, Daten und IT-Systeme brauche ich dafür? Wer ist dafür verantwortlich? „Das haben die meisten Unternehmen noch nicht sauber geregelt“, stellt Dumitrescu fest. Das Ziel sei, auf Knopfdruck einen Überblick aller wesentlichen Unternehmensprozesse, eingesetzten Tools und die für die endgültige Freigabe verantwortliche Person zu erhalten.
Auch die Bewertung von Souveränität, die immer zentraler wird, lässt sich über EA abbilden. „Wir Ingenieure modellieren seit Jahrzehnten komplexe technische Systeme, um sie beherrschbar zu machen. Warum sollten wir das nicht auch mit Unternehmen tun?“, so Dumitrescu. Governance lasse sich theoretisch natürlich auch anders regeln, doch die Komplexität führe schnell zu einem Overload. „Es gibt genug methodisches Background-Wissen, das genutzt werden kann. Das passiert erstaunlicherweise im deutschen Raum wenig, gerade im Mittelstand ist es nicht ausreichend üblich und bekannt“, so der Fraunhofer-Experte.
„Die Ergebnisse deuten darauf hin, dass Enterprise Architecture Management (EAM), wenn es als dynamische Fähigkeiten des Erkennens, Ergreifens und Transformierens konzeptualisiert wird, die Einführung generativer KI durch eine Verbesserung der strategischen Ausrichtung, der Governance-Rahmenwerke und der organisatorischen Anpassungsfähigkeit fördern kann“, stellt EAM-Experte Alexander Ettinger in seiner MBA-Abschlussarbeit fest. Voraussetzung sei jedoch, von einem starren, kontrollbasierten zu einem lebendigeren EAM zu gelangen.
KI-Governance könne innerhalb einer EAM-Struktur angesiedelt, aber auch als eigenständige Einheit organisiert sein, meint Muther Pola. Vor allem solle sie sich bei möglichst minimaler Disruption in die bestehende Organisationsstruktur einfügen. Im CTI-Papier wird zudem über „Governance as Code“, nachgedacht, mit dem Richtlinien direkt in der Plattform verankert werden.
Angesichts der Art und Weise, wie KI-Technologie derzeit erkundet wird, ... verfügen viele Unternehmen ... schlichtweg nicht über die notwendigen Kapazitäten oder Expertise, um diese zusätzliche Verantwortung einfach mit zu übernehmen
Muther Pola, Fusion Global Business Solutions
Die wichtigsten Zutaten für AI Governance
Damit alles entsprechend der Unternehmensstrategie ausgerichtet ist, brauchen Unternehmen ein AI Board, das die Ziele der KI-Nutzung festlegt und in das Anwendungsfälle aus den Geschäftsbereichen eingebracht werden: „Die Use Cases durchlaufen dann einen definierten KI-Lebenszyklus und einen Bewertungsprozess, bis hin zu FinOps“, so der KI-Experte von Fusion. Aus seiner Sicht ist einerseits ein zentrales Repository wesentlich, in dem sämtliche Anwendungsfälle, ihre Verantwortlichen, Zuständigkeiten und Ergebnisse sowie die jeweiligen Kontrollbefugnisse dokumentiert werden. Andererseits brauche es eine Art zeitgemäßes Configuration Management Database (CMDB), um sämtliche KI-Assets zu erfassen, unabhängig davon, wo sie sich befinden. Erst daraus lasse sich ein KI-Inventar erstellen, wie es viele regulatorische Standards verlangen.
Historisch betrachtet ist Technologie im Verantwortungsbereich des CTO, des CIO oder des CDO angesiedelt. „Angesichts der Art und Weise, wie KI-Technologie derzeit erkundet wird, und ihrer Dynamik, verfügen viele Unternehmen innerhalb ihrer bestehenden Führungsrollen schlichtweg nicht über die notwendigen Kapazitäten oder Expertise, um diese zusätzliche Verantwortung einfach mit zu übernehmen“, meint Pola. Deshalb seien derzeit entstehende Rollen wie Chief AI Officer oder Head of AI mittelfristig sinnvoll, bis es zu einer stärkeren Standardisierung komme. „Ich bin der Überzeugung, der oder die oberste IT- und KI-Verantwortliche muss der CEO sein. Es braucht auch Strukturierer für das Thema KI im Unternehmen: KI-Verantwortliche sind sinnvoll, aber sie müssen die volle Unterstützung und ein starkes Mandat haben – und direkt an die Geschäftsführung berichten“, meint Fraunhofer-Experte Dumitrescu.