In den Vorstandsetagen und Geschäftsführungsrunden der Sozialwirtschaft herrscht oft ein gefährliches Gefühl der Sicherheit vor, wenn es um die Digitalisierung geht. Man vertraut auf etablierte Softwarehäuser, auf jahrzehntelange Partnerschaften mit Branchenriesen und auf das Versprechen, dass moderne Tools die massiven Lücken im Fachkräftebereich schließen werden. Doch mit dem vollständigen Greifen des EU AI Acts im Jahr 2026 ist eine Gewissheit weggebrochen, die lange Zeit als unumstößlich galt: Die Annahme, dass man als bloßer Anwender einer Software rechtlich stets auf der sicheren Seite steht.
Der Rollenwechsel vom Anwender zum „Betreiber“
Die regulatorische Architektur des AI Acts hat ein neues Rechtsverhältnis geschaffen, das viele Entscheider in der Pflege und im Gesundheitswesen unvorbereitet trifft. Das Gesetz unterscheidet nicht länger nur zwischen dem Programmierer und dem Nutzer, sondern führt die Rolle des „Betreibers“ (Deployer) ein. Damit einher geht eine Verschiebung der Verantwortlichkeit, die weitreichende Konsequenzen für die persönliche Haftung der Geschäftsführung hat. Es reicht im Ernstfall nicht mehr aus, auf ein fehlerhaftes Modul des Herstellers zu verweisen. Sobald eine KI-gestützte Komponente in den operativen Betrieb integriert wird, übernimmt die Einrichtung die Verantwortung für deren Auswirkungen auf Menschen – seien es nun Patienten, Bewohner oder die eigenen Mitarbeitenden.
Diese Haftung ist kein theoretisches Konstrukt für die ferne Zukunft. Wer im Jahr 2026 Systeme einsetzt, die beispielsweise im Recruiting über die berufliche Zukunft von Bewerbern entscheiden oder in der ambulanten Pflege die Priorisierung von Hausbesuchen beeinflussen, agiert im Bereich der Hochrisiko-Anwendungen. Hier verlangt der Gesetzgeber eine aktive Überwachungspflicht. Das bedeutet für Sie als Geschäftsführer, dass Sie nachweisen müssen, wie Ihre Einrichtung sicherstellt, dass die Maschine nicht das letzte Wort hat. Die oft zitierte „menschliche Aufsicht“ ist keine technische Funktion, die man mitkauft; sie ist eine organisatorische Pflicht, deren Versäumnis unmittelbar auf die Leitungsebene zurückfällt.
Die Gefahr der „Black Box“ in der Beschaffung
Ein zentrales Risiko liegt in der Intransparenz vieler Bestandssysteme. In den letzten Jahren haben zahlreiche Softwareanbieter ihre Produkte mit „intelligenten Funktionen“ angereichert, oft ohne dass den Kunden die volle Tragweite der dahinterstehenden Algorithmen bewusst war. Im Kontext des AI Acts wird diese Unwissenheit jedoch zur Haftungsfalle. Wenn Sie heute eine Software für das Entlassmanagement oder die Dienstplanung nutzen, die im Hintergrund unbemerkt Hochrisiko-KI einsetzt, haften Sie für deren Konformität, als hätten Sie die Systeme bewusst so bestellt.
Die strategische Aufgabe der Geschäftsführung besteht daher nun darin, Licht in diese digitale „Black Box“ zu bringen. Es geht um eine Revision der gesamten IT-Landschaft, die weit über einen einfachen Inventar-Check hinausgeht. Es ist die Frage nach der Beherrschbarkeit der Technik: Können wir im Falle einer Fehlentscheidung der KI erklären, wie diese zustande kam? Haben wir Prozesse etabliert, die es einer Pflegekraft oder einer HR-Leitung ermöglichen, die Empfehlungen der Maschine fachlich begründet zu übersteuern? Wer diese Fragen nicht beantworten kann, agiert rechtlich im luftleeren Raum – mit dem Risiko von Bußgeldern, die im schlimmsten Fall die Existenz des gesamten Trägers gefährden können.
Vertrauen als Ergebnis systematischer Kontrolle
Man könnte diese Regulierung als Innovationsbremse missverstehen, doch bei genauerer Betrachtung ist sie das notwendige Fundament für eine nachhaltige Digitalisierung in einer Branche, die wie keine zweite von ethischen Standards lebt. Die Haftungssicherheit der Geschäftsführung ist untrennbar mit dem Vertrauen der Schutzbefohlenen verbunden. Ein Träger, der nachweisen kann, dass er seine KI-Systeme nicht nur blind anwendet, sondern aktiv steuert und überwacht, schützt nicht nur sein Privatvermögen vor Regressansprüchen, sondern stärkt sein wichtigstes Gut: seine Reputation.
Letztlich führt der Weg zur Rechtssicherheit über eine bewusste Auseinandersetzung mit der eigenen IT-Governance. Der AI Act zwingt uns dazu, die Hoheit über die Prozesse in unseren Einrichtungen zurückzugewinnen. Es ist die Chance, Digitalisierung nicht mehr als notwendiges Übel zu betrachten, das man an externe Dienstleister delegiert, sondern als Kernkompetenz einer modernen Unternehmensführung, die Verantwortung dort übernimmt, wo sie hingehört – an der Spitze der Organisation.
Wir unterstützt Sie dabei, die „Betreiber-Falle“ zu umgehen und ein lückenloses KI-Inventar aufzubauen, das auch einer behördlichen Prüfung standhält.