Die Entscheidung in Kürze
- Frage: Ein Verein oder Startup will einen Chatbot anbieten, der auf dem Sprachmodell eines anderen Unternehmens läuft.
- Empfehlung: Zur Wahl stehen ein fertiges Produkt unter dem Namen des Herstellers (Weg 1), ein eigenes Angebot unter eigenem Namen (Weg 2) und vorerst kein Bot (Weg 3). Ich halte Weg 2 für passend, wenn eine Person im Team Zeit dafür hat und das Team selbst festlegen will, was der Bot sagt, speichert und worauf er verweist. Sonst ist Weg 1 die kleinere Lösung; ohne zuständige Person bleibt es bei Weg 3.
- Menschen erfahren spätestens bei der ersten Nachricht, dass eine KI antwortet; das gilt seit dem 2. August 2026 ohne Übergangsfrist. Der Datenschutz gilt, sobald sich Eingaben auf eine Person beziehen, auch bei Belastendem.
- Grenze: Krisenberatung, Diagnose und die rechtliche Prüfung eines Einzelfalls bleiben bei Menschen. Der Bot verweist an das Team, an Hilfetelefone und bei akuter Gefahr an den Notruf 112.
- Warten können die strengeren Pflichten für KI mit hohem Risiko (Hochrisiko-Systeme), etwa bei der Bewertung von Lernergebnissen: Sie gelten erst ab dem 2. Dezember 2027.
Was vor dem Start des Chatbots zu klären ist
Ein Chatbot oder KI-Assistent ist ein Programm, das auf Fragen in Alltagssprache antwortet. Initiativen, Vereine und junge Sozialunternehmen setzen ihn ein, um ihr Angebot zu erklären, Termine zu vermitteln oder Lernende zu begleiten. Die Antworten erzeugt ein Sprachmodell (englisch Large Language Model, LLM), das ein anderes Unternehmen bereitstellt und das Team über eine Schnittstelle (API) anspricht; die KI-Verordnung (EU) 2024/1689 nennt es ein KI-Modell mit allgemeinem Verwendungszweck (Art. 3 Nr. 63).
Anlass für die Klärung kann der Starttermin sein, eine Nachfrage von Förderer oder Partner oder die Beobachtung, dass Nutzende dem Bot im Testbetrieb Persönliches oder Belastendes schreiben. Zu entscheiden ist dann, unter wessen Namen der Bot läuft, was er darf und welche Person im Team ihn trägt.
Am Anfang steht ein schriftlicher Absatz darüber, wofür der Bot da ist und wofür nicht. Zu dieser Zweckbestimmung zählt auch, was in Werbung und Beschreibung steht (Art. 3 Nr. 12). Sie entscheidet, ob der Bot auf der Hochrisiko-Liste in Anhang III der Verordnung steht; die Verbote nach Art. 5 knüpfen dagegen an Ziel oder Wirkung an, nicht an den aufgeschriebenen Zweck (Leitlinien zu verbotenen Praktiken, Rn. 82 und 83). Was eine Initiative schon vor dem ersten Pilot braucht, zeigt der Beitrag zu Datenschutz und KI in kleinen sozialen Initiativen.
Die Rolle des Teams entscheidet, wer den Hinweis auf die KI schuldet
Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt, auch unentgeltlich (Art. 3 Nr. 3). Betreiber ist, wer es in eigener Verantwortung verwendet (Art. 3 Nr. 4). Läuft der Bot unter dem Namen seines Herstellers, ist das Team Betreiber. Baut es ihn selbst oder lässt ihn bauen und stellt ihn unter eigenem Namen bereit, ist es Anbieter; weil das Modell von einem anderen Unternehmen stammt, heißt es nachgelagerter Anbieter (Art. 3 Nr. 68).
Die Europäische Kommission nennt in ihren nicht verbindlichen Leitlinien zu Art. 50 vom 20. Juli 2026 ausdrücklich eine Organisation als Anbieter, die einen Chatbot selbst entwickelt und unter eigenem Namen einsetzt (Rn. 5 und 11; Rn. steht für Randnummer). Offen lassen sie das zugekaufte Produkt mit eigenem Logo und eigenen Anweisungen; ich würde dann vorsorglich wie ein Anbieter planen. Die Rollen im Einzelnen ordnet der Beitrag zur Kennzeichnungspflicht nach Art. 50.
Als Anbieter schuldet das Team zwei Dinge. Erstens den Hinweis: Menschen erfahren spätestens bei der ersten Interaktion, klar und barrierefrei, dass eine KI antwortet; eine Übergangsfrist gibt es dafür nicht (Art. 50 Abs. 1 und 5; Leitlinien Rn. 153). Die Ausnahme, wenn die KI für eine verständige Person offensichtlich ist, legt die Kommission eng aus; bei einem öffentlichen Angebot, auf das auch schutzbedürftige Personen zugreifen können, trägt sie nicht (Rn. 45).
Zweitens sind erzeugte Texte maschinenlesbar zu markieren und als künstlich erzeugt erkennbar zu machen, soweit technisch möglich und nach dem Stand der Technik (Art. 50 Abs. 2, dort auch Ausnahmen; Leitlinien Rn. 69 und 70). Auf die Markierung des Modellanbieters darf sich das Team stützen, soweit sie Art. 50 Abs. 2 genügt; für den Nachweis bleibt es selbst verantwortlich (Rn. 74).
Drei Wege mit Pflichten, Aufwand und Risiko
Als Muster für ein kleines Team nennt die Spalte Pflichten, was aus KI-Verordnung und Datenschutz-Grundverordnung (DSGVO) folgt; Aufwand und Risiko sind meine Einschätzung, keine Messwerte.
| Weg | Pflichten | Aufwand (Einschätzung) | Risiko (Einschätzung) |
|---|---|---|---|
| 1. Fertiges Produkt unter dem Namen des Herstellers. Das Team richtet Inhalte und Einstellungen ein. | Betreiber (Art. 3 Nr. 4 KI-Verordnung). Den Hinweis schuldet der Hersteller als Anbieter (Art. 50 Abs. 1). KI-Kompetenz der Mitarbeitenden fördern, keine verbotene Praktik (Art. 4 und 5). Datenschutz: Auftragsverarbeitung, Information, Prüfung einer Folgenabschätzung (Art. 13, 28 und 35 DSGVO). | Gering bis mittel: Auswahl, Vertrag, Einrichtung, Test. | Grenzen, Speicherung und Verweise nur so weit, wie das Produkt es zulässt. Mit Logo und Anweisungen des Teams ist die Rolle offen. |
| 2. Eigenes Angebot unter eigenem Namen auf einem fremden Modell. Das Team baut den Bot oder lässt ihn bauen. | Anbieter (Art. 3 Nr. 3 und 68 KI-Verordnung). Hinweis selbst gestalten, erzeugte Texte maschinenlesbar markieren (Art. 50 Abs. 1, 2 und 5). Sonst wie in Weg 1, dazu eigene Voreinstellungen im Datenschutz (Art. 25 DSGVO). | Mittel bis hoch: Zweck, Grenzen und Anweisungen festlegen, die hinterlegten Dokumente (Wissensbasis) pflegen, nach jeder Änderung testen. Eine Person braucht dafür Zeit. | Alle Pflichten liegen beim Team. Dafür bestimmt es, was der Bot sagt, was er speichert und wohin er verweist. |
| 3. Vorerst ohne Bot. Antworten auf der Website, Auswahlhilfe mit festen Regeln ohne KI, Kontakt zu Menschen. | Aus der KI-Verordnung keine; feste Schnellantworten ohne KI fallen nach der Kommission nicht unter die Hinweispflicht (Leitlinien Rn. 30). Datenschutz wie bisher. | Gering: Texte schreiben und aktuell halten. | Fragen außerhalb der Erreichbarkeit des Teams bleiben liegen. |
Weg 1 und Weg 2 unterscheiden sich nach meiner Einordnung weniger im Datenschutz als in der Gestaltungsmacht. Das Team entscheidet in beiden über Zweck und Mittel der Gespräche und ist deshalb Verantwortlicher, also die Stelle, die für die Verarbeitung einsteht (Art. 4 Nr. 7 DSGVO).
Setzt das Team die Anwendung eines Herstellers oder Modellanbieters zu eigenen Zwecken ein, handelt dieser nach der Datenschutzkonferenz (DSK), dem Gremium der Aufsichtsbehörden von Bund und Ländern, als verlängerter Arm im Auftrag; dann kommt ein Auftragsverarbeitungsverhältnis in Betracht, in dem er die Daten nur auf Weisung verarbeitet und für das eine Vereinbarung nach Art. 28 Abs. 3 DSGVO zu schließen ist (Orientierungshilfe KI, Rn. 32). Entscheiden sie gemeinsam mit dem Team über Zwecke und Mittel, kommt eine gemeinsame Verantwortlichkeit in Betracht (Art. 26 DSGVO; Rn. 33).
Prüffragen zu Daten, Verboten, Hochrisiko und Grenzen
Unabhängig vom Namen auf dem Bot entscheiden diese Fragen, ob der geplante Zweck trägt.
- Gesundheit und Belastung. Schreiben Nutzende über ihre Gesundheit, auch die seelische, können Gesundheitsdaten entstehen, deren Verarbeitung grundsätzlich untersagt ist (Art. 4 Nr. 15, Art. 9 Abs. 1 DSGVO). Nach der DSK ist zu prüfen, ob eine Ausnahme nach Art. 9 Abs. 2 greift (Rn. 62).
- Folgenabschätzung. Bei voraussichtlich hohem Risiko ist vorab eine Datenschutz-Folgenabschätzung durchzuführen, also eine dokumentierte Abschätzung der Folgen für die Betroffenen (Art. 35 Abs. 1 DSGVO); davor steht eine Vorabprüfung des Risikos (DSK, Rn. 38). Eine Liste der Aufsichtsbehörden für den nichtöffentlichen Bereich (Stand 2018) nennt als Fall, in dem sie durchzuführen ist, ein System, das mit Kunden durch Konversation interagiert und für deren Beratung personenbezogene Daten mit KI verarbeitet (Nr. 11). In Weg 1 braucht das Team Angaben des Herstellers (DSK, Rn. 40).
- Verbote. Verboten sind KI-Systeme, die mit unterschwelligen oder absichtlich manipulativen oder täuschenden Techniken das Verhalten von Menschen wesentlich verändern, ebenso solche, die dafür die Schutzbedürftigkeit von Menschen ausnutzen, etwa wegen Alter oder Behinderung, jeweils bei erheblichem Schaden, der entsteht oder mit hinreichender Wahrscheinlichkeit entstehen wird (Art. 5 Abs. 1 Buchst. a und b). Als Beispiel nennt die Kommission in ihren nicht verbindlichen Leitlinien einen Wohlbefinden-Chatbot, der individuelle Verletzlichkeiten ausnutzt und Nutzende zu gefährlichem Verhalten bringt; fehlen geeignete Vorkehrungen dagegen, kann das genügen (Rn. 84). Welche Vorkehrungen ausreichen, sagen die Leitlinien nicht; die Grenzen der Startliste sind ein Anfang, keine Gewähr.
- Hochrisiko-Liste. Anhang III der Verordnung nennt Einsatzfelder mit strengeren Pflichten, zum Beispiel: Bewertet der Bot Lernergebnisse (Nr. 3 Buchst. b) oder prüft er für eine Behörde oder in ihrem Namen Ansprüche auf öffentliche Unterstützungsleistungen (Nr. 5 Buchst. a)? Dann greifen ab dem 2. Dezember 2027 Hochrisiko-Pflichten, soweit keine Ausnahme nach Art. 6 Abs. 3 vorliegt. Ob eine freie Initiative im Namen einer Behörde handelt, ist offen, wie der Fristenkalender zur KI-Verordnung ausführt.
- Recht und Medizin. Eine Tätigkeit in konkreten fremden Angelegenheiten, die eine rechtliche Prüfung des Einzelfalls erfordert, ist Rechtsdienstleistung (§ 2 Abs. 1 Rechtsdienstleistungsgesetz, RDG). Software kann ein Medizinprodukt sein, wenn sie laut Hersteller Krankheiten erkennen oder behandeln soll (Art. 2 Nr. 1 und 12 Medizinprodukteverordnung, MDR). Beides gehört nicht in einen Orientierungsbot.
- Kinder und Jugendliche. Richtet sich der Bot an sie, ist zu prüfen, ob die Einwilligung der Eltern nötig ist (Art. 8 DSGVO); bei Präventions- und Beratungsdiensten für Kinder sollte sie nach der Begründung der Verordnung nicht erforderlich sein (Erwägungsgrund 38). Der Hinweis auf die KI soll kindgerecht sein (Leitlinien zu Art. 50, Rn. 34).
Startliste: sieben Punkte, bevor der Bot online geht
Die Startliste ist ein Muster und zugleich eine Checkliste: In Weg 1 prüft das Team, ob das Produkt die Punkte erfüllt (meine Empfehlung, keine Pflicht aus Art. 50), in Weg 2 setzt es sie selbst um. Als Maßstab dient unter anderem der unverbindliche Kriterienkatalog des Bundesamts für Sicherheit in der Informationstechnik (BSI) vom 6. Juni 2025, geschrieben für die Bundesverwaltung, aber ausdrücklich auch für Chatbots auf der Webseite einer Einrichtung.
| Punkt | Was vor dem Start feststeht | Grundlage oder Maßstab | Zuständig (Vorschlag) |
|---|---|---|---|
| 1. Hinweis auf die KI | Vor der ersten Nachricht im Chatfenster, klar, leicht verständlich, barrierefrei; nicht nur in den Nutzungsbedingungen, kein bloßes „Assistent“, kein menschliches Profilbild. Fragt jemand nach einem Menschen, antwortet der Bot wahrheitsgemäß; bei belastenden Themen wiederholt er den Hinweis. | Art. 50 Abs. 1 und 5 KI-Verordnung; Leitlinien Rn. 34, 38, 40, 45 und 143 | wer den Bot baut oder einrichtet |
| 2. Grenzen und Verweise | Der Bot sagt, was er nicht übernimmt: Krisenberatung, Diagnose, Behandlung, Prüfung des Einzelfalls. Bei Anzeichen von Not nennt er Hilfetelefone, bei akuter Gefahr den Notruf 112. Er bietet den Weg zu einem Menschen an. | Art. 5 Abs. 1 Buchst. a und b KI-Verordnung; § 2 Abs. 1 RDG; Art. 2 Nr. 1 MDR; fachliche Setzung | Leitung mit der Fachkraft des Angebots |
| 3. Daten und Speicherung | Keine Abfrage von Namen oder Gesundheitsangaben. Festgelegt: Speicherdauer, Lesezugriff, Ort der Verarbeitung, kein Training mit Eingaben. Keine sensiblen Daten in den Anweisungen an den Bot (Systemprompt). Datenschutzhinweis am Fenster. | Art. 5, 13, 25 und 44 DSGVO; § 25 Telekommunikation-Digitale-Dienste-Datenschutz-Gesetz (TDDDG); DSK Rn. 24 und 25; BSI-Katalog 2.4.1 | wer die Technik betreut |
| 4. Vertrag mit Hersteller oder Modellanbieter | Vertrag zur Auftragsverarbeitung geschlossen, soweit der Anbieter im Auftrag handelt. Nutzungsrichtlinie mit Datum der Fassung abgelegt. Zusage, Eingaben nicht für andere Zwecke zu nutzen. Geklärt, ob das Modell Texte maschinenlesbar markiert. | Art. 28 Abs. 3 DSGVO; Art. 50 Abs. 2 und Art. 53 KI-Verordnung; BSI-Katalog 2.3 | Leitung |
| 5. Folgenabschätzung | Schriftliche Vorprüfung, ob sie nötig ist. Falls ja, durchgeführt. | Art. 35 DSGVO; DSK-Liste Nr. 11 | Leitung, mit Datenschutzbeauftragtem, soweit benannt |
| 6. Test mit echten Fragen | Fragen, wie Nutzende schreiben, auch belastende, abwegige und die nach einem Menschen, ohne Daten echter Personen. Ergebnis datiert; Wiederholung nach jeder Änderung an Modell, Anweisungen oder Wissensbasis. | BSI-Katalog 2.5; BSI-Papier Generative KI-Modelle, M11; DSK-Orientierungshilfe zu KI-Systemen, 2.4.1 | zwei Personen, eine aus der Fachpraxis |
| 7. Zuständigkeit im Team | Eine benannte Person beantwortet Rückmeldungen, nimmt den Bot bei Fehlern vom Netz und veranlasst Tests. Wer mit dem Bot arbeitet, ist eingewiesen, auch zu erfundenen Antworten. | Art. 4 KI-Verordnung; BSI-Katalog 2.1 | Leitung benennt die Person |
Verweise auf Hilfetelefone
Eine Rechtspflicht zum Verweis auf Hilfetelefone ist mir nicht bekannt. Ich halte ihn für eine fachliche Mindestanforderung, sobald Menschen dem Bot Belastendes schreiben können. Beispiele mit den Angaben der Angebote vom 15. Oktober 2026:
- TelefonSeelsorge: 0800 1110111, 0800 1110222 oder 116 123, kostenfrei und anonym, Tag und Nacht.
- Nummer gegen Kummer: Kinder- und Jugendtelefon 116 111 (Montag bis Samstag 14 bis 20 Uhr), Elterntelefon 0800 111 0550 (Montag bis Freitag zu festen Zeiten).
- Hilfetelefon Gewalt gegen Frauen: 116 016, rund um die Uhr.
- Bei akuter Gefahr: europäischer Notruf 112.
Nicht jede Nummer ist nachts besetzt; der Bot nennt deshalb die Zeiten mit. Die zuständige Person prüft Nummern und Zeiten vor dem Start und danach in festen Abständen.
Daten und Vertrag
Nach der DSK ist zu prüfen, ob Eingaben zum Training dienen; vorzugswürdig sind Anwendungen, die das nicht tun (Rn. 24). Gespeicherte Verläufe bilden eine Historie der Eingaben einer Person (Rn. 25); ihre Speicherdauer gehört in die Information nach Art. 13 Abs. 2 DSGVO. Werden Eingaben an einen Dienst in einem Land außerhalb von EU und EWR (Drittland) übermittelt, gelten besondere Regeln (Art. 44 DSGVO). Ob ein Chatfenster ohne Einwilligung laden darf, hängt davon ab, was es auf dem Gerät speichert oder dort ausliest (§ 25 TDDDG).
Die Nutzungsrichtlinie eines Modellanbieters regelt, wofür Kunden das Modell einsetzen dürfen. Der Modellanbieter muss sie Anbietern von KI-Systemen, die das Modell einbauen, mit der übrigen Dokumentation bereitstellen; für quelloffen lizenzierte Modelle gilt das grundsätzlich nicht (Art. 53 Abs. 1 Buchst. b und Abs. 2, Anhang XII).
Als Beispiel aus den Quellen verlangt die Richtlinie eines Anbieters in der Fassung vom 15. September 2025 bei Anwendungen zu Recht und Gesundheit, auch seelischer Gesundheit, eine Fachperson, die Ratschläge vor der Weitergabe prüft; Hinweise zu Schlaf, Stress oder Ernährung nimmt sie aus. Ab dem 12. November 2026 gilt eine neue Fassung, die den Gesundheitsfall auf Diagnose, Behandlung und Bewertung von Erkrankungen fasst. Ein Bot, der seelische Erkrankungen diagnostizieren oder behandeln soll, bräuchte nach beiden Fassungen eine Fachperson, die vorher prüft.
Test und Zuständigkeit
Sprachmodelle können Antworten erfinden, die glaubhaft wirken (BSI, Generative KI-Modelle, Risiko R4); das BSI empfiehlt Tests des ganzen Systems mit allen Schnittstellen, wiederholt bei Anlass (Maßnahme M11). Antwortet der Bot aus hinterlegten Dokumenten (RAG), müssen diese aktuell und vollständig sein (DSK, Orientierungshilfe RAG, Abschnitt 3.1).
Für die Maßnahmen zur KI-Kompetenz genügt nach der Kommission ein interner Nachweis über Schulungen oder andere Maßnahmen, ein Zertifikat ist nicht nötig (AI Literacy, Questions and Answers). Geeignete Maßnahmen beschreibt der Beitrag zur KI-Kompetenz nach Art. 4.
Empfehlung: eigener Bot bei genug Zeit, sonst ein fertiges Produkt
Meine Empfehlung
Ich halte Weg 2, den eigenen Bot unter eigenem Namen auf einem fremden Modell, für passend, wenn eine Person im Team Zeit dafür hat und das Team selbst bestimmen will, was der Bot sagt, was er speichert und wohin er verweist. Reicht die Zeit für Anweisungen, Dokumente und Tests nach jeder Änderung nicht, ist Weg 1 die kleinere Lösung, mit einem Produkt, das Hinweis, Speicherfristen und Verweise schon mitbringt. Eine zuständige Person braucht das Team in beiden Wegen, denn die Punkte 5 bis 7 der Startliste bleiben bei ihm. Fehlt sie oder erfüllt der Bot die Startliste noch nicht, gilt Weg 3.
Zurück zu Weg 3 würde ich wechseln, wenn der Bot im Test bei Äußerungen von Not nicht auf Menschen und Hilfetelefone verweist. Ebenso, wenn Hersteller oder Modellanbieter Eingaben für eigene Zwecke nutzen oder keinen Vertrag zur Auftragsverarbeitung anbieten. Wandert der Zweck zur Bewertung von Lernergebnissen, zur Prüfung von Ansprüchen, zur Diagnose oder zur Rechtsprüfung im Einzelfall, beginnt die Einordnung neu.
Beschlussvorschlag für das Team
Als Muster für Vorstand, Geschäftsführung oder Teamrunde:
- Das Team bietet den Bot als eigenes Angebot unter eigenem Namen an (Weg 2). Zweck und Grenzen liegen dem Beschluss schriftlich bei.
- Eine namentlich benannte Person ist zuständig. Sie arbeitet die Startliste bis zu einem festen Datum ab und legt Vertrag, Vorprüfung zur Folgenabschätzung und Testergebnis der Leitung vor.
- Online geht der Bot, wenn die Leitung die Startliste abgezeichnet hat. Bis dahin antworten Menschen.
- Nach drei Monaten entscheidet das Team anhand von Rückmeldungen und Tests, ob der Bot bleibt, eingeschränkt oder abgeschaltet wird.
- Ändern sich Zweck, Modell oder Anbieter, gelten die betroffenen Punkte der Startliste neu.
Reicht die Zeit der zuständigen Person nicht für Weg 2, bindet das Team stattdessen ein fertiges Produkt ein (Weg 1), das die Punkte 1 bis 4 der Startliste erfüllt; die Punkte 5 bis 7 bearbeitet dieselbe Person. Ohne zuständige Person gilt Weg 3, bis das Team eine bestimmt.
Was die Startliste nicht entscheidet
Die Startliste sortiert die Aufgaben vor dem Start; ob ein bestimmter Bot unter Verbote, Hochrisiko-Liste oder Folgenabschätzung fällt, klärt sie nicht. Offen bleiben die Rolle bei einem zugekauften Produkt mit eigenem Logo, ob im Gespräch Gesundheitsdaten entstehen, ob eine Folgenabschätzung nötig ist, wo ein Bot zu Leistungsansprüchen die Schwelle zur Rechtsdienstleistung erreicht und was ein Team als Anbieter tun kann, wenn die Markierung des Modells fehlt oder nicht genügt. Ob eine nötige Folgenabschätzung auch einen Datenschutzbeauftragten verlangt, behandelt der Beitrag zur Benennungspflicht.
Die KI-Verordnung überwacht grundsätzlich die Bundesnetzagentur (§ 2 Abs. 1 KI-Marktüberwachungs-und-Innovationsförderungs-Gesetz, KI-MIG); ihr KI-Compliance Kompass bietet eine erste, nicht verbindliche Orientierung. Wer nur diesen einen Bot plant, kann mit der Startliste arbeiten. Sind mehrere KI-Anwendungen im Einsatz oder braucht das Team einen Überblick über alle, erfasst der KI-Check sie in einem Verzeichnis und stuft bis zu zehn davon ein, einen Chatbot etwa nach Verbot, Hochrisiko und Hinweispflichten: 1.500 € Festpreis für eine Einrichtung oder einen kleinen Träger unter 50 Beschäftigten. Die Leistung ist für Träger beschrieben; ob sie zu einem kleinen Team passt, klärt das kostenfreie Erstgespräch.
Stand: 15. Oktober 2026. KI-Verordnung in der Fassung der Digital-Omnibus-Verordnung zur KI (Verordnung (EU) 2026/1744). Die Leitlinien der Kommission zu Art. 50 lagen nur auf Englisch vor; ob sie inzwischen förmlich angenommen sind, ließ sich nicht feststellen. Nicht ausgewertet sind die Nutzungsrichtlinien weiterer Modellanbieter, kirchliches Datenschutzrecht und Förderrichtlinien.
Fragen kleiner Teams zum eigenen Chatbot
Muss ein Chatbot sagen, dass er eine KI ist?
Ja, spätestens bei der ersten Interaktion, klar und barrierefrei; eine Ausnahme gilt nur, wenn die KI für eine verständige Person offensichtlich ist (Art. 50 Abs. 1 und 5 KI-Verordnung). Den Hinweis schuldet der Anbieter: Wer den Bot selbst baut oder bauen lässt und unter eigenem Namen bereitstellt, ist Anbieter, auch ohne Entgelt (Art. 3 Nr. 3); auf dem Modell eines anderen Unternehmens heißt er nachgelagerter Anbieter (Art. 3 Nr. 68). Offen ist der Fall eines zugekauften Produkts mit eigenem Logo und eigenen Anweisungen.
Brauche ich für einen KI-Chatbot eine Datenschutz-Folgenabschätzung?
Vorgeschrieben ist sie, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Betroffenen mit sich bringt (Art. 35 Abs. 1 DSGVO). Die Aufsichtsbehörden führen für den nichtöffentlichen Bereich eine Liste von Verarbeitungen, für die eine Folgenabschätzung durchzuführen ist (Stand 2018). Als Beispiel steht dort ein System, das mit Kunden durch Konversation interagiert und für deren Beratung personenbezogene Daten mit KI verarbeitet (Nr. 11). Ob ein bestimmter Bot darunter fällt, zeigt eine schriftliche Vorprüfung.
Darf ein KI-Chatbot Fragen zu Sozialleistungen beantworten?
Allgemeine Auskünfte zu Leistungen und zuständigen Stellen prüfen keinen Einzelfall. Rechtsdienstleistung ist dagegen jede Tätigkeit in konkreten fremden Angelegenheiten, sobald sie eine rechtliche Prüfung des Einzelfalls erfordert (§ 2 Abs. 1 RDG); eine Gerichtsentscheidung dazu, ob ein KI-Chatbot das tun kann, ist mir nicht bekannt. Der Bot nennt deshalb Leistungen und Stellen und verweist für die Prüfung des eigenen Falls an eine Beratungsstelle.
Was soll ein Chatbot tun, wenn jemand schreibt, dass es ihm sehr schlecht geht?
Er nennt passende Hilfetelefone und bei akuter Gefahr den Notruf 112. Außerdem bietet er den Kontakt zu einem Menschen im Team an; das ist eine fachliche Anforderung, eine Rechtspflicht dazu ist mir nicht bekannt. Ob der Bot das tut, zeigt nur ein Test mit solchen Eingaben vor dem Start.
Quellen
- Europäische Union: Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27. Juli 2026 ohne Rechtswirkung, Art. 3 Nr. 3, 4, 12, 63 und 68, Art. 4, 5, 6, 50, 53, 111 und 113, Anhang III und XII. EUR-Lex, abgerufen am 15. Oktober 2026.
- Europäische Union: Verordnung (EU) 2026/1744 vom 8. Juli 2026 zur Änderung der Verordnungen (EU) 2024/1689, (EU) 2018/1139 und (EU) 2023/1230 (Digital-Omnibus-Verordnung zur KI), ABl. L vom 24. Juli 2026, Art. 1 Nr. 5 und Art. 4. Amt für Veröffentlichungen der EU, abgerufen am 15. Oktober 2026.
- Europäische Union: Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Art. 4 Nr. 7 und 15, Art. 5, 8, 9, 13, 25, 26, 28, 35 und 44, Erwägungsgrund 38. Amt für Veröffentlichungen der EU, abgerufen am 15. Oktober 2026.
- Europäische Kommission: Guidelines on the implementation of the transparency obligations for certain AI systems under Article 50 of Regulation (EU) 2024/1689, Anhang zu C(2026) 5054 final vom 20. Juli 2026, Rn. 5, 11, 30, 34, 38, 40, 45, 69, 70, 74, 143 und 153. PDF der Kommission und Seite zur Veröffentlichung, abgerufen am 15. Oktober 2026.
- Europäische Kommission: Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 5052 final vom 29. Juli 2025, Rn. 82 bis 84. PDF der Kommission, abgerufen am 15. Oktober 2026.
- Europäische Kommission: AI Literacy, Questions and Answers, Abschnitt zur Einhaltung von Art. 4. digital-strategy.ec.europa.eu, abgerufen am 15. Oktober 2026.
- Europäische Union: Verordnung (EU) 2017/745 über Medizinprodukte (MDR), konsolidierte Fassung vom 1. Januar 2026, Art. 2 Nr. 1 und 12. Amt für Veröffentlichungen der EU, abgerufen am 15. Oktober 2026.
- Bundesministerium der Justiz und für Verbraucherschutz: KI-Marktüberwachungs-und-Innovationsförderungs-Gesetz (KI-MIG), § 2 Abs. 1. gesetze-im-internet.de, abgerufen am 15. Oktober 2026.
- Bundesministerium der Justiz und für Verbraucherschutz: Telekommunikation-Digitale-Dienste-Datenschutz-Gesetz (TDDDG), § 25. gesetze-im-internet.de, abgerufen am 15. Oktober 2026.
- Bundesministerium der Justiz und für Verbraucherschutz: Rechtsdienstleistungsgesetz (RDG), § 2 Abs. 1. gesetze-im-internet.de, abgerufen am 15. Oktober 2026.
- Remmertz, Frank: Darf ChatGPT Jura? Beitrag zur Frage, ob KI-Chatbots Rechtsdienstleistungen erbringen, beck-aktuell vom 11. November 2025, als Beleg dafür, dass zu dieser Frage soweit ersichtlich keine Rechtsprechung vorliegt. beck-aktuell.de, abgerufen am 15. Oktober 2026.
- Bundesnetzagentur: KI-Service Desk mit dem KI-Compliance Kompass. bundesnetzagentur.de, abgerufen am 15. Oktober 2026.
- Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK): Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0 vom 6. Mai 2024, Rn. 24, 25, 32, 33, 38, 40 und 62. PDF der DSK, abgerufen am 15. Oktober 2026.
- DSK: Liste der Verarbeitungstätigkeiten, für die eine DSFA durchzuführen ist (nichtöffentlicher Bereich), Version 1.1 vom 17. Oktober 2018, Nr. 11. PDF der DSK, abgerufen am 15. Oktober 2026.
- DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0, Oktober 2025, Abschnitt 3.1. PDF der DSK, abgerufen am 15. Oktober 2026.
- DSK: Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen, Version 1.0, Juni 2025, Abschnitt 2.4.1. PDF der DSK, abgerufen am 15. Oktober 2026.
- Bundesamt für Sicherheit in der Informationstechnik: Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen, Version 1.0 vom 6. Juni 2025, Abschnitte 1.2, 2.1, 2.3, 2.4.1 und 2.5. PDF des BSI, abgerufen am 15. Oktober 2026.
- Bundesamt für Sicherheit in der Informationstechnik: Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden, Version 2.0 vom 17. Januar 2025, Risiko R4 und Maßnahme M11. PDF des BSI, abgerufen am 15. Oktober 2026.
- Anthropic: Usage Policy, archivierte Fassung mit Wirkung vom 15. September 2025 (Abschnitt zu Anwendungen mit erhöhtem Risiko) und Fassung mit Wirkung vom 12. November 2026 (Abschnitt zu Empfehlungen in Risikobereichen), als Beispiel für die Nutzungsrichtlinie eines Modellanbieters. archivierte Fassung und Fassung ab 12. November 2026, abgerufen am 15. Oktober 2026.
- TelefonSeelsorge Deutschland: Startseite mit Rufnummern. telefonseelsorge.de, abgerufen am 15. Oktober 2026.
- Nummer gegen Kummer e. V.: Kinder- und Jugendtelefon 116 111 und Elterntelefon 0800 111 0550. nummergegenkummer.de, abgerufen am 15. Oktober 2026.
- Hilfetelefon Gewalt gegen Frauen: Startseite mit Rufnummer 116 016. hilfetelefon.de, abgerufen am 15. Oktober 2026.
- Europäische Union: Notrufnummer 112, Your Europe. europa.eu, abgerufen am 15. Oktober 2026.
Christian Monat
Ich bin externer Datenschutzbeauftragter mit IHK-Abschluss und seit 2019 in Team- und Einrichtungsleitung im Sozialwesen tätig. Hier schreibe ich über Datenschutz, Schweigepflicht und den geregelten Einsatz von KI in der Sozialen Arbeit und Pflege. Mehr über mich
Der Beitrag erklärt die Rechtslage und ersetzt keine Rechtsberatung im Einzelfall.
