BärGPT: Wie KI-Entwicklung für die Verwaltung mit RAG geht – 3 Learnings
Nicht lange reden, einfach machen: So nutzen viele Künstliche Intelligenz schon heute im Arbeitskontext, wenn sie mithilfe von KI schnell Texte formulieren oder recherchieren. Aber wie entwickelt man eine KI, die den Anforderungen der Verwaltung gerecht wird – insbesondere was Rechtssicherheit und Datenschutz angeht? Im Werkstattbericht teilt unser Kollege Malte Barth Gelerntes aus der Entwicklung von BärGPT, unserem dokumentenbasierten KI-Assistenten speziell für die Berliner Verwaltung.
Stellen wir uns vor, Verwaltungsmitarbeitende könnten komplexe Dokumente und Gesetzestexte schnell zusammenfassen oder viele ähnliche E-Mails effizient beantworten – mit KI und ohne befürchten zu müssen, dass sensible Daten ins Internet gelangen. Genau das ist unser Anspruch für BärGPT.
Wie lassen sich echte Gesetze als Basiswissen für eine KI verwenden, um rechtsichere Antworten zu genieren? Wofür kann eine KI in der Verwaltung datenschutzkonform genutzt werden – und wofür nicht? Und was unterscheidet eine dokumentenbasierte KI, die mit RAG (Retrieval Augmented Generation) arbeitet, von bekannten Tools wie ChatGPT & Co? Hier teilen wir im Schnelldurchgang, welche Learnings wir bisher bei der Entwicklung von BärGPT gesammelt haben:
Den Fokus neu setzen – mit Open Source als Basis
Vom ersten Proof-of-Concept schnell Richtung Prototyp zum Ausprobieren: So lief die Entwicklung unseres ersten KI-Assistenten Parla, der zehntausende Dokumente des Berliner Abgeordnetenhauses durchsucht, die relevantesten Suchergebnisse verlinkt und eine erste KIgenerierte Antwort auf Fragen zur aktuellen Wahlperiode liefert. Bei BärGPT haben wir uns mit dem gewonnen Feedback mehr Zeit für die Entwicklung genommen und entschieden, beim Code von 0 anzufangen. Entscheidend war für uns, dass wir den Fokus auf ein europäisches KI-Modell und Open Source legen. Gleichzeitig haben wir uns das Ziel gesetzt, in der Entwicklung von BärGPT auf ein Large Language Modell (LLM) zu setzen, das groß genug für eine breite Wissensbasis ist, aber auch klein genug, um Antworten schnell genug zu liefern und Nachhaltigskeitsaspekte zu berücksichtigen. Deshalb haben wir uns für ein Modell der europäischen KI-Firma Mistral entschieden und nutzen aktuell ihr “Small“-Modell.
Präzision in der Dokumentenbefragung sicherstellen – mit RAG und System-Prompting
Die ersten Schritte gingen dann überraschend einfach, zum Beispiel das Modell über unsere API-Schnittstellen anzubinden. Richtig kniffelig wurde es dagegen bei der Einrichtung unseres RAG-Systems, also bei der Frage: Wie bringen wir BärGPT Verwaltungswissen bei? Die RAG-Methode – also die Erweiterung des Modells um eine fachspezifische Wissensdatenbank – ermöglicht es uns zum einen, BärGPT ein Basiswissen zu geben, durch Dokumente wie die „Gemeinsame Geschäftsordnung der Berliner Verwaltung“ (GGO). Zum anderen möchten wir aber auch, dass Verwaltungsmitarbeitende eigenständig relevante Dokumente hochladen, befragen und so zum Beispiel passgenaue Zitate aus Gesetzestexten erhalten können. Wie mit jeder KI kann es trotzdem passieren, dass sich das Modell unabhängig von seinem Wissen und den befragten Dokumenten Informationen „halluziniert“. Um das zu vermeiden, müssen wir in einem umfangreichen Prozess mit Anpassungen von System-Prompts – quasi dem Regelhandbuch für BärGPT – viel iterieren. Das ist besonders wichtig, da die Antworten einer KI-Anwendung für die Verwaltung rechtssicher sein müssen.
Anwendungsfälle für die Zielgruppe Verwaltung klar definieren – und testen
Bei unseren umfassenden Tests haben wir festgestellt, dass Nutzer:innen im ersten Moment oft Erwartungen an BärGPT haben, die aus ihren Erfahrungen mit anderen, gängigen Lösungen wie beispielsweise ChatGPT stammen. BärGPT verfügt zwar auch über einen freien Chat, ist aber kein Suchmaschinen-Ersatz. Oberste Priorität hat für uns, dass alle Informationen möglichst rechtssicher sind – und keine sensiblen Informationen ins Netz gehen. Ob beim Formulieren von Vermerken, Prüfen von Leistungsbeschreibungen, Übersetzen von Emails oder Zusammenfassen von langen Texten: Wir vertrauen unseren Nutzer:innen, dass sie intuitiv mit dem Tool interagieren und haben deshalb auch einen freien Chat, weil nicht jeder Anwendungsfall ein Dokument braucht. In unseren Tests zum Beispiel haben wir gesehen, dass manche BärGPT auch dazu nutzen möchten, Einladungstexte für Veranstaltungen oder Social Media zu schreiben. Wer eine Starthilfe oder Inspiration sucht, findet auf unserer Hilfeseite viele Beispiele, wie sich BärGPT nutzen lässt.
BärGPT ist ein laufendes Entwicklungsprojekt. Aktuelle Updates teilen Data Scientist Malte Barth & das Prototyping Team im DevLog des CityLAB.
BärGPT – KI-Assistent für die Berliner Verwaltung
BärGPT ist ein KI-Prototyp des CityLAB Berlin. Er wird in einer Testphase mit Verwaltungsmitarbeitenden erprobt, um herauszufinden, wie KI den Arbeitsalltag vereinfachen und Prozesse effizienter machen kann.