„ChatLEO“ hilft Jura-Studierenden bei der Examensvorbereitung

Welche Ziele verfolgen Sie mit dem Einsatz von KI in Ihrer Lehre? 
Was wir hier aufgesetzt haben, dient ganz klar der Lernunterstützung. Man kann damit gezielt nach Unterlagen suchen, man kann der KI auch sagen, dass man Vertiefungsfragen gestellt bekommen möchte. Damit können die Studierenden dann zum Beispiel selbständig eine Lernkontrolle vornehmen.

Frei verfügbare KI-Werkzeuge sind bei der Beantwortung juristischer Fragen oft ziemlich schlecht, es gibt zudem das Problem der Halluzination. Bei uns generiert die KI die Antwort nur aus unseren Unterlagen. Dadurch können wir Halluzinationen stark unterdrücken. Denn wenn bestimmte Inhalte in unseren Unterlagen nicht enthalten sind, fängt die KI nicht an, irgendetwas zu erzählen, sondern verweigert eine Antwort mit dem Hinweis „Das weiß ich nicht“. Die Wahrscheinlichkeit, dass Halluzinationen auftreten, ist also deutlich reduziert.

Welche Erfahrungen haben Sie bisher damit gemacht – was lief gut, wo gab es Herausforderungen? 
Wir haben natürlich die allgemeinen Herausforderungen, die mit jedem KI-Tool bestehen. Es sind ja letztlich Wahrscheinlichkeitsrechnungen, die hier stattfinden. Die KI kann auch mal danebenliegen. Diese Fehleranfälligkeit wollten wir so gering wie möglich halten. Natürlich haben wir im Hintergrund ein Large Language Model. Den Trainingsbestand, der diesem Modell zugrunde liegt, wollten wir für die Antwortgenerierung ausblenden. Das ist uns durch entsprechendes Prompting weitgehend gelungen. 

Eine zweite Herausforderung ist, dass die KI relativ schwer gewichten kann, was die primäre Quelle ist und was einfach nur weitere Fundstellen sind, wo bestimmte semantische Formulierungen auch vorkommen. Wenn die primäre Fundstelle, zum Beispiel in einer Vorlesungsaufzeichnung oder in einem Vorlesungsskript, nicht als primäre Referenz angezeigt wird, ist einem nicht wirklich geholfen, gerade wenn es darum geht, Grundverständnisse zu vermitteln. Das ist ein Punkt, an dem wir aktuell dran sind, damit das noch besser wird. 

Was ist Ihnen bislang gespiegelt worden von jenen, die den Chatbot nutzen?

Wir haben ein relativ durchgehend positives Feedback. Natürlich zögern manche Studierende ersteinmal und fragen sich, wie sie sicherstellen können, dass das richtig ist, was sie dort angezeigt bekommen. Aber das ist ja auch wichtig, das gehört dazu. Um die Antwort der KI prüfen zu können, gibt die KI immer mit an, welche Quellen sie verwendet hat, um die Antwort zu generieren. Die Quellen sind verlinkt, so dass die Studierenden durch einen Mausklick direkt auf die Quelle zugreifen können. Die Videofunktion ist gleich mit großem Lob aufgenommen worden. Sie wird von vielen als Haupt-Benefit angesehen. 

Welchen Tipp würden Sie Kolleg:innen geben, die KI-gestützte Methoden in ihrer Lehre ausprobieren möchten?  
Also erstmal, ganz untypisch deutsch: Einfach ausprobieren! Einfach testen und nicht 20 Jahre überlegen, wie ein optimales System aussehen könnte. Man kann in diesem Bereich nicht alles fertig konzeptionieren. Man sollte sich einfach nur überlegen, was man machen will. Natürlich sollte man sich auch ein wenig mit den technischen Hintergründen auseinandersetzen, sodass man weiß, wie eine KI funktioniert, welche verschiedenen KI-Modelle es gibt, was der Unterschied zwischen den verschiedenen Modellen ist. Dann kann man das für die jeweilige Anwendung scheinbar passende KI-Modell auswählen und gegebenenfalls einen technischen Partner für die Umsetzung suchen.

Was schnell in den Blick gerät, ist natürlich das Thema Datenschutz. Das sollte man auch in Angriff nehmen. Wir haben unser System von vornherein so konzipiert, dass überhaupt keine personenbezogenen Daten irgendwie erfasst oder verarbeitet werden. Das ist auch der Grund, warum es keinen Chatverlauf gibt, auf den man später noch einmal zugreifen kann. Das haben die Studierenden durchaus nachgefragt, aber es würde dann bedeuten, dass wir personenbezogene Daten erfassen müssen.

Wo sehen Sie Chancen und Nutzen, wo Schattenseiten und Risiken der KI-Nutzung? 
Der Vorteil liegt ganz klar darin, dass wir mit unserem Tool den Studierenden die Möglichkeit eröffnen, dass sie auf ein sehr breites Informationsangebot sehr zielgerichtet zugreifen können, auch sehr individualisiert. Das ist wie eine Suchmaschine, die auf meine Bedürfnisse zugeschnitten ist und dabei nur auf passende Datensätze zugreift. Ich glaube, das ist im universitären, wissenschaftlichen Bereich ein ganz großer Mehrwert. 

Die größte Schattenseite ist wahrscheinlich, dass die Studierenden dann unter Umständen geneigt sind, das für bare Münze zu nehmen, was die KI als Antwort ausgibt und das nicht mehr hinterfragen. Das kritisch reflektierte Denken kann dadurch verloren gehen. Es geht unter Umständen auch die Erfahrung verloren, die man sonst bei aufwendigen Recherchen macht: Man landet einen Zufallstreffer, der einem weiterhilft, auch wenn man das vorher nicht gedacht hätte. 

Was war Ihre überraschendste Erkenntnis beim Einsatz von KI in der Lehre? 

Ein überraschendes Erlebnis war, als mir neulich eine Studentin berichtet hat, dass sie unsere KI benutzt hat, und die KI plötzlich auf Englisch geantwortet hat, obwohl sie eine Frage auf Deutsch gestellt hat. Dem müssen wir noch nachgehen, das sollte nicht passieren. Wenn jemand das Ganze auf Englisch beantwortet haben will, dann natürlich gerne. 

Ansonsten berichte ich gern aus der Spielphase, wie ich sie mal nennen möchte. Die Phase, in der wir überlegt haben, wie wir die vorhandenen Unterlagen am besten verwenden können. Ein großes Problem unseres KI-Modells ist, dass es relativ schlecht mit grafiklastigen Unterlagen umgehen können. Deshalb hatten wir einen Versuch gestartet, mit ChatGPT und entsprechendem Prompting aus den Vorlesungsfolien eine Art Vorlesungsskript erstellen zu lassen, damit wir diese wie eine „Übersetzung“ der Folien unserem KI-Modell mitgeben können. Nur hat ChatGPT stattdessen erstmal Vorschläge geliefert, wie ich meine Vorlesung besser aufbauen könnte. 

Sehr schön. Und war das plausibel? 

Durchaus, es hat mich zum Nachdenken angeregt.