REUTLINGEN. Wer entscheidet besser über Rechtsfragen: ausgebildete Juristen oder künstliche Intelligenz (KI)? Im Rahmen einer Forschungsarbeit widmeten sich Professor Dr. Markus Conrads und Professor Dr. Sascha Schweitzer von der ESB Business School der Hochschule Reutlingen diesem Thema. Sie ließen KI-gestützte Chatbots einfache juristische Problemfälle lösen. Insbesondere ChatGPT-4 erzielt dabei bereits brauchbare Ergebnisse. Für die Studie erhielten die drei Chatbots ChatGPT-4, ChatGPT-3.5 und Google Bard jeweils 200 Klausuraufgaben aus dem deutschen Vertrags-, Wirtschafts- und Arbeitsrecht. Um die Qualität und Zuverlässigkeit der KI zu überprüfen, stellten die Wissenschaftler die Aufgaben mehrfach in verschiedenen Frage- und Antwortformaten.
Juraklausur bestanden
Besonders bei gutachterlichen Lösungen schnitt die KI überraschend gut ab. ChatGPT-4 konnte durchschnittlich 54 Prozent der Punkte erzielen und würde damit eine Juraklausur bestehen. In knapp 30 Prozent der Fälle erarbeitete der Chatbot sogar eine nach menschlichen Maßstäben deutlich überdurchschnittliche Lösung. Bei Multiple-Choice-Aufgaben (Eine Frage mit mehreren Antwortmöglichkeiten) beantwortete ChatGPT-4 rund die Hälfte der Fragen korrekt. Die kostenlose Version ChatGPT-3.5 und Google Bard schnitten jeweils deutlich schlechter ab.Keine Angst vor KI»Metaphorisch gesprochen ist ChatGPT-4 gerade in der Fahrschule und hat sicher noch keinen juristischen Führerschein. Das System wird aber schnell dazu lernen«, bewertet Markus Conrads, Professor für deutsches und internationales Wirtschaftsrecht an der ESB Business School, die Ergebnisse.
Angst vor künstlicher Intelligenz im Gerichtssaal müsse man trotzdem nicht haben, beruhigt der Jurist: »Wir haben Fälle untersucht, die auf ein konkretes Rechtsproblem zugeschnitten waren. Dass KI komplexe juristische Sachverhalte selbstständig bearbeitet, steht aktuell überhaupt nicht zur Diskussion.«
Wenn irgendwann doch der Punkt erreicht ist, an dem künstliche Intelligenz bei juristischen Prozessen einbezogen wird, so müsse man dies auch unter ethischen Gesichtspunkten betrachten, sagt Sascha Schweitzer, Professor für Data Science an der ESB Business School: »Es wird heute intensiv an sogenannter ›Explainable AI‹, also erklärbarer künstlicher Intelligenz gearbeitet. Dadurch sollen KI-Prozesse für Menschen durchschaubar werden. Der juristische Bereich ist sicher ein Feld, in dem der Einsatz transparenter Algorithmen besonders entscheidend ist.«
Die ausführlichen Ergebnisse der Untersuchung sind in der »Neuen Juristischen Wochenschrift«, Deutschlands auflagenstärkster Zeitschrift für juristische Theorie und Praxis, erschienen. (eg)