KI unter Aufsicht: Brauchen wir Humans in the Loop in Automatisierungsprozessen?

Wer ist dieser Human in the Loop – und wenn ja, wie viele? Im Zeitalter von künstlich intelligenten Systemen werden riesige Datenmengen verarbeitet, um automatisierte Empfehlungen zu geben und sogar Entscheidungen zu fällen. Diese spielen eine zunehmende Rolle in unserem Alltag: Zum Beispiel beurteilen automatisierte Systeme für Banken die Kreditwürdigkeit von potenziellen Antragsteller*innen oder unterstützen Ärzt*innen dabei, Krankheiten zu diagnostizieren. Darum liegen die Vorteile dieser Automatisierung für viele klar auf der Hand. Zum einen beschleunigen sie viele Arbeitsprozesse und -abläufe, womit die Hoffnung verbunden ist, Kosten zu sparen. Zum anderen erkennen KI-gestützte Systeme versteckte Zusammenhänge und Muster, die Menschen übersehen können. Doch trotz ihrer Vorteile sind automatisierte Entscheidungen nicht immer fehlerfrei. Sie neigen beispielsweise dazu, unbeabsichtigte Vorurteile (Biases) aus den Daten zu übernehmen, mit denen sie trainiert wurden. Viele glauben, dass ein Mensch im Prozessablauf, der sogenannte Human in the Loop, die Lösung für viele Automatisierungsprobleme sein kann. Er könnte die Ergebnisse eines automatisierten Systems optimieren oder seine Entscheidungen überwachen. Aber führt menschliche Beteiligung automatisch zu besseren Ergebnissen? Und kommt es dabei nur auf die Ergebnisse an? Wie stellen wir tatsächlich sicher, dass menschliche Interventionen echte Mehrwerte liefern? Wer entscheidet im Automatisierungsprozess was und auf welcher Grundlage? Im folgenden Beitrag erklären wir, wie wir diese Fragen imForschungsprojekt Human in the Loop? am Alexander von Humboldt Institut für Internet und Gesellschaft erforschen.

Mensch-Maschine Interaktionen: Wo Fehler entstehen und was ihre Folgen sind

Beispiele für folgenreiche, inadäquate Mensch-Maschinen-Interaktionen haben sich zuletzt gehäuft. Ein Beispiel ist der Royal-Mail-Horizon-Skandal, bei dem eine Finanzsoftware fälschlicherweise Postfilialleiter*innen der Unterschlagung und der fehlerhaften Buchführung beschuldigte, was zur Verurteilung von über 900 Mitarbeitenden und zu Zahlungsaufforderungen führte. Ein anderes Negativbeispiel ist die niederländische Kindergeldaffäre. Daraus resultierte, dass niederländische Steuerbehörden ein KI-System zur Identifikation möglicher Sozialhilfebetrugsfälle einsetzten, das in Kombination mit der menschlichen Bearbeitung diskriminierende Resultaten führte. Über 20.000 Eltern wurden fälschlicherweise zur Rückzahlung sehr hoher Beträge aufgefordert, was diese oftmals in finanzielle Probleme stürzte. Beide Szenarien zeigen deutlich, dass viele aktuelle Automatisierungsprozesse noch stark fehleranfällig sind. Die Gründe dafür sind vielfältig: Zum Beispiel tendieren wir als Menschen in manchen Kontexten dazu, maschinellen Vorentscheidungen zu stark zu vertrauen, was als sogenannter Automatisierungs-Bias bekannt ist. Ein weiteres Problem kann die Intransparenz einer maschinellen Entscheidungsfindung sein. Genauer gesagt: Wie soll ein Mensch hinreichend intervenieren, wenn er die Funktionsweise des Systems, das er überwachen soll– und damit die Logik und Begründung der Entscheidung (oder Empfehlung) – nicht genau versteht? Zudem führt diese fehlende Klarheit dazu, dass Personen, die von fehlerhaften automatisierten Entscheidungen betroffen sind, sich nur schwer juristisch gegen die falschen Systemausgaben zur Wehr setzen können. Denn sie können vor Gericht nicht beweisen, dass sie rechtswidrig (zum Beispiel diskriminierend) sind. Aber auch menschliche Vorurteile können sich in der Mensch-Maschine Interaktion nach wie vor auswirken. Werden die Trainingsdaten eines KI-Systems beispielsweise nicht hinreichend aufbereitet, so können sich ihnen zugrunde liegende Vorurteile im späteren KI-System fortsetzen. Dieses kann dann die gelernten diskriminierenden menschlichen Entscheidungen fortsetzen. 

Einigen dieser Probleme versucht die Europäische Union durch die im Mai verabschiedete KI-Verordnung zu begegnen. Diese stellt den weltweit ersten umfangreichen Versuch der KI-Regulierung dar. Die Verordnung schreibt im Besonderen vor, dass KI-Systeme für hochriskante Anwendungszwecke so konzipiert werden müssen, dass sie wirksam beaufsichtigt werden können. Dies gilt vor allem für Bereiche, in denen Fehler gravierende Folgen haben könnten. Damit trifft die Pflicht unter anderem auch die Anbieter von KI-Systemen zur Kreditwürdigkeitsprüfung oder auch die Nutzung von KI-Systemen für medizinische Einsatzzwecke. Dabei spielt der Human in the Loop eine wichtige Rolle als Hoffnungsträger*in, solche Mensch-Maschine-Interaktionen zu guten Entscheidungen zu bewegen. Was hier mit ‘gut’ gemeint ist, erklären wir weiter unten im Text. 

Menschliche Beteiligung: Wer übernimmt welche Rolle?

Doch zunächst stellt sich erstmal die Frage: Wer genau ist überhaupt dieser Human in the Loop? Für unser Forschungsprojekt verstehen wir darunter einen automatisierten Prozess, in dem Menschen aktiv am Prozess teilnehmen, um die Leistung des automatisierten Systems zu verbessern oder die Qualität seiner Entscheidungen zu überwachen. In dieser Definition vereinen wir einerseits technische Definitionen, welche die Beteiligung des Humans in the Loop primär im Herstellungsprozess eines KI-Systems verorten. Zum Beispiel im Rahmen der Datenaufbereitung oder Überwachung maschineller Lernprozesse. Andererseits berücksichtigt unsere weite Definition auch regulatorische Vorstellungen. Diese verstehen den Human in the Loop hauptsächlich als Aufseher*in eines in Betrieb befindlichen Systems, wie es der Bundesrat in seiner Drucksache 165/19 beschreibt. Beispiele für solche Humans in the Loop sind nach unserem Verständnis daher sowohl Ärzt*innen, die eine Erstbewertung einer Röntgenaufnahme durch ein KI-System verwenden, als auch menschliche Akteur*innen, welche die Trainingsdaten für solche Systeme bereinigen. Wie eine solche wirksame menschliche Einwirkung jedoch gestaltet werden kann, ist sowohl noch nicht abschließend geklärt, als auch vom jeweiligen Einzelfall der Automatisierung abhängig.

Entscheidungen unter der Lupe: Fallstudien zu KI-gestützten Entscheidungsprozessen

In unserem Forschungsprojekt untersuchen wir das beschriebene Zusammenspiel zwischen solchen Humans in the Loop und ‘Maschinen’ in automatisierten Prozessen, um es besser zu verstehen. Das Ziel ist, neue Erkenntnisse darüber zu generieren, wie dieses Zusammenspiel gestaltet werden muss, um zu guten Entscheidungen zu gelangen. Anhand verschiedener Fallstudien werden die jeweils relevanten Einflussfaktoren ermittelt und gesammelt, die sich auf die Entscheidungsqualität auswirken. 

Eine erste Fallstudie beschäftigt sich mit dem Feld der Kreditvergabeentscheidungen. Der Einsatz von KI-Systemen bietet hierbei Effizienzvorteile, wirft jedoch grundlegende Fragen auf. Zum Beispiel: Gibt es in diesem Prozess einen Human in the Loop, der die individuelle Kreditentscheidung prüft?  In einer zweiten Fallstudie widmen wir uns dem Fall der sogenannten Content Moderation auf digitalen Plattformen und Sozialen Netzwerken. Hierbei analysieren wir die Entscheidungsinterkationen zwischen Algorithmen und Menschen, die beispielsweise darauf abzielen, Community-Regeln durchzusetzen und problematische Inhalte wie Hassrede oder Falschinformationen zu entfernen.

Basierend auf diesen Erkenntnissen erarbeiten wir konkrete Empfehlungen, wie Entscheidungssysteme für eine gelungene Mensch-Maschine-Interaktion gestaltet werden können. Verschiedene Faktoren können dabei die endgültige Entscheidung, darunter die Art und Weise, wie Informationen präsentiert werden, möglicherweise persönliche Werte, rechtliche Haftungsfragen, wirtschaftliche Anreize sowie die verfügbare Entscheidungszeit beeinflussen. Jede der Fallstudien bringt uns damit den übergeordneten Projektzielen einen Schritt näher. Erstens entwickeln wir eine umfassende Taxonomie, also eine praktische Übersicht über entscheidungsrelevante Faktoren und Eigenschaften. Zweitens erstellen wir konkrete Handlungsempfehlungen für die untersuchten Fälle, die übergeordnet einen Beitrag dazu leisten sollen, die Zusammenarbeit zwischen Mensch und Maschine in Entscheidungssituationen zu verbessern.

Effizienz und Ethik: Wie gehen wir mit der Komplexität unserer Forschungsfragen um?

Die Untersuchung des Zusammenspiels von Mensch und Maschine in KI-gestützten Entscheidungsprozessen stellt uns vor mehrere Herausforderungen. Insbesondere Informationen zur genauen Beteiligung des Menschen in Bereichen wie der Kreditvergabe sind schwer zugänglich. Unternehmen in dieser Branche möchten zum Beispiel ihre internen Abläufe und Entscheidungskriterien schützen, um Wettbewerbsvorteile zu bewahren und die Ausnutzung potenzieller Schwächen ihrer Systeme zu vermeiden. Deshalb bleiben viele dieser Prozesse als undokumentierte Praxis oder Geschäftsgeheimnisse verschlossen. Unser Forschungsprojekt hat daher konkret Stakeholder*innen kontaktiert, die bereit sind, ihre Expertise mit uns zu teilen. Sie helfen uns nachzuvollziehen, welche Akteure (zum Beispiel Menschen, KI-Systeme, oder Unternehmen) an den Entscheidungsprozessen in den untersuchten Fallstudien beteiligt sind, wie sie zusammenarbeiten und welche Faktoren kritische Entscheidungen beeinflussen. Gleichzeitig setzen wir uns intensiv mit der grundlegenden Frage auseinander, was die Kriterien für eine ‘gute’ Entscheidung sind. Kombiniert soll uns das helfen zu beurteilen, wie genau die Entscheidungen in der Interaktion von Mensch und Maschine rein faktisch, prozessual und strukturell ablaufen sollten. Die daran anschließende Frage ist sehr viel komplexer: Wie messen wir die Qualität jener Entscheidungen? Die Bewertung der Güte von Entscheidungen hängt massiv vom Blickwinkel einer Person ab, wie ein Beispiel aus der Kreditvergabe aufzeigt: Ist die Entscheidung gut für das Individuum, die Bank oder die Gesellschaft? Hier kann das Ergebnis, je nach Standpunkt, stark differieren. 

Fazit: Die Zukunft des Humans in the Loop

In Zukunft werden sich automatisierte Entscheidungsprozesse noch in vielen weiteren Branchen etablieren und damit auch mehr Raum in unserem Alltag einnehmen. Deshalb ist es umso wichtiger, dass wir ihre Auswirkungen und Risiken als Gesellschaft verstehen, um faire und transparente Entscheidungsprozesse für alle zu gewährleisten. Dabei müssen wir sicherstellen, dass geeignete Menschen mit bestimmten Qualifikationen hinreichende und bedeutende Einwirkungsmöglichkeiten auf Automatisierungsprozesse erhalten. Sie müssen dazu befähigt werden, die Qualität automatisierter Ausgaben zutreffend beurteilen und intervenieren zu können. Unter welchen Bedingungen das gelingen kann, untersuchen wir in den nächsten Jahren. Unsere Forschungsarbeit soll dazu beitragen, die Integration algorithmischer Systeme in menschengeleitete Entscheidungsprozesse auf eine ethisch verantwortungsvolle und praktisch umsetzbare Weise zu ermöglichen.