“The idea that algorithmic decisions are not yet regulated is wrong”

An interview with Matthias Spielkamp

Should machines make important decisions in HR management and administration? Who is responsible for ensuring that these decisions are taken fairly – and how do we prevent discriminatory structures from being algorithmically perpetuated? Particularly when it comes to automated processes, there is a great deal of uncertainty and this raises the question of how we as a digital society deal with developments such as artificial intelligence. At the  Roundtable on “Inclusive AI”, which was part of an event series organised by our AI & Society Lab in cooperation with the Representation of the European Commission in Germany, Katrin Werner had the opportunity to talk to journalist, entrepreneur and civil rights activist Matthias Spielkamp.

Welche Chancen und Herausforderungen bietet die Einführung künstlicher Intelligenz im Personalwesen und in der Verwaltung? 

Spielkamp: Beim Einsatz von KI-Systemen kommen immer (mindestens) zwei verschiedene Aspekte zusammen: Effizienz und Fairness. Ich bin überzeugt davon, dass Automatisierungssysteme uns Arbeit abnehmen können, denn das passiert schon sehr, sehr lange. Wer möchte heute noch Güter zu Fuß oder mit der Sackkarre transportieren, wenn es LKWs oder Förderbänder gibt? Der zweite Aspekt – die Frage nach der Fairness – ist eine ganz andere Ebene. Denn wenn tatsächlich Entscheidungen automatisiert werden, müssen wir uns genau anschauen: Wird das richtig gemacht? Das klingt im ersten Moment trivial, bringt aber eine ganze Reihe komplexer und weitreichender Fragen mit sich: Ist das gerecht, wie da gearbeitet wird? Ist das diskriminierungsfrei? 

Führen diskriminierende Algorithmen zu struktureller Diskriminierung?

Spielkamp: Es besteht zumindest die Möglichkeit, dass diskriminierendes Verhalten von Menschen in solche automatisierten Systeme übersetzt wird. Nehmen wir das bekannt gewordene Amazon-Beispiel: das Unternehmen setzte für sein Recruiting ein automatisiertes Bewertungssystem ein, das Frauen systematisch benachteiligte, weil der Algorithmus mit Datensätzen erfolgreicher Bewerberinnen und Bewerber trainiert worden war. In einer von Männern dominierten Industrie meinte erfolgreich in den Jahren zuvor zumeist männlich – mit der Folge, dass Bewerbungen von Frauen schlechter einzustufen seien. 
Aber wie erkenne ich, dass diese Diskriminierung eintritt? Ich suche ja nicht explizit nach Frauennamen oder nach der Geschlechtsangabe. Genügt es im oben skizzierten Beispiel bereits, wenn jemand Mitglied eines weiblich konnotierten Vereins ist? Wir wissen es nicht, und darin liegt genau das Problem: Es geht letztlich darum, dass das KI-gestützte System eine bestimmte Suche ausübt, von der ich nicht vorher weiß, dass sie so unterschiedliche oder diskriminierende Ergebnisse bringt. 

Welche gesellschaftlichen Gruppen sind dann besonders durch diese Diskriminierung, z.B. im Bereich Recruiting, betroffen? 

Spielkamp: Darüber haben wir keine genauen Erkenntnisse, was ein großes Problem darstellt. Privatwirtschaftlichen Regelungen folgend kann ein Unternehmen bekanntlich selbst darüber entscheiden, wen es zum Bewerbungsgespräch einladen möchte, ohne den Prozess dahinter transparent machen zu müssen. Diskriminierende Auswahlmethoden können demnach nicht ohne Weiteres aufgedeckt werden. Was automatisierte Systeme angeht, so lässt sich mithilfe von Audits unter Umständen sogar feststellen, dass eine Diskriminierung stattgefunden hat – wohingegen es bei einer menschlichen Auswahl wahrscheinlich sehr viel schwieriger ist. Um eine mögliche Diskriminierung effektiv verfolgen zu können, braucht es zunächst konkrete Hinweise, dass tatsächlich Diskriminierung stattgefunden hat – wofür wiederum tiefe Einsicht in die Verfahren vonnöten ist. Diese Nachweispflicht ist meiner Erkenntnis nach der Grund, warum so selten ein Rechtsstreit aus Diskriminierungsgründen begonnen wird.

Solche Prozesse ließen sich demnach verbessern, wenn uns KI-Systeme erklären könnten, wie sie welche Entscheidungen treffen und warum?

Spielkamp: Wir setzen uns für Nachvollziehbarkeit von solchen Systemen ein, was allerdings ein wirklich dickes Brett ist: Was soll das bedeuten? Welche Aspekte dieser Automatisierung möchte ich nachvollziehen können? Wer soll das tundie nachvollziehen können?, Soll das eine Expertin für Machine Learning nachvollziehen können, soll das die betroffene Person nachvollziehen können, soll das eine öffentliche Institution nachvollziehen können, auf der Grundlage welcher Informationen? Wir stehen wirklich noch ziemlich am Anfang. Es gibt tatsächlich die Idee, zu versuchen, solche Module – ich nenne sie mal Module, das ist softwaretechnisch unsinnig, aber dient der besseren Vorstellung – in die Systeme selbst einzubauen. Diese Module würden jeden Schritt innerhalb eines Verfahrens skizzieren und erläutern, wie die finale Entscheidung zustande gekommen ist. 

Die Europäische Kommission hat sich für die Entwicklung einer inklusiven europäischen KI ausgesprochen. Was wären konkrete Schritte dahin?

Spielkamp: Ich finde das Statement, dass wir eine werteorientierte, d.h. vertrauenswürdige und trotzdem konkurrenzfähige Entwicklung haben wollen, prinzipiell unterstützenswert. Aber wie sieht das in der Praxis aus? Wir können uns nicht einfach darauf verlassen, dass die beteiligten Akteure – Hersteller, Anwender und die betroffenen Bürgerinnen und Bürger – sich im Rahmen von Selbstverpflichtungsprozessen irgendwie einig werden. Muss nicht stattdessen vielleicht auch gesetzlich eingegriffen werden? Das ist genau im Moment die wahnsinnig schwer zu beantwortende Frage. Es gibt Beispiele aus anderen Sektoren, wo algorithmische Systeme bereits reguliert werden: algorithmisch gesteuerte Systeme für den Hochgeschwindigkeitshandel an Börsen unterliegen schon seit Längerem der Finanzmarktregulierung.

Die weit verbreitete Vorstellung, dass algorithmische Prozesse oder automatisierte Entscheidungsprozesse noch nicht reguliert würden, ist falsch. Aber bislang war das Ganze noch zu abstrakt, weil es nur indirekt das Leben der Menschen betroffen hat.

Mit dem zunehmenden Einsatz von KI-Systemen z.B. im Recruitment oder in der Beurteilung am Arbeitsplatz sind sie davon potenziell viel direkter betroffen, und das beschäftigt sie. Plötzlich kommen wir also von Finanzmarktregulierungen auch zu Prozessen, die das Allgemeine Gleichbehandlungsgesetz und Betriebsverfassungsgesetz betreffen. Die Verunsicherung ist groß – und wirft die Frage danach auf, wie wir mit solchen Entwicklungen als Gesellschaft umgehen wollen. 

Journalist, entrepreneur and civil rights activist Matthias Spielkamp is co-founder and managing director of AlgorithmWatch and board member of German Reporters Without Borders.