Auftakt-Match: Der Wettstreit um Inklusion in algorithmischen Systemen

Ein Kopf-an-Kopf-Rennen um Bedingungen und Regeln für inklusives Design

Wie kann die zunehmende Automatisierung von Infrastrukturen inklusiver und nachhaltiger gestaltet und mit den Menschenrechten in Einklang gebracht werden? Das AI & Society Lab geht dieser Kernfrage nach, indem es den Austausch zwischen Wissenschaft, Industrie und Zivilgesellschaft fördert und dabei mit verschiedenen Formaten und Ansätzen experimentiert. Als eines seiner ersten Vorhaben veranstaltete es eine Reihe von Roundtables in Kooperation mit der Vertretung der Europäischen Kommission in Deutschland, um an der Umsetzung und Operationalisierung des Weißbuchs der Kommission zu KI zu arbeiten. 

Um die gesellschaftliche Debatte zu inklusiver KI, dem Thema unseres dritten Roundtables, zu erweitern und aufrechtzuerhalten, haben wir zwei Stakeholder-Gruppen zu einem Ping-Pong-Match herausgefordert, dem schnellsten Rückschlagsport der Welt – allerdings digital und mit dem AI & Society Lab als erstem Aufschläger. Für das Team Zivilgesellschaft spielte Lajla Fetic, Wissenschaftlerin und Mitautorin der Algo.Rules, einem praktischen Leitfaden für das Design von algorithmischen Systemen. Ihr gegenüber auf der anderen Seite des Netzes stand Finn Grotheer, AI Business Development Fellow bei Merantix, einem in Berlin ansässigen AI Venture Studio. Auf die Plätze, fertig, los!

Welches KI-Thema lässt dich nachts nicht schlafen?

Finn: Vor allem sogenannte GANs (Generative Adversarial Networks) sind ein großes gesellschaftliches Problem. Diese können Videos und Tonspuren künstlich erzeugen, die nicht als Fälschungen erkennbar sind. Mit Blick auf unsere Social Media Kultur und ihren Einfluss auf Gesellschaft und Politik können wir viele Herausforderungen erst erahnen.

Lajla: Der Hype um KI beschert mir keine Albträume. Worüber ich länger nachdenke, sind die Fragen dahinter: Wie können alle Menschen gleichermaßen von Technologie profitieren? Wie finden marginalisierte Gruppen Gehör bei der Gestaltung von KI? Wenn Frauen, Menschen mit Be_hinderung, Migrationserfahrungen, oder ohne Hochschulabschluss gleichberechtigt an Debatten und der Entwicklung von KI partizipieren können, würde ich noch mehr Schlaf finden.

Welches KI-Thema wird noch nicht ausreichend diskutiert?

Finn: Wettbewerbsfähigkeit. Es ist nicht sexy und löst keine Begeisterung aus. Wir werden unsere ethischen Ansprüche aber nur umsetzen werden können, wenn wir – Deutschland und Europa – federführend die besten KI-Anwendungen entwickeln, erproben und skalieren. Sonst laufen wir Gefahr, dass sich die Erfahrungen, die wir derzeit mit den amerikanischen Internet-Giganten machen, wiederholen.

Lajla: Die „Warum“-Frage wird in der hochgepushten Debatte zu selten gestellt. Zu welchem Zweck und zu welchem Preis entwickeln wir algorithmische Systeme? Als Faustregel gilt: Mehr ist nicht immer besser. Algorithmische Systeme bieten viele (ungenutzte) Potenziale. Und wir müssen darüber diskutieren, unter welchen Bedingungen neueste Entwicklungen zustande kommen. Das Trainieren komplexer Machine-Learning Systeme kostet viel Energie. Tools, die unsichtbare CO2-Kosten sichtbar machen, sind ein erster guter Schritt, um über gemeinwohlorientierte Ziele von Technologiegestaltung zu sprechen.

Was sollte KI lieber schon heute als erst morgen können?

Finn: Was KI kann, ist nicht unbedingt das Nadelöhr. Viele Potenziale sind schlicht noch ungenutzt. Im Healthcare-Bereich sterben zum Beispiel weltweit viele Menschen immer noch an behandelbaren Krankheiten, weil sie keinen Zugang zu Diagnostik und Behandlung haben. Wir unterschätzen, wie viel Positives wir mit einer weltweiten Durchdringung von KI-Anwendungen heute schon bewegen könnten.

Lajla: Mir ist wichtig, dass wir lieber heute als morgen Lösungen entwickeln, wie wir KI als Werkzeug sinnvoll nutzen. Dafür braucht es ein Verständnis darüber, was Möglichkeiten und Grenzen sind und wie die Interaktion zwischen Mensch und Maschine wirklich abläuft. 

„Wir können durch kritische Reflektion lernen, mit dem Bias in Kopf und Code umzugehen“

Lajla, inklusive und diskriminierungsfreie KI entwickeln – geht das überhaupt?

Die inklusive Gestaltung von KI ist eine große Aufgabe der nächsten Jahre – diskriminierungsfreie KI wird es niemals geben. Wie auch? Sind wir Menschen frei von Vorurteilen? Wir können aber durch kritische Reflektion lernen, mit dem Bias in Kopf und Code umzugehen. Dabei helfen Regeln zur Gestaltung algorithmischer Systeme. Zum Beispiel können wir nur durch eine gute Dokumentation der verarbeiteten Daten und Beurteilungskriterien feststellen, ob eine bestimmte Gruppe von Personen durch den Einsatz von Technologie schlechter gestellt wird.

Finn: Definitiv: Die Gestaltung kann inklusiv sein, daran sollten wir arbeiten. Dass KI nicht garantiert und immer diskriminierungsfrei sein wird, ist in Teilen allerdings nicht auf menschliche Biases zurückzuführen. Selbstlernende System werden auf Datensätzen trainiert, die im ersten Schritt meist nicht Gegenstand einer bewussten menschlichen Auswahl waren, sondern ein Produkt ihrer Umgebung sind. Beispielsweise: Verfügbare Bilder oder Sprachproben. Eben darin liegt die Herausforderung. Eine wichtige Maßnahme ist daher, Möglichkeiten zu institutionalisieren, um auf im Nachhinein bemerkte Biases aufmerksam zu machen.

Lajla: Damit KI bestehende Vorurteile nicht reproduziert und skaliert, müssen entwickelnde und einsetzende Personen von Anfang an Verantwortung übernehmen. Die Trainingsdatensätze werden im Vorfeld zusammengestellt, kuratiert und gelabelt. Bei diesem Prozess kann vieles – menschengemacht – schief gehen. So hat ein Experiment von Kate Crawford gezeigt, wie das bekannte Datenset ImageNet (mit mehr als 14 Millionen Bildern und Grundlage für viele Objekterkennungssysteme) aufgrund schlechter Labels misogyne Ergebnisse hervorrief. Damit gute Datensets ausgewählt und mögliche (Gender-)Data-Gaps vermieden werden, brauchen wir Maßnahmen, um das Garbage-In-Garbage-Out Phänomen frühzeitig anzugehen. Eine erste Lösung wäre es, diversere und sensibilisierte Entwickler*innen-Teams aufzustellen. Eine andere, Qualitätsstandards für Datensets einzuführen, die auch auf Repräsentanz achten, so wie das Data Nutrition Label von Harvard University und MIT Media Labs.

Finn: Hier herrscht keine Uneinigkeit. Entwickler*innen-Teams stehen in der Verantwortung und übernehmen sie auch gerne. Es ist nicht so, als gäbe es keine Qualitätsstandards. Die Relevanz von Trainingsdaten ist bekannt. Alle seriösen Unternehmen arbeiten täglich an möglichst repräsentativen und unbiased Datensätzen. Diversität in Teams ist im Individuellen eine sehr hilfreiche Maxime, in der gesamten KI-Industrie können Teams aber natürlich nur den Grad an Diversität abbilden, der von den Universitäten kommt.

Lajla: Mit den Qualitätsstandards ist es nicht so einfach. Oft ist die Dokumentation, zum Beispiel zu Trainings-Datensets für ML-Modelle, nicht umfassend. Oft können sich Start-Ups, kleinere Unternehmen den Aufwand einer ausreichende Dokumentation und ethischen Sorgfaltspflicht nicht leisten. Deshalb helfen verpflichtende Mindeststandards, gesellschaftlich Wünschenswertes auch verbindlich in der Unternehmenspraxis zu verankern. In Sachen Diversität müssen wir viel früher ansetzen, den Anteil an Studentinnen in MINT-Fächern erhöhen, gesellschaftliche Hürden abbauen und den Fachkräftemangel ernst nehmen.

Finn: Bei Mindeststandards frage ich mich im Konkreten, ob ein Gesetz die Komplexität, die Vielfalt und die Dynamik der KI-Branche abbilden kann. Wir arbeiten viel mit Industriekund*innen – Maschinenbau, E-Commerce, Synthetische Biologie – und entwickeln mit deren Daten maßgeschneiderte Systeme, wie für die Verbesserung der Produktion oder im Quality Control. Jede Branche hat ihre Eigenheit und nicht bei jedem B2B-Use Case drängen sich ethische Fragen auf. Mich würde interessieren, wie gesetzliche Mindeststandards aussehen würden und unter welchen Umständen sie greifen.

KI-Systeme könnten Diskriminierung potentiell auch sichtbar machen, werden aber meist eher aus Effizienzgründen und teilweise gezielt zur Selektion und Diskriminierung eingesetzt (aktuelles Beispiel: Wechsel Energieversorger). Hinzu kommt das berechtigte Bedürfnis, zu experimentieren und Entwicklung voranzutreiben – wie kann Vertrauen hierbei nicht verspielt, sondern sogar aufgebaut werden?

Finn: Indem man auf Potentiale verweist, Erfolgsgeschichten erzählt und sich der Proportionen von bedenkenlosen zu kritischen Anwendungen bewusst wird. Industrielle Anwendungen nutzen beispielsweise keine Daten von Privatperson und helfen dabei, Arbeit besser und sicherer zu machen. Auf jeden von uns diskutierten Fall gibt es vier, die stillschweigend etwas verbessert haben – von geheilten Krankheiten bis zur Bekämpfung von Umweltkatastrophen. 

„Beim Einsatz von heutigen algorithmischen Anwendungen stellen sich uns technisch und gesellschaftlich noch viele Fragen“

Lajla: Beim Einsatz von heutigen algorithmischen Anwendungen stellen sich uns technisch und gesellschaftlich noch viele Fragen, beispielsweise zur Mensch-Technik Interaktion. Deshalb müssen wir bei besonders sensiblen Bereichen (Personalauswahl, Gesundheit und öffentliche Daseinsvorsorge) genau hinschauen. Eine Zertifizierung in diesen Bereichen könnte für Anwender*innen und Betroffene mehr Sicherheit schaffen.

Wo seht ihr besonders dringenden Handlungsbedarf in der europäischen Gesetzgebung? Findet ihr den Ansatz einer ausschließlich risikobezogenen Regulierung sinnvoll? Womit könnte die EU als Gesetzgeber jetzt vielleicht sogar ein positives Zeichen setzen?

Finn: Die EU wird mit der ausschließlichen Konzentration auf eine möglichst gewissenhafte Regulierung feststellen, dass es schwierig ist, ausländischen Unternehmen, die Innovation treiben, rückwirkend die eigenen Standards aufzuoktroyieren – wie schon bei den Tech-Riesen der 2000er. Es muss um die Förderung des hiesigen KI-Ökosystems gehen: Partnerschaften, Förderungen, Investitionen in Bildung und Lehrstühle, die Eröffnung von Testfeldern und eine Klarstellung der rechtlichen Rahmen. Das sogenannte „Ökosystem für Exzellenz“ ist notorisch unterbetont. 

Lajla: Europa hat mit der DSGVO gezeigt, dass es eine Vorreiter-Rolle in Tech-Regulierungsfragen einnehmen kann. Zukünftige KI-Regulierung auf europäischer Ebene kann dieser Erfolgsstory ein weiteres Kapitel hinzufügen, wenn sie verbindliche Standards für Anwendungen schafft. Das kann auch kleinen und mittleren Unternehmen oder Startups einen sicheren Rahmen für Innovationen bieten. Risikobezogene Regulierung kombiniert dabei Innovationsförderung und notwendige Standards. Trotzdem braucht es für „vertrauenswürdige KI“ neben Gesetzen auch Aufsichtsinstitutionen und Anlaufstellen für Bürger*innen.

Für gute Lösungen sind sowohl die Bereitstellung von als auch der Zugriff auf (persönliche) Daten in einem größeren Ausmaß als bisher erforderlich. Als Gesellschaft müssen wir zukünftig dafür mehr Verständnis und eine größere Bereitschaft aufbringen, diese Daten preiszugeben. Stimmt ihr dieser Aussage zu?

Finn: An dieser Bereitschaft scheint es nicht zu mangeln, wenn man sich den eigenen Umgang mit sozialen Medien selbstkritisch vor Augen führt. Und obwohl es sicherlich einen Trend zum massenhaften Datensammeln gibt, ist nicht alles davon gewinnbringend einsetzbar. Es wird zunehmend um eine Bewusstwerdung gehen: Wo sind meine Daten? Welche Daten möchte ich niemals preisgeben? Im Hinblick auf Transparenz und Haftung sehe ich eine starke Rolle des Gesetzgebers, die dieser auch anfängt, anzunehmen.

Lajla: Zustimmung Finn! Schon heute gibt es Zettabytes von Daten, die ungenutzt auf Servern rumliegen. Aber wer ist vor allem im Besitz? Große ausländische Tech-Unternehmen. Ich wünsche mir, dass Bürger*innen und auch die Zivilgesellschaft das Potenzial der Daten für sich nutzbar machen. Dafür braucht es in erster Linie intelligente Datenteilungsmodelle und mehr Beispiele für den Einsatz der Daten für Gemeinschaftsprojekte zum Beispiel durch Projekte wie „Gieß den Kiez“ vom CityLAB Berlin.

Dieses Interview wurde zuerst in unserem jährlichen Forschungsmagazin encore  veröffentlicht.