Skip to content
shawn-ang-r2A6WYI8YIg-unsplash
06 August 2020| doi: 10.5281/zenodo.3974153

Discrimination preprogrammed?

Technology is never neutral. And even if the Internet as a medium initially invited us to deconstruct established, fixed role models and identities in supposedly new publics, to break up traditional power and domination relationships, today we must above all talk about inequalities in digital space.


Schauen wir zum Beispiel auf das Thema der Digitalen Gewalt, so sind gerade marginalisierte Gruppen auch in der digitalen Welt nach wie vor besonders stark von Diskriminierung betroffen. Sexismus, Rassismus, Antisemitismus, Trans‑ und Homophobie sind die Hauptthemen von Hate Speech. Wer einer oder mehreren  Minderheiten angehört, die im Netz angefeindet werden, ist besonders gefährdet, Opfer digitaler Gewalt zu werden.

Wir müssen deshalb Diskriminierungs-Strukturen und manifeste Ausschluss-Systeme, die sich nicht zuletzt in Sprache manifestieren, sichtbar machen und analysieren, um digital und analog einen Zugriff auf dieses vielschichtige Thema zu finden.

Sprechen wir also über Ausschluss-Systeme als tradierte Strukturen, über gender und race, und die Frage nach Zugang zu materiellen wie immateriellen Ressourcen.

Zugangschancen und Teilhabemöglichkeiten, Chancen auf Bildung und Beteiligung sind innerhalb unserer Gesellschaft ungleich verteilt, darauf machen feministische und antirassistische Bewegungen schon lange aufmerksam. 

Das Internet als Spiegel der Gesellschaft

Es gilt: praktisch alle Ungleichheitsverhältnisse tragen sich nahtlos ins Internet, nicht selten lautverstärkt. Intersektional betrachtet wird schnell deutlich, dass Sexist oder Gendered Hate Speech Frauen* unterschiedlich stark betrifft, sie aber vor allem in ihrer Unterschiedlichkeit betrifft. Amnesty International hat in diesem Bereich festgestellt, dass Schwarze Frauen* zum Beispiel deutlich häufiger von Hate Speech auf Twitter betroffen sind als weiße Frauen*. Ständige Bedrohung online führt zu Rückzugsmechanismen oder Silencing, das ist empirisch belegt. Dies schließt digital wie analog Betroffene aus diskursiven Räumen aus, hindert sie daran ihre Meinungsfreiheit auszuüben, führt letztlich zu einer verzerrten Mehrheitswahrnehmung im sogenannten öffentlichen Raum und konterkariert mithin unser Verständnis von Demokratie.

Für eine umfassende wissenschaftliche Analyse von Diskriminierungsstrukturen in Deutschland aber fehlen uns schlicht die Zahlen. Denn, der erhobene Migrationshintergrund alleine, ist wenig aussagekräftig. Schaut man sich zum Beispiel Schwarze Lebensrealitäten in Deutschland an, so endet Rassismus-Erfahrung nicht nach der zweiten oder dritten Generation. Eine weiße deutsche Person mit Migrationshintergrund dagegen, die zum Beispiel weiße, sagen wir dänische Eltern hat, macht aber in Deutschland eher keine Rassismuserfahrungen. Der bald startende #AFROZENSUS soll hier Abhilfe schaffen und ist ein Projekt, das wir alle mit Spannung verfolgen sollten.

Wer schreibt den Code?

Mit Blick auf Künstliche Intelligenz ist schon länger klar, dass diskriminierende Stereotype sich im Code manifestieren. Es ist hinlänglich bekannt, dass biometrische Gesichtserkennung Schwarze Menschen und People of Colour nur unzureichend identifizieren kann, da sie sich überwiegend auf Trainingsdatensätze weißer Personen stützt. Noch Ende vergangenen Jahres hat das National Institute of Standards and Technology darauf hingewiesen, dass People of Colour überdurchschnittlich häufig falsch zugeordnet, also zum Beispiel im Rahmen der Strafverfolgung, für eine gesuchte Person auf einem Bild gehalten werden. Gebündelt als Big Data werden tradierte Ausschlusssysteme so implizit in den Code eingeschrieben. 

Wie kann das sein?

Silicon Valley ist nach wie vor von weißen Männern dominiert. Das führt dazu, dass auch alle Zukunftsinnovationen und Utopien, die uns von dort erreichen, aus den Köpfen von weißen, materiell durchaus gut ausgestatteten Cis-Männern kommen. 

Computer und Maschinen, lernen im Ende nicht anders als Menschen: Sie reproduzieren, was ihnen an Input angeboten wird und bilden daraus Kategoriensysteme. 

Auch Algorithmen also sind anfällig für Vorurteile.

Es scheint nun, als gäbe es als Reaktion auf die #BlackLivesMatter – Demonstrationen ein Umdenken bei Technologiekonzernen, was das Thema Gesichtserkennung im Rahmen der Strafverfolgung (Stichwort: Racial Profiling) angeht. Derzeit immerhin sieht es aus, als habe sich auch Microsoft nach IBM und Amazon dazu bekannt, US-amerikanischen Polizeibehörden ihre KI-Technologien zunächst nicht weiter zur Verfügung zu stellen.

Zurück zum Thema Sprache: Google will rassistische Begriffe aus seinem Code streichen: “Blacklist” wird durch “Blocklist” ersetzt und “Whitelist” durch “Allowlist” (Stichwort: Farblehre). Ebenso überarbeitet werden soll die Benennung der Hierarchie-Zusammenhänge von “Master” und “Slave” im Rahmen digitaler Architekturen. Code ist Sprache.

Sprache formt Denken, Sprache erst erzeugt Rahmen und Grenzen, ein Innen und Außen, Wir und Sie

Woher kommst du?

Stellen Sie Menschen diese Frage? Wen fragen Sie das? Und warum?


Dieser Text bildete die Einleitung für die Diskussion “Diskriminierung vorprogrammiert” aus unserer Veranstaltungsreihe Digitalen Salon.

Weiterführend: 

Blog-Beitrag: https://leibniz-hbi.de/de/blog/das-internet-eine-diskriminierungstechnologie
BredowCast: https://www.hans-bredow-institut.de/de/aktuelles/bredowcast-54-auch-im-internet-sind-nicht-alle-gleich
Missy Magazin: https://missy-magazine.de/blog/2020/05/11/zoff-um-wiki/

This post represents the view of the author and does not necessarily represent the view of the institute itself. For more information about the topics of these articles and associated research projects, please contact info@hiig.de.

Katharina Mosene

Researcher: AI & Society Lab

Sign up for HIIG's Monthly Digest

HIIG-Newsletter-Header

You will receive our latest blog articles once a month in a newsletter.

Explore current HIIG Activities

Research issues in focus

HIIG is currently working on exciting topics. Learn more about our interdisciplinary pioneering work in public discourse.

Further articles

Three groups of icons representing people have shapes travelling between them and a page in the middle of the image. The page is a simple rectangle with straight lines representing data used for people analytics. The shapes traveling towards the page are irregular and in squiggly bands.

Empowering workers with data

As workplaces become data-driven, can workers use people analytics to advocate for their rights? This article explores how data empowers workers and unions.

A stylised illustration featuring a large "X" in a minimalist font, with a dry branch and faded leaves on one side, and a vibrant blue bird in flight on the other. The image symbolises transition, with the bird representing the former Twitter logo and the "X" symbolising the platform's rebranding and policy changes under Elon Musk.

Two years after the takeover: Four key policy changes of X under Musk

This article outlines four key policy changes of X since Musk’s 2022 takeover, highlighting how the platform's approach to content moderation has evolved.

The picture shows a tractor cultivating a field from above. One side of the field is covered in green, the other is dry and earthy. This is intended to show that although sustainable AI can be useful in the fight against climate change, it also comes at a high ecological cost.

Between vision and reality: Discourses about Sustainable AI in Germany

This article explores Sustainable AI and Germany's shift from optimism to concern about its environmental impact. Can AI really combat climate change?