It’s a match! Or racism?

No technology is neutral. Dating apps like Tinder and Grindr can perpetuate stereotypical assumptions about sexual preferences and reinforce a racist flirting culture. Can the law intervene?

The article first appeared in Forum Recht 01/2020 and is republished here.

Viele Dating-Apps funktionieren ungefähr nach dem gleichen Prinzip: Den Nutzer*innen werden Fotos anderer Nutzer*innen, gegebenenfalls mit kurzen Selbstbeschreibungen, angezeigt. Wenn sie die Personen attraktiv finden, können sie dies z.B. dadurch deutlich machen, dass sie nach rechts über das Foto wischen. Haben dies zwei Nutzer*innen wechselseitig getan, können sie miteinander in Kontakt treten – oder wie Tinder sagt: „It’s a match“. OkCupid hat von 2009 bis 2014 das Verhalten ihrer Nutzer*innen untersucht und dabei festgestellt, dass ostasiatisch gelesene Männer und Schwarze[1]Frauen die schlechtesten Chancen haben, ein Date zu finden, weiß gelesene Personen hingegen die besten.[2] Bei Grindr, einer Dating-Plattform für homo-, bi-, transsexuelle und queere Männer* sowie LoveScout24, einem deutschen Dating-Portal, können die Nutzer*innen sogar nach „ethnischer Herkunft“ filtern.[3] Auf Grindr kann es sein, dass einem ein Profil mit der Selbstbeschreibung „Keine Asiaten“ oder „No Curry“ zulächelt.[4] Schwarze Frauen berichten von Kontaktaufnahmen wie: „Ich möchte den Geschmack des Dschungels spüren.“[5]

Und dann ist da auch noch das algorithmische System hinter jeder Dating-Plattform. Es ist nicht bekannt, welche algorithmischen Systeme jeweils eingesetzt werden und wie sie nach Treffern suchen. Allen ist jedoch gemeinsam, dass sie Treffer erreichen wollen.[6] Somit ist es plausibel, dass die jeweiligen Algorithmen den Nutzer*innen die Profile anderer Nutzer*innen nach Erfolgswahrscheinlichkeit anzeigen.[7] Wenn überwiegend weiß gelesene Personen als attraktiv befunden werden, wie es die Auswertungen von OkCupid zeigen, dann ist Weißsein ein hoher Indikator für ein „match“, das heißt eine höhere Erfolgswahrscheinlichkeit. Selbst wenn also die Hautfarbe für das algorithmische System kein explizites Kriterium ist,[8] kann der Algorithmus diese fehlende Information über stellvertretende Merkmale wie die Erfolgsquote einer Person ausgleichen und im Ergebnis überwiegend weiß gelesene Personen vermitteln.

Sexuelle Präferenz oder Rassismus? 

Beim Dating scheint „Rasse“[9] also ein entscheidender Faktor zu sein.[10] Schönheitsideale und an ihnen orientierte sexuelle Präferenzen entwickeln sich nicht im luftleeren Raum, sondern in einem spezifischen historischen und kulturellen Kontext, der nicht diskriminierungsfrei ist.[11] Eine Erhebung von OkCupid aus 2009 ergab, dass 40 % bis 54 % weiß gelesener Männer und Frauen es bevorzugen, weiß gelesene Menschen zu daten, während nur 20 % aller Schwarzen und People of Color (PoC) zusammen genommen bevorzugt andere Schwarze oder PoC daten würden.[12]Noch vor 50 Jahren waren in den USA Gesetze in Kraft, die Beziehungen zwischen Weißen und Schwarzen verboten haben, um eine Vormachtstellung weiß gelesener Personen sicherzustellen (anti-miscegenation law). Insgesamt hat rassistische Gesetzgebung, die es weltweit gab, zur Abwertung nicht-weißer Menschen geführt. Die über Online-Dating erhobenen Zahlen[13] könnten Hinweise darauf sein, dass rassistische Machtverhältnisse auch heute noch sexuelle Präferenzen beeinflussen.[14]

Individuen können selbstverständlich entgegen diesen Strukturen handeln und es bräuchte nähere Überlegungen dazu, unter welchen Bedingungen die individuelle Auswahl der Sexualpartner*in entlang rassistischer Stereotype auch rassistisch ist.[15] Um diese individuelle Entscheidung geht es hier allerdings nicht. Im Mittelpunkt steht stattdessen, wie speziell Dating-Apps rassistische Strukturen perpetuieren können.

Werte in Technik

(Digitale) Technologien sind nie neutral. Ihre Entwickler*innen müssen entscheiden, welche Werte sie einschreiben:[16] Können Aussagen gelöscht werden? Unter welchen Bedingungen und von wem? Ist die Kommunikation offen oder anonym? Welche Filteroptionen bietet eine Dating-App? Welche Kategorien gibt es? Wie sucht ein Algorithmus nach Treffern? Wer wird repräsentiert? Und auch das Nutzer*innenverhalten formt die App: Welche Aussagen werden getätigt? Welches Feedback dem Algorithmus gegeben?

Dabei agieren Entwickler*innen und Nutzer*innen in einer Realität, die von diskriminierenden Strukturen und Stereotypen geprägt ist. Diese bleiben auch digital wirkmächtig.[17] Unter anderem dadurch, dass Nutzer*innen Dating-Apps oder generell soziale Plattformen nutzen, um dort beleidigende und diskriminierende Kommunikationsformen öffentlich auszuleben oder dadurch, dass die Entwickler*innen stereotype Annahmen codieren.

Häufiger, breiter und permanenter

Diskriminierende Strukturen können durch digitale Technologien aber nicht nur perpetuiert werden – sondern sich zudem verstärken. Es würde sich wohl kaum jemand ein Schild mit der Aufschrift „Keine Schwarzen“ umhängen und in einen Club gehen. Netzanonymität scheint jedoch dazu einzuladen, anerkannte Verhaltensnormen abzustreifen.[18]Im Gegensatz zu (diskriminierenden) Äußerungen außerhalb des Internets erlangen Aussagen digital typischerweise eine höhere Reichweite, indem sie länger und für ein größeres Publikum sichtbar bleiben.

Einzeln agierende Personen können zwar entgegen diskriminierenden Strukturen handeln. Wird hingegen ein bias in ein algorithmisches System codiert, verbreitet es sich mit dem System massenweise und grenzüberschreitend.[19]Diskriminierungen, ob durch digitale Äußerungen oder Algorithmen vermittelt, drohen sich aufgrund ihrer Permanenz und Reichweite zu sozialen Tatsachen zu verfestigen und so zu verstärken.[20]

Potentiale und Selbstregulierung

Dating-Apps ermöglichen es zwar auch, Personen verschiedener sozialer Gruppen, die sonst keine Berührungspunkte miteinander hätten, zu verbinden.[21] Dieses Potential wird allerdings geschmälert, wenn Diskriminierungen kein Einhalt geboten wird. Gewiss haben die Unternehmen hinter Dating-Apps ein ökonomisches Interesse daran, möglichst inklusiv zu sein, um über die Nutzer*innen mehr Daten sammeln können. Wohl auch deswegen ist beispielsweise Grindr mittlerweile dazu übergegangen, eine „multikulturelle und vorurteilsfreie Plattform“ bereitstellen zu wollen. Nach eigenen Aussagen werden alle diskriminierenden Äußerungen gelöscht.[22] Tinder betont hinsichtlich seines Algorithmus, dass er auf Offenheit ausgelegt sei: „Uns ist egal (und wir speichern auch nicht), ob du Schwarz, Weiß, Magenta oder Blau bist.“[23]

Das sind positive Entwicklungen. Aber was sind diskriminierende Aussagen nach Ansicht von Grindr? Was ist der Maßstab? Und wie sichert Tinder ab, dass stellvertretende Merkmale keine Rolle spielen? Ist es Tinder eigentlich auch egal, ob eine Nutzerin behindert ist? Unternehmerische Selbstregulierung ist intransparent und nicht erschöpfend. Vor allem aber sind rassistische Äußerungen und diskriminierende Dienstleistungen keine neuen Phänomene. Die Rechtsordnung vermittelt den betroffenen Personen subjektive Rechte hiergegen. Ihre Durchsetzung sollte nicht vom ökonomischen Nutzen eines Unternehmens abhängig gemacht werden.

Nutzer*innen, Beleidigungen und das NetzDG

Doch auch der staatlich gesetzte, subjektive Rechtsschutz ist unzureichend. Digitale Technologien exponieren seine Unzulänglichkeiten und lassen Defizite in der Rechtsdurchsetzung deutlich hervortreten. Als Schwarze Dating-App-Nutzerin ist es verletzend, auf exotische Stereotype reduziert zu werden oder mehrmals zu lesen, aufgrund des Schwarzseins nicht begehrenswert zu sein. Aufgrund historischer, Gesetz gewordener Exklusionsmechanismen gegen Schwarze Personen kann diese Erfahrung besonders erniedrigend sein.[24]

§ 185 Strafgesetzbuch stellt Beleidigungen unter Strafe und auch das Zivilrecht sieht Schutzvorschriften vor (z.B. § 823 Abs. 1 Bürgerliches Gesetzbuch in Verbindung mit dem Allgemeinen Persönlichkeitsrecht). Die Subsumtion ist aber keineswegs eindeutig. Beispielsweise könnte öffentlichen Aussagen wie „No blacks“ die notwendige Erkennbarkeit der Betroffenen fehlen, um eine strafbare Beleidigung darzustellen. Gruppenbezogene Beleidigungen sind für das Strafrecht ein dogmatisches Problem.[25] Dieses Problem steigert sich innerhalb sozialer Plattformen, in denen Beleidigungen nicht – wie bei Erlass des Strafgesetzbuches 1871 anvisiert – von Angesicht zu Angesicht erfolgen.[26]

Ferner stellt sich die Frage, gegen wen die Nutzerin ihren Strafantrag oder ihre Klage richten soll. Die Möglichkeit der Anonymisierung und Pseudonymisierung im Netz kann zur Vernetzung marginalisierter Gruppe beitragen und sie schützen.[27] Aber sie verhindert auch eine effektive Rechtsdurchsetzung. Um dem entgegen zu wirken, wurde das Netzwerkdurchsetzungsgesetz (NetzDG) erlassen. Das NetzDG verpflichtet Betreiber*innen sozialer Netzwerke dazu, ausgewählte, offensichtlich strafrechtlich relevante Inhalte unverzüglich zu löschen (§§ 1, 3 NetzDG). Tun sie dies nicht, drohen ihnen hohe Bußgelder (§ 4 NetzDG). An diesem Gesetz ist fast alles umstritten: Seine Erforderlichkeit, die Vereinbarkeit mit höherrangigem Recht, der Anwendungsbereich und die Verfahren.[28] Teil dieser Kritik ist, dass Unternehmen und nicht staatliche Verfolgungsbehörden über strafbares Handeln entscheiden.[29] Das Beispiel „No blacks“ zeigt, wie schwierig es sein kann, eine strafrechtlich relevante Äußerung zu identifizieren. Anstatt sich der schwierigen Abwägung zwischen Allgemeinem Persönlichkeitsrecht und Meinungsfreiheit  zu stellen, besteht die Gefahr, dass Betreiber*innen eigentlich rechtmäßige Äußerungen löschen.[30]

Das NetzDG ist auf Dating-Apps aber ohnehin nicht anwendbar. Genauso wenig wie auf berufliche Netzwerke oder Gaming-Portale, da es sich bei ihnen aufgrund der Verbreitung „spezifischer Inhalte“ nicht um soziale Netzwerke im Sinne von § 1 Abs. 3 NetzDG handelt. Für die betroffene Person macht es allerdings keinen Unterschied, wo rechtsverletzende Äußerungen getätigt werden, solange sie viral gehen können.[31] Es sollte überdacht werden, welchem Zweck Einschränkungen dienen und der Schutzbereich des NetzDG entsprechend erweitert werden.

Algorithmen und das Antidiskriminierungsrecht

Wenn ein Unternehmen seine Dating-App nur für eine bestimmte Zielgruppe freigibt, ist dies grundsätzlich rechtlich genauso legitim, wie innerhalb einer App eine soziale Gruppe zu bevorzugen. Denn es „gehört […] zur Freiheit jeder Person, nach eigenen Präferenzen darüber zu bestimmen, mit wem sie unter welchen Bedingungen Verträge abschließen will“.[32] Doch dieses Freiheitsrecht kann, wie alle anderen auch, eingeschränkt werden.[33]

§ 19 Allgemeines Gleichbehandlungsgesetz (AGG) macht Ungleichbehandlungen von Personen aufgrund der gesetzlich benannten Kategorien Rasse, ethnische Herkunft, Geschlecht, Religion, Behinderung, Alter oder sexuelle Identität in sogenannten Massengeschäften rechtfertigungsbedürftig. Gegen die Annahme eines Massengeschäftes könnte zwar sprechen, dass das algorithmische System die individuellen Daten einer Nutzerin verarbeitet und ihr danach ausgerichtet Profile anderer App-Nutzer*innen anzeigt. Doch es kommt nicht wirklich auf die individuelle Nutzerin an. Denn für die Datenverarbeitung wird massenhaft der gleiche Algorithmus mit gleichbleibenden Kriterien angewendet.[34]

Trotz Anwendbarkeit des AGG erschweren Wissenshierarchien eine effektive Rechtsdurchsetzung. Zum einen muss die Nutzerin überhaupt erst den Verdacht hegen, benachteiligt zu werden. Da sie die Dating-App unabhängig von anderen nutzt, hat sie jedoch keinen unmittelbaren Vergleich. Für ein anschließendes gerichtliches Verfahren müsste die Nutzerin – von einer irgendwie erlangten Vermutung ausgehend – die Benachteiligung einer rechtlich geschützten Gruppe nachweisen. Da selten bekannt ist, welches algorithmische System eingesetzt wird, mit welchen Daten es trainiert wird, wie oft die Daten aktualisiert werden und nach welchen Kriterien der Algorithmus entscheidet, ist dieser Nachweis schwierig zu führen. In einem gegebenenfalls zu Stande kommenden Prozess bräuchte die Nutzerin ferner ein Grundverständnis von algorithmischen Systemen, um technisch fundierte Rechtfertigungen des Unternehmens widerlegen zu können.

Wissenshierarchien sind dem Antidiskriminierungsrecht nicht fremd. Es arbeitet mit Beweismaßreduzierungen und Beweislastverteilungen (§ 22 AGG).[35] Die Nutzerin müsste für den Nachweis einer mittelbaren Diskriminierung beispielsweise „nur“ einen diskriminierenden Effekt nachweisen und nicht die kausale diskriminierende Handlung, das heißt: Sie muss nicht wissen, wie genau das System funktioniert.[36] Es reicht, dass im Ergebnis Schwarze und PoC ungleich behandelt werden. Warum dies so ist, muss das Unternehmen begründen. Allerdings ist es nicht gerade einfach, eine Statistik über die Nutzer*innenerfahrungen und damit den diskriminierenden Effekt zu erstellen. Ferner könnte die Nutzerin zwar ein Sachverständigengutachten in Auftrag geben, um im Rahmen eines gerichtlichen Verfahrens mit dem Expert*innenwissen der Unternehmen auf Augenhöhe zu sein – diese sind aber keineswegs kostengünstig. Betroffene Personen sollten daher stärkere Unterstützung im Rechtsverfahren erhalten.[37] Hierzu sollte das lang geforderte Verbandsklagerecht für antidiskriminierungsrechtliche Verfahren endlich eingeführt werden.[38]

Algorithmische Diskriminierungen fordern noch viele andere Bereiche des Antidiskriminierungsrechts heraus: Durch den Einsatz algorithmischer Systeme wird beispielsweise die Kette der Verantwortlichkeit länger.[39] Haftet für eine algorithmische Diskriminierung das Unternehmen, welches das System einsetzt, oder die gegebenenfalls externe Entwickler*innenfirma? Was ist, wenn niemand versteht, warum das System so handelt, wie es das tut? In der Rechtfertigung tun sich ferner nicht leicht zu beantwortende Abwägungsfragen auf. Denn es ist einerseits das Geschäftsmodell einer Dating-App, „matches“ zu erreichen, sodass es nützlich ist, Statistiken über die sexuellen Präferenzen von Personen heranzuziehen. Andererseits können Statistiken diskriminierende Stereotype reproduzieren und verfestigen.[40] Wann und inwiefern sollten statistische Erkenntnisse Diskriminierungen rechtfertigen können?[41]

Autonomie und Datenschutz

Darüber hinaus ist es gerade bei Dating-Apps aufgrund der Intimität der Entscheidung und der generierten sensiblen Daten kritikwürdig, dass so wenig über die algorithmische Datenverarbeitung bekannt ist. Erst, wenn die Nutzerin weiß, warum ihr bestimmte Profile angezeigt werden, kann sie eine autonome Entscheidung treffen.

Tatsächlich erlegt die Datenschutzgrundverordnung (DSGVO) der Datenverarbeiterin Informationspflichten auf (Artikel 12, 13). Unter anderem muss sie dem Datensubjekt die Kategorien personenbezogener Daten nennen, die verarbeitet werden. Kategorien könnten zum Beispiel das „Geschlecht“ oder die Postleitzahl sein. Die DSGVO verpflichtet aber nicht dazu, dem Datensubjekt zu erklären, mit welchen (fremden) Datenpunkten die personenbezogenen Datenpunkte in Relation gesetzt werden. Das heißt, sie verpflichtet gerade nicht dazu, zu erklären, warum der Nutzerin manche Profile angezeigt werden und andere nicht. Vieles bleibt im Hinblick auf die Informationsrechte der DSGVO noch zu diskutieren.[42]

Rechtliche Instrumente und Diskurs stärken

Dating-Apps stehen beispielhaft für all die Technologien, die wir täglich nutzen und die unsere Wahrnehmung prägen. Dadurch, dass digitale Technologien diskriminierende Strukturen skalieren können, wird es noch drängender als ohnehin schon, uns auch in diesem Kontext mit Herrschaftsverhältnissen zu beschäftigen, Ungleichheiten und Diskriminierungen zu benennen und sie zu bekämpfen. Das Recht muss hierzu nachgeschärft und die Rechtsdurchsetzung verbessert werden. Je nach Einsatzbereich und Folgen digitaler Technologien könnten die Unternehmen und Nutzer*innen abgestufte Pflichten treffen. Zumindest braucht es aber einen breiteren Diskurs darüber, wie digitale Technologien gestaltet und herrschaftskritische Ziele darin umgesetzt werden sollen.

Victoria Guijarro Santos hat Rechtswissenschaften in Göttingen studiert und arbeitet als wissenschaftliche Mitarbeiterin an der Universität Münster am Lehrstuhl für Internationales Öffentliches Recht und Internationalen Menschenrechtsschutz. Sie promoviert interdiszplinär zu Diskriminierungen durch datenbasierte algorithmische Systeme. Als Mitorganisatorin der Tagung “What We Don’t Talk About When We Talk About Law” und der Auftaktkonferenz des Junges Digitalen Rechts setzt sie sich für einen machtkritischen Zugang auf Recht und Technologien ein und engagiert sich bei netzforma* e.V. für eine feministische Netzpolitik.

Weiterführende Literatur

Jevan Hutson et al., Debiasing Desire: Addressing Bias & Discrimination on Intimate Platforms, Proceedings of the ACM on Human-Computer Interaction, 2018.

Safiya Umoja Noble / Brendseha M. Tynes (Hg.), The Intersectional Internet: Race, Sex, Class, and Culture Online, 2016.

Phillipp Hacker, Teaching fairness to artificial intelligence: Existing and novel strategies against algorithmic discrimination under EU law, Common Market Law Review 2018, 1143.

[1]  “Im Anschluss an antirassistische, empowernde Politiken schreiben wir Schwarz dagegen groß.“ AK ForschungsHandeln, InterdepenDenken dialogisch verhandeln – Eine Einleitung, in: AK ForschungsHandeln (Hg.), InterdepenDenken! Wie Positionierung und Intersektionalität forschend gestalten?, 2016, 8 (21).

[2] OkCupid, Race and Attraction 2009-2014, The Blog OkCupid, 10.09.2014; Christian Rudder, How Your Race Affects The Messages You Get, oktrends, 5.11.2009.

[3] Hannes Schrader, Warum liebe ich nur weiße Frauen?, Zeit Campus, 14.06.2018.

[4] Chris Stokel-Walker, Why is it ok for online daters to block whole ethnic groups? Guardian, 29.09.2018; Molly Niesen, Love, Inc., in: Safiya Umoja Noble / Brendseha M. Tynes (Hg.), The Intersectional Internet: Race, Sex, Class, and Culture Online, 2016, 161 (170).

[5] Olivia Petter, Racism is rife on Dating Apps, The Independent, 24.08.2018.

[6] Thomas McMullan, Are the algorithms that power dating apps racially biased?, Wired, 17.02.2019.

[7] Vgl. Swipehelper, Tinders Algorithm – How it Determines Who Gets to See Your Profile & What You Can Do About It, swipehelper.com, 13.10.2019.

[8] Vgl. Tinder, Powering Tinder – Die Methode hinter unserem Matching, Blog GoTinder, 15.03.2019.

[9] Dieser Begriff wird als soziale Konstruktion verstanden und als analytisches Konzept verwendet, näher Cengiz Barskanmaz, Kritische Justiz 2011, 382.

[10] Zum Online-Dating Christian Rudder, Dataclysm, 2014, 99; Denton Challender et al, Ethnicities, 2016, 3; im Übrigen Averil Y. Clarke, Inequalities of Love, 2011, 38.

[11] Jevan Hutson et al, Proceedings of the ACM on Human-Computer Interaction, 2018, 3 m.w.N.

[12] Christian Rudder, How Your Race Affects The Messages You Get, oktrends, 05.10.2009.

[13] Christian Rudder, Dataclysm, 2014, 99; Denton Challender et al, Ethnicities 2016, 3; Jay P. Paul et al, The Journal of Sex Research 2010, 528.

[14] Hutson et al. (Fn. 11), 14.

[15] Sonu Bedi, The Journal of Politics 2015, 998.

[16] Lawrence Lessig, Code and Other Laws of Cyberspace, 1999/2001.

[17] Kathrin Ganz, Feministische Netzpolitik, 2013, 3; Gitti Hentschel / Francesca Schmidt, Femina Politica 2014, 83 (85 f.); Noble / Tynes (Fn. 4).

[18] Denton Challender et al., Ethnicities, 2016, 3.

[19] Thomas Wischmeyer, Archiv für öffentliches Recht 2018, 1 (26); Lucia Sommerer, Personenbezogenes Predictive Policing (i.V.), 140.

[20] Zu Algorithmen Sommerer (Fn. 19); zu Aussagen Ulrike Lembke, Kritische Justiz 2016, 385.

[21] Michael J. Rosenfeld / Reuben J. Thomas, American Sociological Review 2012, 523 (524).

[22] Grindr, Community Guidelines, https://www.grindr.com/community-guidelines/ (Stand: 17.02.2020).

[23] Tinder (Fn. 8).

[24] Bedi (Fn. 15), 1004.

[25]  Jörg Eisele / Ulrike Schittenhelm, in: Adolf Schönke / Horst Schröder, Strafgesetzbuch, 2019, Vor. §§ 185 ff. Rn. 5 ff.

[26] Elisa Hoven, Nicht Ausdruck, sondern Bedrohung der Meinungsfreiheit, faz Einspruch, 05.11.2019.

[27] Hentschel / Schmidt (Fn. 17), 84.

[28] So etwa Georg Nolte, Zeitschrift für Urheber- und Medienrecht 2017, 552 (554 ff.); Fiete Kalscheuer / Christian Hornung, Neue Zeitschrift für Verwaltungsrecht 2017, 1721; Kathrin Ganz et al, in: Katharina Mosene / Matthias C. Kettemann (Hg.), Many Worlds, Many Nets, Many Visions, 2019, 31.

[29] Ulf Buermeyer, ‘Statt Klarnamen: Digitales Gewaltschutzgesetz‘, Der Tagesspiegel, 19.06.2019.

[30] Matthias C. Kettemann, Stellungnahme als Sachverständiger für die öffentliche Anhörung zum Netzwerkdurchsetzungsgesetz, 15. Mai 2019, Nr. 6, 7, https://bit.ly/2HAfNSq (Stand: 17.02.2020).

[31] Deutscher Juristinnenbund, Policy Paper, 04.11.2019, Nr. 5, https://www.djb.de/verein/Kom-u-AS/ASDigi/st19-23/ (Stand: 17.02.2020).

[32] BVerfGE 148, 267, LS. 1.

[33] Vgl. Susanne Baer, Zeitschrift für Rechtspolitik 2002, 290; Gabriele Britz, Veröffentlichungen der Vereinigung deutscher Staatsrechtslehrer 2005, 357.

[34] Vgl. Phillipp Hacker, Common Market Law Review 2018, 1143 (1155 f).

[35] Vgl. EuGH, ECLI:EU:C:1986:204, Rn. 29.

[36] Tischbirek, in: Münkler (Hg.), Dimensionen des Wissens im Recht, 2019, 67 (76).

[37] Sommerer (Fn. 19), 151; Tischbirek (Fn. 36), 83.

[38] Gesine Fuchs, Feminia Politica 2010, 102; Erik Tuchtfeld / Sarah Ponti, Zeitschrift für Rechtspolitik 2018, 139.

[39] Vgl. Karen Yeung, Responsibility and AI, Council of Europe study, 2019.

[40] Vgl. Andreas Leidinger, Kritische Justiz 2019, 451 (458 f.).

[41] Vgl. Gabriele Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008.

[42] Vgl. Stephan Dreyer / Wolfgang Schulz, The General Data Protection Regulation and Automated Decision-making: Will it deliver?, 2019.