Sprachmodellen Normen lehren – Die nächste Etappe einer hybriden Governance

Große Sprachmodelle (Large Language Models, LLM) haben die Fähigkeiten zur Verarbeitung natürlicher Sprache erheblich verbessert und ermöglichen es, menschenähnliche Texte zu erzeugen. Ihre zunehmende Präsenz im gesellschaftlichen Leben wirft jedoch Bedenken hinsichtlich potenzieller gesellschaftlicher Risiken und ethischer Überlegungen auf. Um einen verantwortungsvollen Einsatz von LLMs zu gewährleisten, ist es entscheidend, ihnen gesellschaftliche Normen beizubringen. In diesem Blogbeitrag wird untersucht, wie wir LLMs diese Normen beibringen können. Wir stellen das Konzept der hybriden Governance vor, das die Interdependenzen zwischen öffentlichen und privaten Normen hervorhebt. Außerdem werden wir uns mit DeepMind Sparrow und seinen 23 Regeln für verstärktes menschliches Feedback befassen, um ein Beispiel für effektive Methoden zur Vermittlung von Normen zu geben.

Was sind LLMs?

LLMs, wie die GPT-Modelle von OpenAI, sind hochmoderne Systeme der künstlichen Intelligenz, die in der Lage sind, kohärente und kontextuell relevante Texte zu generieren. Während LLMs zahlreiche Vorteile bieten, darunter verbesserte Sprachübersetzung, Inhaltsgenerierung und Kund*inneneervice, bergen sie auch gesellschaftliche Risiken (Weidinger et al., 2022). Zu diesen Risiken gehören die Verbreitung von Fehlinformationen, die Verstärkung von Vorurteilen und der potenzielle Missbrauch in Bereichen wie Deepfakes oder die Erstellung bösartiger Inhalte. Die Risiken können auf einer automatisierten Entscheidungsfindung mit realen Auswirkungen beruhen. Geoffrey Hinton, der so genannte Godfather of AI, der vor kurzem Google verlassen hat, erinnerte uns daran, dass man nicht in der Hauptstadt sein muss, um einen Aufstand gegen das Gebäude zu initiieren. KI-Systeme könnten also auch Menschen so manipulieren, dass sie Schaden anrichten.

Wie man den LLMs Normen beibringt

Um die mit den LLM verbundenen Risiken zu bewältigen, ist die Vermittlung von gesellschaftlichen Normen unerlässlich, wenn auch nicht die einzige Möglichkeit, dies zu tun. Um dieses Ziel zu erreichen, können verschiedene Ansätze verfolgt werden: 

• Explizite Unterweisung: LLMs können explizit in vordefinierten Normen und ethischen Richtlinien unterrichtet werden, um ihr Verhalten und die Erstellung von Inhalten zu steuern. 
• “Reward Modeling”: Durch den Einsatz von Verstärkungslerntechniken können LLMs für die Produktion von Ergebnissen belohnt werden, die mit den gewünschten Normen übereinstimmen; dadurch werden sie ermutigt, den gesellschaftlichen Erwartungen zu entsprechen.
• Menschliches Feedback: Die aktive Einbeziehung menschlicher Prüfer, die während des Trainingsprozesses Feedback und Anleitung geben, hilft LLMs, von menschlicher Expertise und Perspektive zu lernen. 

Sparrow, der von Google DeepMind entwickelt wurde, einem der prominenten KI-Labs, das zu Alphabet gehört, dient als Beispiel für einen LLM-Chatbot, der – soweit wir wissen – noch nicht für die Öffentlichkeit freigegeben wurde. Sparrow arbeitet mit “verstärktem menschlichen Feedback”. Dabei handelt es sich um eine kontinuierliche Feedbackschleife zwischen menschlichen Gutachtern und dem Chatbot während des Trainingsprozesses. Dieser iterative Prozess ermöglicht es Sparrow, zu lernen und seine Antworten im Laufe der Zeit zu verbessern und sie an menschliche Erwartungen und gesellschaftliche Normen anzupassen.

DeepMind hat 23 Regeln für verstärktes menschliches Feedback speziell für Sparrow entwickelt (Glaese 2022). Diese Regeln dienen menschlichen Prüfern als Leitfaden für die Bewertung der Ergebnisse des Chatbots und damit für die Gestaltung seines Verhaltens. Durch die Einbeziehung ethischer Überlegungen in sein Training soll Sparrow ein verantwortungsvolles Verhalten an den Tag legen und vermeiden, schädliche oder unangemessene Inhalte zu generieren. Die ersten Regeln sind:

Diese Regeln klingen alle plausibel, aber man könnte sich problemlos eine alternative Liste mit ebenso plausiblen Regeln ausdenken. Auch wenn sie alle einen Bezug zu etablierten ethischen und rechtlichen Normen haben, ist es die Entscheidung eines privaten Unternehmens, diese Regeln zu wählen. Angesichts der gesellschaftlichen Relevanz der Bots – wenn sie auf die Welt losgelassen werden – können wir uns fragen, ob das ideal ist.  

Das Konzept der hybriden Governance und die Interdependenzen zwischen öffentlichen und privaten Normen

In dieser Hinsicht kann die Analysekategorie der hybriden Governance, die wir als Perspektive auf Regelstrukturen im Bereich der sozialen Medien vorschlagen, auch auf LLMs angewendet werden: In der Tat stellt die normative Entwicklung von Kommunikationsregeln auf Online-Plattformen traditionelle Vorstellungen von Regelsetzung in Frage. Die Überschneidung, Interdependenz und Untrennbarkeit von privaten (z.B. Community-Standards) und öffentlichen Kommunikationsregeln auf Social-Media-Plattformen sollte daher unter dem Blickwinkel einer neuen Kategorie analysiert werden: Hybrid Speech Governance (Schulz, 2022). Diese Perspektive kann helfen, geeignete Ansätze zur Eindämmung privater Macht zu finden, ohne staatszentrierte Konzepte einfach unverändert auf Plattformbetreiber zu übertragen. Dies gilt für Fragen nach der Legitimation von Kommunikationsregeln, rechtsstaatlichen und grundrechtlichen Anforderungen. 

Wir sehen immer häufiger, dass staatliche Regulierung versucht, indirekt in privaten Ordnungen zu wirken und Bedingungen für private Regelsetzung formuliert. Der Digital Services Act (DSA) der EU greift diese Perspektive der hybriden Governance in Art. 14 auf. Dies dient als prominentes Beispiel, um erste gesetzgeberische Antworten auf die aufgeworfenen Fragen zu finden. Dies ist jedoch nur der Anfang der Geschichte hybrider Governance. Wissenschaft, Praxis und Rechtsprechung werden die Ansätze des DSA zur hybriden Governance im Detail ausarbeiten müssen. Die Diskussion über diese neue Perspektive der Governance muss über den Bereich der Plattformregulierung hinaus ausgeweitet werden, insbesondere auch in Bezug auf LLMs.

Fazit 

Die Vermittlung von Normen an LLMs ist ein wichtiger Schritt in Richtung eines verantwortungsvollen KI-Einsatzes. Durch den Einsatz von Belohnungsmodellen und  menschliches Feedback können wir das Verhalten von LLMs formen und potenzielle gesellschaftliche Risiken mindern. Wir behaupten nicht, dass dieser Ansatz perfekt oder der einzige Weg ist, mit diesen Risiken umzugehen, aber er könnte eine Komponente der Lösung sein. 

Wir schlagen vor, dass die Normen, die wir LLMs lehren, als eine Mischung aus privater und öffentlicher Regelsetzung verstanden werden sollten. Das bedeutet, dass wir als Zivilgesellschaft, als wissenschaftliche Gemeinschaft und auch als Gesetzgeber überlegen müssen, welche Anforderungen wir an die private Festlegung dieser Regeln stellen. Es bedeutet auch, dass wir über die Verfahren nachdenken müssen, mit denen diese Regeln geschaffen und durchgesetzt werden. Dies kann strukturierte Verfahren der Regelsetzung mit Beteiligung der Interessengruppen oder sogar die Einrichtung neuer Multi-Stakeholder-Gremien zur Beratung der Unternehmen, die LLM entwickeln, bedeuten. Die Tatsache, dass OpenAI sogar eine US-Agentur zur Regulierung von LLMs gefordert hat und die EU bald ein KI-Gesetz (AI Act) haben wird, sollte nicht zu der Illusion verleiten, dass das Problem allein durch staatliche Regulierung und die Einhaltung dieser Regeln durch die Unternehmen gelöst werden könnte. Instrumente wie Risikobewertungen – im Rahmen des DSA oder des KI-Gesetzes – können auch als Transmissionsriemen zwischen staatlicher und privater Regulierung dienen.   

Das Konzept der hybriden Governance verdeutlicht, wie wichtig es ist, sowohl öffentliche als auch private Normen bei der Regelung des Verhaltens von LLM zu berücksichtigen. Bei der Navigation durch diese sich entwickelnde Landschaft ist die Zusammenarbeit zwischen Forschenden, politischen Entscheidungsträger*innen und Technologieentwickler*innen von zentraler Bedeutung, um sicherzustellen, dass LLMs gesellschaftliche Normen einhalten und gleichzeitig Innovation und Fortschritt fördern.

Referenzen

Glaese, A. et al. (2022). Improving alignment of dialogue agents via targeted human judgments. DeepMind Working Paper. https://doi.org/10.48550/arXiv.2209.14375.

Schulz, W. (2022). Changing the Normative Order of Social Media from Within: Supervising Bodies. In Celeste, E., Heldt, A., and Keller, C. I. (Eds.), Constitutionalising Social Media (pp. 237-238). Bloomsbury Publishing. 

Weidinger, L. et al. (2022). Taxonomy of Risks Posed by Language Models. Proceedings of the ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘22), Association for Computing Machinery, New York, NY, USA, pp. 214-229. https://doi.org/10.1145/3531146.3533088.