Aufgabe HT 3 - Aufgabe 4 · Abitur NRW Englisch LK · Haupttermin · Weiterbildungskolleg 2021

Klausurteil A

Shoshana Zuboff

The Surveillance Threat Is Not What Orwell Imagined

In this text, the author and scholar Shoshana Zuboff reflects on 1984, Orwell's dystopian novel from 1949, which portrays a society where the state and its leader Big Brother exercise complete control over its citizens.

George Orwell repeatedly delayed crucial medical care to complete 1984, the book still

synonymous with our worst fears of a totalitarian future – published 70 years ago this month.

Half a year after his novel’s debut, he was dead. Because he believed everything was at stake,

he forfeited everything, including a young son, a devoted sister, a wife of three months and

5 a grateful public that canonized his prescient and pressing novel. But today we are haunted

by a question: Did George Orwell die in vain?

Orwell sought to awaken British and U.S. societies to the totalitarian dangers that threatened

democracy even after the Nazi defeat. In letters before and after his novel’s completion,

Orwell urged “constant criticism,” warning that any “immunity” to totalitarianism must not

10 be taken for granted: “Totalitarianism, if not fought against, could triumph anywhere.”

Since 1984 ’s publication, we have assumed with Orwell that the dangers of mass surveillance

and social control could only originate in the state. We were wrong. This error has left us

unprotected from an equally pernicious but profoundly different threat to freedom and

democracy.

15 For 19 years, private companies practicing an unprecedented economic logic that I call

surveillance capitalism have hijacked the Internet and its digital technologies. Invented at

Google beginning in 2000, this new economics covertly claims private human experience

as free raw material for translation into behavioral data. Some data are used to improve

services, but the rest are turned into computational products that predict your behavior.

20 These predictions are traded in a new futures market, where surveillance capitalists sell

certainty to businesses determined to know what we will do next. This logic was first

applied to finding which ads online will attract our interest, but similar practices now reside

in nearly every sector – insurance, retail, health, education, finance and more – where

personal experience is secretly captured and computed for behavioral predictions. By now it

25 is no exaggeration to say that the Internet is owned and operated by private surveillance

capital.

In the competition for certainty, surveillance capitalists learned that the most predictive data

come not just from monitoring but also from modifying and directing behavior. For example,

by 2013, Facebook had learned how to engineer subliminal cues on its pages to shape users’

30 real-world actions and feelings. Later, these methods were combined with real-time emotional

analyses, allowing marketers to cue behavior at the moment of maximum vulnerability. These

inventions were celebrated for being both effective and undetectable. Cambridge Analytica

later demonstrated that the same methods could be employed to shape political rather than

commercial behavior.

35 Augmented reality game Pokémon Go, developed at Google and released in 2016 by a

Google spinoff, took the challenge of mass behavioral modification to a new level. Business

customers from McDonalds to Starbucks paid for “footfall” to their establishments on a

“cost per visit” basis, just as online advertisers pay for “cost per click.” The game engineers

learned how to herd people through their towns and cities to destinations that contribute

40 profits, all of it without game players’ knowledge.

Democracy slept while surveillance capitalism flourished. As a result, surveillance capitalists

now wield a uniquely 21st century quality of power, as unprecedented as totalitarianism

was nearly a century ago. I call it instrumentarian power, because it works its will through

the ubiquitous architecture of digital instrumentation. Rather than an intimate Big Brother

45 that uses murder and terror to possess each soul from the inside out, these digital networks

are a Big Other: impersonal systems trained to monitor and shape our actions remotely,

unimpeded by law.

Instrumentarian power delivers our futures to surveillance capitalism’s interests, yet because

this new power does not claim our bodies through violence and fear, we undervalue its

50 effects and lower our guard. Instrumentarian power does not want to break us; it simply

wants to automate us. To this end, it exiles us from our own behavior. It does not care what

we think, feel or do, as long as we think, feel and do things in ways that are accessible to

Big Other’s billions of sensate, computational, actuating eyes and ears.

Instrumentarian power challenges democracy. Big Other knows everything, while its operations

55 remain hidden, eliminating our right to resist. This undermines human autonomy and self-

determination, without which democracy cannot survive. Instrumentarian power creates

unprecedented asymmetries of knowledge, once associated with pre-modern times. Big

Other’s knowledge is about us, but it is not used for us. Big Other knows everything about

us, while we know almost nothing about it. This imbalance of power is not illegal, because

60 we do not yet have laws to control it, but it is fundamentally anti-democratic.

Surveillance capitalists claim that their methods are inevitable consequences of digital

technologies. This is false. It’s easy to imagine the digital future without surveillance

capitalism, but impossible to imagine surveillance capitalism without digital technologies.

Seven decades later, we can honor Orwell’s death by refusing to cede the digital future.

65 Orwell despised “the instinct to bow down before the conqueror of the moment.” Courage,

he insisted, demands that we assert our moral bearings, even against forces that appear

invincible. Like Orwell, think critically and criticize. Do not take freedom for granted. Fight

for the one idea in the long human story that asserts the people’s right to rule themselves.

Orwell reckoned it was worth dying for.

Annotations:

32 Cambridge Analytica – British political consulting firm that was involved in influencing hundreds of elections globally

35 Pokémon Go – augmented reality mobile game where virtual creatures appear as if they were in the player’s real-world location

36 spinoff – a division of a company that has become independent

53 sensate – recognised by the means of senses

53 actuating – to make someone behave in a particular way

Klausurteil B: Sprachmittlung isoliert

4. An American friend is preparing a presentation for a social science course on how administrations use algorithms. To include a perspective from abroad, she/he has asked you for help. Write her/him an email in which you outline what Valentin Dornis's article states about how German administrations currently use algorithms and which proposals the author makes for improving the situation.

(Mediation) [18 Punkte]

Klausurteil B

Valentin Dornis

Deutschland braucht einen Ethik-Kodex für Algorithmen

Österreich führt einen Algorithmus ein, der Arbeitslose in drei Kategorien sortieren soll: mit guten, mittleren und schlechten Chancen auf einen neuen Job. Kritiker fürchten Diskriminierung von Frauen, Alten und Ausländern. In Deutschland sind solche Programme in der Verwaltung bisher die Ausnahme, den Sicherheitsapparat mal ausgenommen. Bevor sich das ändert, ist es dringend nötig, endlich Richtlinien zur Algorithmenethik einzuführen, die bundesweit gelten. Nur so kann die Verwaltung in Zukunft die Chancen automatisierter Prozesse nutzen, ohne Ängste bei den Bürgern zu schüren oder gar zu bestätigen.

Ein moderner Staat muss Algorithmen nutzen, auch im direkten Kontakt mit den Bürgern. Sie helfen, Abläufe zu optimieren und Geld zu sparen – im Idealfall, um es anderswo sinnvoller einsetzen zu können. Weil es dabei um Steuergelder geht, ist diese Effizienz im Sinne jedes Bürgers, jedes Steuerzahlers. Ineffizient ist dagegen der aktuelle Zustand in Deutschland: Eine umständliche Verwaltung, in der viele Dinge auf Länderebene unterschiedlich geregelt sind, in der Daten vorhanden, aber nicht verknüpft sind, in der eine Behörde in Bayern andere Software benutzt als die in Berlin.

Trotzdem gibt es großen Widerstand, wenn über automatisierte Prozesse im Staat nachgedacht wird. Die größte Sorge ist, dass der Mensch seine Bedeutung als Individuum verliert, sobald seine Daten durch einen Algorithmus wandern. Dass das Leistungsprinzip zum ultimativen Grundsatz wird: Wer schlechte Kennzahlen in der Akte stehen hat, der wird nicht gefördert und weiß im Zweifel nicht einmal, warum. Diese Sorge ist berechtigt, aber kein Grund, auf automatisierte Systeme zu verzichten. Nötig sind klare Regeln, wenn staatliche Institutionen Algorithmen einsetzen. Effizienz darf nicht der alleinige Maßstab werden, der die Sozialpolitik definiert. Ein Solidarsystem soll auch Menschen Chancen ermöglichen, deren Aussichten nicht erfolgreich scheinen.

Die gute Nachricht: Algorithmen werden von Menschen gemacht. Es gibt Politiker, die sie in Auftrag geben, Informatiker, die sie programmieren, und Beamte, die sie anwenden. Nicht der Algorithmus ist schuld, wenn Bürokratie ungerecht ist, sondern die Menschen, die diese Bürokratie gestalten und verwalten. Wenn es für diese Menschen keine ethischen Leitlinien gibt, wie sie mit neuen technischen Möglichkeiten umgehen sollen und wo die Grenzen liegen, ist das ein Problem. Erst dann wird der Algorithmus zum Risiko für den einzelnen Bürger.

Die Digitalstrategie der aktuellen Bundesregierung und ihrer Vorgänger orientiert sich leider eher an historischer behördlicher Ineffizienz. Die Regierung digitalisiert auf lauter kleinen Inseln im großen Datenmeer vor sich hin. Es gibt unter anderem einen Digitalrat, ein Digitalkabinett, eine Digital-Staatsministerin, eine koordinierende Digitalabteilung im Kanzleramt, eine Abteilung Digitalisierung und Arbeitswelt samt zuständigem Staatssekretär im Arbeitsministerium und eine Datenethik-Kommission.

Letztere ist seit etwa sieben Wochen im Einsatz und soll nun immerhin ethische Leitlinien „vorschlagen und Handlungsempfehlungen geben“. Das ist grundsätzlich gut, aber nicht ehrgeizig genug. Es fehlt das Versprechen, dass die Bundesregierung daraus noch vor der nächsten Wahl bundesweit einheitliche verpflichtende Vorschriften entwickelt. […]

Wie könnten solche Regeln aussehen? Erstens: Kontrolle. Ein Gremium mit Experten, Betroffenen und Anwendern muss von Beginn an mitarbeiten und zum Beispiel sicherstellen, dass durch einen Algorithmus keine bestehenden Vorurteile reproduziert werden. Zweitens: Transparenz. Staatliche Software darf nicht unter Geheimhaltung entwickelt und angewendet werden. Sie muss Open Source sein, das heißt, jeder muss sie testen und Schwachstellen finden können. Drittens: Expertise. Mitarbeiter in der Verwaltung müssen lernen, mit der Software umzugehen, Grundmechanismen algorithmischer Prozesse zu verstehen und die Aussagekraft von Wahrscheinlichkeiten einzuschätzen. Viertens: flexible Anpassung. Bewertet ein Programm etwa die Chancen von Arbeitslosen auf einen Job, muss es laufend überprüft und angepasst werden. Wird jemand wegen der Software benachteiligt, muss es einen Ausgleich geben.

Algorithmen sind nicht böse, es kommt auf ihre Gestaltung und Anwendung an. Diese sollte in Deutschland klar geregelt sein, bevor die Programme auf die Bürger losgelassen werden.

Anmerkungen:

Die Sprachrichtigkeit betreffende Fehler im Originaltext wurden berichtigt.

36 – 37: soll … Handlungsempfehlungen geben – die Datenethik-Kommission hat ihren Bericht im Oktober 2019 abgegeben