Nutzungshinweise H 7625
Kommunikation Zeitschrift für Informatik und Gesellschaft
#FIfFKon2023
Perspektiven, Zukunftsvisionen, Chancen, Utopien
ISSN 0938-3476
• Weizenbaum-Studienpreise • Krieg im Weltraum • KI-Narrative • Kommunikation Titelbild: Bildmaterial: Depositphotos Autor abidal, ID 275369004
Zeitschrift für Informatik und Gesellschaft
Inhalt #FIfFKon2023 inhalt
28 Einleitung in den Schwerpunkt Ausgabe 1/2024 - Hans-Jörg Kreowski und Margita Zallmann 29 IT-Sicherheit vs. Sicherheit in der IT – Ein unlösbarer 03 Editorial Widerspruch? - Stefan Hügel - Daniel Guagnin 30 Eine technisch erzeugte Kriegswirklichkeit - Christian Heck 32 Warum man keine 0-Day-Schwachstellen geheim halten darf Forum - Sylvia Johnigk 33 Responsible Disclosure stärken, Geheimhaltung von 04 Der Brief: „Ewiger Frieden?“ Schwachstellen schwächen - Stefan Hügel - Kai Nothdurft 06 Nachruf auf Peter Bittner 36 Für eine De-Militarisierung von Cybersicherheit - Eva Hornecker, Stefan Hügel, Sylvia Johnigk, - Daniel Guagnin, Laura Kocksch, Basil Wiesse Constanze Kurz, Kai Nothdurft, Jens Woinowski 42 Cyber Peace Works 08 Weizenbaum: Herkunft, Forschung, Vision - Christian Heck et al. - Marie-Theres Tinnefeld 47 Aesthetic approaches to cyber peace work 10 Zwischen Macht und Mythos - Lisa Reutelsterz, Leon-Etienne Kühr, Benita Martis, - Rainer Rehak - Christian Heck 18 Krieg im Weltraum – Ist es wieder 5 vor 12? 56 Machtfragen im Digitalisierungsprozess aus Sicht der - Dieter Engels, Jürgen Scheffran, Ekkehard Sieker Nachhaltigkeit - Friederike Hildebrandt 23 40 Jahre FIfF – Denkwürdige Zeiten - Einladung zu Beiträgen für die FIfF-Ko 2/2024 57 Entwicklungszusammenarbeit trifft auf Tech-Konzerne und den Überwachungsstaat 23 Schwerpunkt Datenschutz - Erich Pawlik - FIfF-Ko 3/2024 – Call for Contributions 60 Was man über die Ökonomie der generativen KI 24 #FIfFKon2024 25.–27. Oktober – HS Bremerhaven wissen sollte - Vorankündigung - Erich Pawlik 25 Bekommen wir den Rechtsextremismus in den Griff? - Dagmar Boedicker
Netzpolitik.org Weizenbaum-Studienpreis 74 Die sieben quälendsten Fragen zur KI-Verordnung - Daniel Leisegang, Chris Köver, Sebastian Meineck 64 Verleihung des Weizenbaum-Studienpreises 2023 Einleitung 79 KI-Verordnung erhält grünes Licht - Daniel Leisegang 64 Lelia Friederike Hanslik: Infringements of Bystanders’ Privacy through IoT Devices 80 Kompetent, aber trotzdem abserviert - Laudatio für den dritten Preis - Constanze Kurz
66 Infringements of Bystanders’ Privacy through IoT Devices - Lelia Friederike Hanslik 68 Anne Mareike Lisker: Von der (Un-)Möglichkeit, digital mündig zu sein. - Laudatio für den ersten Preis Rubriken 69 Von der (Un-)Möglichkeit, digital mündig zu sein 83 Impressum/Aktuelle Ankündigungen - Anne Mareike Lisker 84 SchlussFIfF
2 FIfF-Kommunikation 1/24 Editorial Wie in jedem Jahr ist auch 2024 die erste Ausgabe der FIfF- Kommunikation der FIfF-Konferenz gewidmet, die diesmal am 3.-5. November 2023 am Ostkreuz in Berlin stattfand. Die Bei- träge zu diesem Schwerpunkt wurden von Hans-Jörg Kreowski und Margita Zallmann zusammengestellt. Im Schwerpunktedi- torial leiten sie ein:
editorial Die Herausforderungen der Informatik werden nur all- zu oft hinsichtlich der Gefahren, Risiken, unerfüllbaren Verheißungen und Dystopien der Digitalisierung be- trachtet. Doch wie kann das FIfF dazu beitragen, eine kritische Informatik konstruktiv mit einer positiven Aus- richtung zu vereinen? Welche Perspektiven, Zukunfts- Tagungsort der FIfFKon23, Jugendherberge Berlin-Ostkreuz visionen, Chancen, Utopien und Inspirationen für Um- Foto: privat bruch und Aufbruch können herausgearbeitet werden? Aufgrund der Rückmeldungen aus der Mitgliedschaft ihrer Allgegenwärtigkeit dennoch nicht entgehen können. Die haben sich drei Schwerpunkte herauskristallisiert: Laudationes und Beiträge der Preisträgerinnen sind ebenfalls in diesem Heft enthalten. • Cyberpeace – z. B. Kritik an der Planung zum Future Combat Air System (FCAS) und zur militärischen Nut- Eine traurige Nachricht ereilte uns am Jahresbeginn: Peter Bitt- zung der Künstlichen Intelligenz, ner, früherer stellvertretender Vorsitzender des FIfF und seit vielen Jahren Mitglied des Beirats, ist kurz vor Weihnachten • Information und Nachhaltigkeit – z. B. Bits & Bäume verstorben. Als Grenzgänger zwischen unterschiedlichen Dis- sowie Informationstechnik und Entwicklungspolitik, ziplinen beschäftigte er sich mit der Ethik und Profession der Informatik, arbeitete zu gesellschaftlichen, politischen und ju- • Entwicklungen der Künstlichen Intelligenz – z. B. Chan- ristischen Fragen der Informatik, zur informationellen Selbstbe- cen und Risiken der Entwicklung und Nutzung von stimmung und Überwachungstechniken. Viele seiner Arbeiten ChatGPT sowie Auswirkungen auf die IT-Sicherheit. bündelte er in einem Entwurf einer Kritischen Theorie der Infor- matik. Das FIfF hat ihm viel zu verdanken. Wir trauern und erin- Besonderes Gewicht hat dabei der erste Schwerpunkt angesichts nern an ihn in einem Nachruf. des fortdauernden Krieges der Russischen Föderation gegen die Ukraine und des zum Zeitpunkt der Konferenz gerade vier Wo- Marie-Theres Tinnefeld erinnert an Joseph Weizenbaum und an chen zurückliegenden Terrorakts der Hamas gegen Israel und seine Idee einer Friedensinformatik, die er auch bei der Grün- der darauf folgenden Bombardierung des Gazastreifens: dung des FIfF verfolgt hat, an der er beteiligt war. Weizenbaum hat sich stets für Frieden, Freiheit und Toleranz eingesetzt. Die Seit zehn Jahren greift die Cyberpeace-Kampagne des Autorin setzt dies in Beziehung zum wieder wachsenden Antise- FIfF das Bedrohungspotenzial durch Cyberangriffe auf mitismus und dem Krieg im Gazastreifen – sie fragt, ob es für ihn und mittlerweile generell die Gefahren durch zuneh- nicht eine Herausforderung gewesen wäre, einen solidarischen mende Aufrüstung mithilfe von Informations- und Kom- Zusammenhang zwischen Israel und Palästina zu stiften. munikationstechnik. Angesichts proklamierter „Zeiten- wende“ und „Kriegstüchtigkeit“ ist das FIfF gefordert, Auch über die FIfF-Konferenz hinaus bleibt die Künstliche In- die Risiken durch den militärischen Einsatz von Künstli- telligenz eines unserer zentralen Themen. Rainer Rehak unter- cher Intelligenz und (teil-)autonomen Waffen zu thema- nimmt eine kritische Einordnung aktueller Narrative zwischen tisieren und den Diskurs darüber mitzugestalten. Macht und Mythos:
Ingesamt ergab sich ein breites Spektrum von Themen, bei denen Der Einsatz von KI-Technologien verändert tatsächlich deutlich wurde, dass die unterschiedlichen Bereiche viele Quer- unsere Gesellschaften, aber nicht so, wie oft – wahlwei- verbindungen haben und zusammengedacht werden müssen. se utopistisch oder dystopisch – argumentiert wird. Die Rettung der Menschheit durch eine leistungsstarke, mit- Im Rahmen der FIfF-Konferenz wurde der Weizenbaum-Studi- hin gute KI steht ebenso wenig zu erwarten wie die dro- enpreis verliehen. In diesem Jahr wurden damit zwei Arbeiten hende Auslöschung der Menschheit durch eine unkont- ausgezeichnet, die unausweichliche Überwachung aus zwei Per- rollierbare, mithin böse Superintelligenz. spektiven betrachten: Die problematische Forderung nach „Di- gitaler Mündigkeit“ und die damit verbundene Abwälzung der Er nennt stattdessen eine Reihen von Folgen und Gefahren die- Verantwortung für Überwachung auf Nutzer:innen, die dieser ser Technologien, die Gegenstand gesellschaftlicher Debatten Verantwortung aufgrund der fortgeschrittenen Überwachungs- sein müssen, wie die Strukturveränderung des Arbeitsmarktes, methoden nicht mehr gerecht werden können, und die Aus- die einseitige Macht- und Produktivitätssteigerung weniger Fir- wirkung der Überwachungstechniken auf Unbeteiligte – Men- men, die Ausweitung personalisierter Überwachung oder die schen, die die Technik selbst nicht nutzen, ihr aber aufgrund Implikationen militärischer KI-Nutzung. Mit der Regulierung der
FIfF-Kommunikation 1/24 3 Künstlichen Intelligenz auf EU-Ebene, dem AI Act, und den da- ren hegen, den wir für uns erwarten, wir sollten zeigen, mit verbundenen Fragen setzen sich Daniel Leisegang, Chris Kö- dass wir aus der deutschen Geschichte gelernt haben. ver und Sebastian Meineck von netzpolitik.org auseinander. Vor einer weiteren Eskalation des Kriegs im Weltraum warnen Dieter Als Schritte dahin nennt sie das Verbot rechtsextremer Parteien und Engels, Jürgen Scheffran und Ekkehard Sieker in ihrem Beitrag. das Unterbinden deren Finanzierung. Sie stellt eine Reihe von Quel- Angesichts des Krieges in der Ukraine und der Spannungen zwi- len zusammen, aus denen man sich über den Schutz vor rechtsext- schen China und den USA sei es fünf vor zwölf. remen Angriffen und Aktionsmöglichkeiten informieren kann.
Die Demokratie gegen den zunehmenden Rechtsextremismus Wir wünschen unseren Leserinnen und Lesern eine interessante zu verteidigen, fordert Dagmar Boedicker in ihrem Beitrag: und anregende Lektüre – und viele neue Erkenntnisse und Ein- forum
sichten. Wir alle, die wir gruppenbezogene Menschenfeindlich- Stefan Hügel keit nicht tolerieren, sondern den Respekt für die ande- für die Redaktion
Der Brief
Ewiger Frieden? There's no such thing as a winnable war / it's a lie we don't believe anymore (Sting, vor langer Zeit)
Liebe Freundinnen und Freunde des FIfF, liebe Mitglieder, • Der französische Präsident Emmanuel Macron fordert, auf als der Kalte Krieg anfang der 1990er-Jahre endete, hofften wir, Kriegswirtschaft umzustellen und die Produktion von Waf- dass damit auch die Zeit militärischer Konflikte an ein Ende ge- fen und Munition zu steigern. „Selbst die Entsendung von kommen sei. Wie wir heute wissen, war diese Hoffnung trüge- Bodentruppen will Macron an diesem Abend nicht aus- risch – doch im Prinzip wusste das schon Immanuel Kant: schließen, auch wenn darüber, wie er zugibt, kein Konsens in der gemeinsamen Diskussion bestanden habe.“6 Der Friedenszustand unter Menschen, die nebeneinan- der leben, ist kein Naturzustand (status naturalis), der • Von eigenen Atombomben für die Europäische Union spricht vielmehr ein Zustand des Krieges ist, d. i. wenngleich die Spitzenkandidatin der SPD für die Europawahl, Katha- nicht immer ein Ausbruch der Feindseligkeiten, doch rina Barley.7 immerwährende Bedrohung mit denselben.1 • „Der Krieg muss nach Russland getragen werden“, fordert Wurde Deutschland (und seine Nachbarstaaten) in den Jahren der CDU-Politiker Roderich Kiesewetter.8 Er forderte gleich- nach dem zweiten Weltkrieg von einem „heißen“ Krieg ver- zeitig, das Sondervermögen für die Bundeswehr auf 300 schont, bestand tatsächlich die immerwährende Bedrohung – Mrd. € zu erhöhen.9 bis hin zur atomaren Vernichtung durch einen Krieg zwischen den Machtblöcken. Wer in den 1980er-Jahren aufgewachsen • Nicht fehlen darf in dieser Aufzählung „Oma Courage“ Marie- ist, kann sich sicher noch gut an Sirenenproben, übende Tiefflie- Agnes Strack-Zimmermann.10 Zuletzt ließ sie sich mit einem al- ger über Wohngebieten, NATO-Manöver und Medienberichte bernen Stierkopf auf dem T-Shirt ablichten, um für die Lieferung über eskalierende Atomrüstung erinnern – in dieser Zeit und un- von Taurus-Marschflugkörpern in die Ukraine zu werben.11 ter dieser Bedrohung wurde bekanntlich 1984 auch das FIfF ge- gründet.2 Doch was wollen wir eigentlich unter Kriegstüchtigkeit verste- hen? Versuchen wir es in drei Dimensionen: Dieser Konfrontation der Machtblöcke war mit dem Fall des ei- sernen Vorhangs scheinbar vorbei – doch seit Bundeskanzler • Mentale Kriegstüchtigkeit – die Menschen müssen auf mi- Scholz in der Folge des Angriffs Russlands auf die Ukraine die litärische Eskalation geistig vorbereitet werden, sie für not- Zeitenwende ausgerufen und Bundesverteidigungsminister Pisto- wendig halten oder gar wollen. Hier wurden bereits in der rius den Begriff der Kriegstüchtigkeit3 in die Welt gesetzt hat, hat Vergangenheit große Erfolge erzielt. Es ist wohl davon auszu- man immer mehr den Eindruck, dass sich Politiker:innen und Leit- gehen, dass die Techniken der Propaganda (a. k. a. Politische medien gegenseitig in ihren eskalierenden Statements – gepaart Kommunikation) im Lauf der Jahre deutlich verfeinert und mit dem Aufbau eines Feindbilds Russland4 – übertreffen wol- perfektioniert wurden und werden12 – auch bei Kindern.13 len. Aussagen von Donald Trump zur Zukunft der NATO5 schei- nen regelrechte Panik auszulösen. Einige Beispiele aus den letz- • Physische Kriegstüchtigkeit – Menschen, die willens und fä- ten Tagen: hig sind, den Krieg zu führen und deren technische Ausstat-
4 FIfF-Kommunikation 1/24 tung. Vorschläge, Wehrkunde als Schulfach14 und eine allge- 7 Barley bringt eigene EU-Atombomben ins Gespräch, Spiegel online, meine Musterung für den Wehrdienst15 einzuführen, wären https://www.spiegel.de/politik/deutschland/katarina-barley-spd- erste Schritte in diese Richtung. spitzenkandidatin-fuer-die-europawahl-bringt-eu-atombomben-fuer- europaeische-armee-ins-gespraech-a-263da72d-c631-4bfa-aa1d-94- • Finanzielle Kriegstüchtigkeit – Finanzielle Mittel, um die f9f77cb8cc Kriegstüchtigkeit herzustellen. Dafür gibt es das 2 %-Ziel der 8 Naumann F (2024) „Krieg muss nach Russland getragen werden“: NATO, Sondervermögen im deutschen Grundgesetz und CDU-Experte fordert Eskalation – gegen den Worst Case, FR online, Forderungen nach einer Kriegswirtschaft. Die akquirierten https://www.fr.de/politik/ukraine-waffen-deutschland-forderung- Mittel werden großzügig ausgegeben – leidet die Bundes- appell-kiesewetter-cdu-russland-krieg-putin-zr-92825380.html
forum wehr womöglich nicht an Geldmangel, sondern an dessen 9 CDU-Verteidigungspolitiker will 300 Milliarden Euro für Bundeswehr, Verschwendung?16 Die Akzeptanz für eine höhere Finanzie- Zeit online, https://www.zeit.de/politik/deutschland/2024-02/rode- rung der Bundeswehr – auch auf Kosten von Einsparungen rich-kiesewetter-verteidigung-bundeswehr-sondervermoegen- in anderen Bereichen – liegt laut einer Umfrage bei 72 %.17 nato-donald-trump 10 Zippel T (2023) Abgehoben im Kampfjet: Bundeswehr führt Sonderflug Mit manchen Statements und Forderungen werden (noch) rote Li- für FDP-Politikerin durch. Ostthüringer Zeitung, https://www.otz.de/ nien überschritten – es ist gut, dass Bundeskanzler Scholz vernünf- politik/abgehoben-im-kampfjet-bundeswehr-fuehrt-sonderflug-fuer- tig bleibt und sowohl die Lieferung der Marschflugkörper Taurus fdp-politikerin-durch-id239341153.html nach wie vor ablehnt18 als auch Macron hinsichtlich der Boden- 11 Wieduwilt H (2024) Politikerin trägt Kriegsbotschaft auf einem T-Shirt truppen in der Ukraine widerspricht.19 Katharina Barley ruderte – ist das stimmig? n-tv, https://www.n-tv.de/politik/politik_ beim Thema Atomwaffen schnell zurück. Doch all diese Verlautba- wieduwilts_woche/Politikerin-traegt-Kriegsbotschaft-auf-einem-T- rungen tragen zu einer Diskursverschiebung bei und erweitern den Shirt-ist-das-stimmig-article24759493.html Bereich des sagbaren. Man wird das doch einmal sagen dürfen! Ja, 12 Tögel J (2023) Kognitive Kriegsführung. Neueste Manipulationstechni- darf man, aber wir müssen uns entschieden dagegen stellen. ken als Waffengattung der NATO, Frankfurt am Main: Westend 13 Ich bin ein großer Verfechter des öffentlich-rechtlichen Rundfunks. Wenn es Pflicht, wenn zugleich gegründete Hoffnung da Ein besonders verstörendes (oder gar: widerliches) Beispiel scheint mir ist, den Zustand eines öffentlichen Rechts, obgleich nur in dennoch der Videoclip „Kein Taurus für die Ukraine?“ (https://www. einer ins Unendliche fortschreitenden Annäherung wirk- youtube.com/shorts/kgsVFZXnkAE) zu sein. Mein Versuch, das als lich zu machen, so ist der e w i g e F r i e d e , der auf die Satire zu verstehen, ist leider gescheitert. Ein Kommentar dazu findet bisher fälschlich sogenannte Friedensschlüsse (eigentlich sich z. B. bei Voges C (2024) ZDF-Waffenkunde für den Nachwuchs: Waffenstillstände) folgt, keine leere Idee, sondern eine Taurus? Na „logo“?, Telepolis, https://www.telepolis.de/features/ZDF- Aufgabe, die, nach und nach aufgelöst, ihrem Ziele (weil Waffenkunde-fuer-den-Nachwuchs-Taurus-Na-logo-9643868.html die Zeiten, in denen gleiche Fortschritte geschehen, hof- 14 Alan Posener (2022) Für Wehrkunde im Schulunterricht, Zeit online, ht- fentlich immer kürzer werden) beständig näher kommt.20 tps://www.zeit.de/gesellschaft/schule/2022-06/wehrkunde-schule-un- terricht-armee/komplettansicht. Zuletzt wurden von Bildungsministerin Lasst uns gemeinsam um friedliche Lösungen ringen. Militärische Stark-Watzinger ähnliche Vorschläge gemacht: https://www.tagesschau. Eskalation hat selten in der Geschichte etwas Gutes bewirkt. de/inland/gesellschaft/schulen-katastrophenschutz-100.html 15 Wehrbeauftragte Högl bringt Rückkehr der Musterung ins Spiel, Spie- Mit FIfFigen Grüßen gel online, https://www.spiegel.de/politik/deutschland/bundeswehr- Stefan Hügel eva-hoegl-bringt-rueckkehr-der-musterung-ins-spiel-a-10b712ef- 2ece-48b1-8775-c7b50bdce875 16 Gebauer M (2024) Rechnungshof rügt geplanten Milliardendeal für neue Soldatenkopfhörer, Spiegel online, https://www.spiegel.de/ Anmerkungen politik/deutschland/rechnungshof-ruegt-geplanten-milliardendeal- 1 Kant I (1984 [1781]) Zum ewigen Frieden. Stuttgart: Reclam, S. 10 fuer-neue-soldaten-kopfhoerer-a-90e70e6e-da96-4184-9fc7- 2 Damit begeht auch das FIfF in diesem Jahr sein 40-jähriges Bestehen, 9967b2040667 was im weiteren Verlauf des Jahres noch zu feiern sein wird … 17 Das ergab eine Erhebung von statista im Februar 2024: https:// 3 Es fällt auf, dass Pistorius von Kriegstüchtigkeit – nicht etwa von Ver- de.statista.com/statistik/daten/studie/967899/umfrage/umfrage-zu- teidigungstüchtigkeit – gesprochen hat. ausgaben-fuer-bundeswehr-und-verteidigung-in-deutschland/. Ob 4 Strack-Zimmermann: Bundeswehr braucht ein Feindbild. 31. Mai daraus auch die Bereitschaft zum eigenen Verzicht folgt, also – bei- 2022, dpa-Newskanal zit. nach sueddeutsche.de, spielsweise – die gerade demonstrierenden Landwirte auf die Subven- https://www.sueddeutsche.de/politik/verteidigung-strack- tionierung des Diesels zu Gunsten der Bundeswehr verzichten würden, zimmermann-bundeswehr-braucht-ein-feindbild-dpa.urn-newsml- wurde nicht erhoben. dpa-com-20090101-220531-99-497796 18 Scholz begründet Ablehnung der Taurus-Lieferung, Spiegel online, 5 Deutsche Politiker entsetzt über Trump-Äußerung zur Nato, Spiegel https://www.spiegel.de/politik/deutschland/ukraine-olaf- online, https://www.spiegel.de/politik/deutschland/donald-trump- scholz-begruendet-ablehnung-der-taurus-lieferung-a-3a43bb97- und-die-nato-aeusserung-deutsche-politiker-entsetzt-a-a1200f43- 3709-4e24-80c9-dafb6ca2de75 0391-474f-891d-4d271d172cfe 19 Scholz stellt sich gegen Macron-Äußerungen über Bodentruppen, Spie- 6 Sandberg B (2024) … und dann spricht Macron über Bodentruppen, gel online, https://www.spiegel.de/politik/deutschland/ukraine-krieg- Spiegel online, https://www.spiegel.de/ausland/ukraine- olaf-scholz-stellt-sich-gegen-aeusserungen-von-emmanuel-macron- unterstuetzerkonferenz-in-paris-was-laesst-sich-tun-fuer-die-ukraine- ueber-bodentruppen-a-10557ca4-169b-4a34-a505-52fa965b8147 a-91cd3550-97ff-43d0-b200-f70893a325e4 20 Kant I (1984 [1781]) a. a. O., S. 56
FIfF-Kommunikation 1/24 5 Eva Hornecker, Stefan Hügel, Sylvia Johnigk, Constanze Kurz, Kai Nothdurft, Jens Woinowski und andere, die Peter geschätzt haben
Nachruf auf Peter Bittner Wir trauern um unser Beiratsmitglied Es gab wohl niemand im FIfF, der oder die Peter nicht schätzte und mochte. Als Grenzgänger zwischen den Disziplinen hat er in und zwischen Informatik, Wirtschaftswissenschaften, Philosophie und Soziologie gearbeitet. Als wissenschaftlicher Mitarbeiter be- schäftigte er sich mit der Ethik und Profession der Informatik, arbeitete zu gesellschaftlichen, politischen und juristischen Fragen der forum
Informatik, zur informationellen Selbstbestimmung und Überwachungstechniken (mit dem Schwerpunkt auf Videoüberwachung und Biometrie). Viele seiner Arbeiten bündelte er in einem Entwurf einer Kritischen Theorie der Informatik. Er lehrte an den Technischen Universitäten Kaiserslautern und Darmstadt, der Humboldt-Universität zu Berlin sowie an der Berufsakademie Berlin. Daneben be- treute er Studierende an der Hochschule München. Als IT-System-Berater konfigurierte er ERP-Systeme und entwickelte Betriebs-, Datenschutz- und Sicherheitskonzepte. Als Berater für Betriebsräte kämpfte er für datenschutzgerechte IKT-Systeme in den Betrieben und den Beschäftigtendatenschutz. Er war zehn Jahre im Bundesvorstand des FIfF und bis zuletzt Mitglied des Beirats.
Das FIfF dankt ihm für seine fachkundige und selbstlose Tätigkeit für den Verein.
Universitäten und FIfF-Regionalgruppen
Peter studierte von 1987 bis 1996 Informatik mit Nebenfach Wirtschaftswissenschaften an der Universität Kaiserslautern. Be- gleitende Studien in Mikroelektronik, Berufspädagogik und Phi- losophie ergänzten sein Studium, insbesondere hatte er großes In- teresse an Technikfolgenforschung und Technikphilosophie/-ethik und informationeller Selbstbestimmung. Dazu war er aktiv in der Fachschaftsarbeit. Über diesen Weg haben ihn einige von uns dann auch kennen gelernt – 1992 beim Datenschutz-Arbeitskreis auf der KIF 20,0 in Rostock. Er nahm 1993 als Student zusammen mit mehreren anderen Kiffeln und weiteren Studierenden auch an einem Teapot genannten intensiven, privat organisierten Wochen- endseminar mit Wilhelm Steinmüller teil, das Peters Interesse am Themengebiet Informatik und Gesellschaft vertiefte.
An der TU Darmstadt war er von 1996 bis 2001 wissenschaft- licher Mitarbeiter am Zentrum für Interdisziplinäre Technik- forschung (ZIT) und von 1998 bis 2001 Kollegiat im Gradu- iertenkolleg Technisierung und Gesellschaft am Fachbereich Jens Woinowski erinnert sich nicht nur an diese seriösen Un- Geschichts- und Gesellschaftswissenschaften. ternehmungen, sondern auch an Erlebnisse in der Darmstädter WG. Wie die Idee, Peperoni mit Knoblauch zu braten: Die FIfF-Regionalgruppe Darmstadt, in der Peter sehr aktiv war, hat die Jahrestagung 1998 unter dem Motto Mensch – Informa- „Wir hatten eine verdammt scharfe Version von Pepe- tisierung – Gesellschaft organisiert. Im November 2023 war das roni erwischt und saßen nach den ersten Bissen erst mal 25 Jahre her. Was wir damals Informatisierung genannt haben, etwas ratlos in unserer WG-Miniküche. Unsere Rettung dürften heute viele unter dem Schlagwort Digitalisierung wie- war die Packung Toastbrot, die wir dann innerhalb we- dererkennen. Wenn man durch den Tagungsband stöbert, den niger Sekunden intus hatten.“ Peter mit herausgegeben hat, findet man einiges, was immer noch relevant ist. Ein paar Schlagworte aus den Key Notes von Von Oktober 2001 bis September 2006 arbeitete Peter als wis- Rafael Capurro und Christiane Floyd sind zum Beispiel Cyber- senschaftlicher Mitarbeiter bei Prof. Wolfgang Coy in der AG kultur, Vernetzung als Lebenskunst, Virtualisierung des Selbst, Informatik in Bildung und Gesellschaft an der Humboldt-Uni- Verproduktung und Mediatisierung des Selbst und Zusammen- versität zu Berlin (HU). 2006/2007 war er Lehrbeauftragter an wirken von Menschen und intelligenten Agenten. Was weder der HU Berlin (Datenschutz) und an der Berufsakademie Berlin Peter noch die Vortragenden damals so vorhergesehen haben (DV-Recht). Ab 2008 arbeitete er in wechselnden Funktionen an dürften, waren einige der düsteren Aspekte des noch jungen mehreren Hochschulen und als betrieblicher Datenschutzbeauf- Internet, wie die Verrohung der sogenannten sozialen Medien. tragter, seit 1995 auch als Mitglied im Berufsverband der Daten- Auch das Phänomen der alternativen Fakten gehört, wie eine schutzbeauftragten Deutschlands (BvD). Er arbeitete u. a. in der dialektische Antithese zur Informatisierung, zu den Dingen, die DGB-Technologie-Beratungsstelle in NRW und bildete als Sach- vielleicht auch Peter überrascht haben. verständiger Betriebsräte zum Datenschutz weiter.
6 FIfF-Kommunikation 1/24 Aus Treffen der Regionalgruppe Rhein-Main ergab sich u. a. ein schen Union zu den Themenbereichen Videoüberwachung, Bio- Interview mit der Zeitschrift Testcard in der Apfelweinwirtschaft metrie und Datenschutz, mit Digitalcourage (damals als FoeBuD Frank in Frankfurt.1 Peter hat zahlreiche Vorträge beim FIfF, dem bekannt) in der Jury der Big Brother Awards, den Negativ-Prei- CCC und anderen gehalten und viel publiziert. Ein paar Vor- sen für Datenkraken. schläge zum Nachlesen siehe unten. Sein umfassendes technisches Wissen hat er übrigens auch in das Design von Bällen für Bahnengolf investiert, profan Minigolf FIfF-Tagungen genannt. In jüngeren Jahren spielte er in der Hessischen Ama- teurliga und besaß einen Koffer mit Bällen (hundert oder mehr).
forum Von 1995 bis 2005 war Peter im Vorstand, von 2001 bis 2005 als stellvertretender Vorsitzender. Lange hat er sich gewissenhaft um die ungeliebten Finanzen gekümmert und für viele FIfF-Ak- Zum Nachlesen tivitäten Verantwortung (und Arbeit) übernommen. Einige Vor- standssitzungen in Berlin fanden in Peters Dachgeschosswoh- Wolfgang Coy et al. (2013) Informatik in Bildung und Gesellschaft. nung statt. Ein paar Mal kam auch Joseph Weizenbaum, damals https://www.yumpu.com/de/document/view/9894766/ Ehrenmitglied im Vorstand, zu diesen Berliner Treffen. Peter war informatik-in-bildung-gesellschaft-informatik-in-bildung-und- gastfreundlich. Dagmar Boedicker erinnert sich an seine winzige (abgerufen 12.01.2024) Wohnung – die muss in Darmstadt gewesen sein. Mehr als die Hälfte dieser Wohnung gehörte seinen Büchern, aber für Über- Peter Bittner, Stefan Hügel, Hans-Jörg Kreowski, Dietrich Meyer- nachtungsgäste war immer Platz. Ebrecht, Britta Schinzel Hg. (2014) Gesellschaftliche Verantwor- tung in der digital vernetzen Welt, Münster: Lit-Verlag mit Bei- 2002 wurde Peter Mitglied der GI-Arbeitsgruppe Verantwor- trag: Peter Bittner, Eva Hornecker (2014) A Micro-Ethical View tung innerhalb der Fachgruppe Informatik und Gesellschaft und on Computing Practice, S. 189-204 wirkte an den ethischen Leitlinien der Gesellschaft für Informatik mit, die die Fachgruppe als Präsidiumsarbeitskreis überarbeitete Peter Bittner: Unser aller Profession gib uns heute … oder die (veröffentlicht 2003)2. Danach blieb er aktiv in der Fachgruppe Frage nach einer mäeutischen4 Informatik. In: F. Nake, A. Rolf, Ethik und Informatik der GI. Aus dieser Zeit stammen eine Reihe D. Siefkes (Hrsg.): Wozu Informatik? Theorie zwischen Ideolo- von Veröffentlichungen zu ethischen Fragen in der Berufspraxis gie, Utopie und Phantasie. Berlin, 2002, S. 42-45. der Informatik und zu Informatik als Profession. 2004 richtete er maßgeblich die Tagung zum 20. Jubiläum des FIfF in Adlershof Peter Bittner, Jens Woinowski Hg. (1999) Mensch – Informati- in Kooperation mit der GI aus: 20 Jahre FIfF – ReVisionen kriti- sierung – Gesellschaft, Münster: Lit-Verlag scher Informatik. Es war eine umfassende Tagung, bei der u. a. der damals aktuelle World Summit on the Information Society Beiträge und Schwerpunkte für die FIfF-Kommunikation, bei- (WSIS) behandelt wurde. Und es war die einzige FIfF-Konfe- spielsweise Kritisch studieren … und dann? (1/2000 mit Eva renz, die vier Tage von Donnerstag bis Sonntag stattfand. Hornecker), Lächeln … gleich kommt das Vögelchen. Gedanken zur Videoüberwachung (1/2002, mit Hardy Frehe, Julia Stoll, Mit dem Tagungsband zur Jahrestagung 1998 begann die Reihe Jens Woinowski), 4/2003 zu Softwarepatenten gemeinsam mit Kritische Informatik im Lit-Verlag. Den achten Band Gesell- Sabrina Geißler, Digital Rights Management und Alternativen schaftliche Verantwortung in der digital vernetzten Welt hat 4/2003 mit Volker Grassmuck. Und 4/2012 Theorien der In- Peter wieder, zusammen mit einigen anderen bekannten FIfFer- formatik – allgemein, handlungsorientiert, mäeutisch, 3/2013 lingen, im Jahr 2014 herausgegeben. Das war der Jubiläums- Wenn der Mensch vermessen zur Informatik wird …über Bio- band zum 30-jährigen Bestehen des FIfF.3 Leider wird Peter das metrie im Masseneinsatz und ihre Grenzen, 2/2014 Videoüber- 40. Jubiläum nicht mehr mit uns feiern können. wachung durchschauen, …
Befreundete Organisationen Anmerkungen Constanze Kurz vom CCC hat Peter an der Humboldt-Universität 1 Waltraud Blischke (2014) Bugs, Big Data und die UnverNETZbaren. (wahrscheinlich 2005) kennen und wie viele andere als sehr zuge- Ein Gespräch mit Peter Bittner, Stefan Hügel und Julia Stoll vom FIfF. wandten, hilfsbereiten und humorvollen Kollegen schätzen gelernt: testcard – Beiträge zur Popgeschichte, #24: Bug Report. Digital war besser, Mainz „Er war ein Netzwerker, Organisator und kannte sich in 2 Aktuelle Fassung unter https://gi.de/ueber-uns/organisation/unsere- seinen Themenfeldern hervorragend aus, nicht nur in- ethischen-leitlinien (abgerufen 12.1.24) haltlich, sondern auch, was die forschenden und akti- 3 Links zur Reihe Kritische Informatik: https://www.lit-verlag.de/ vistischen Menschen anging. Wir haben mehrere Semi- isbn/978-3-643-12876-8 und https://www.lit-verlag.de/isbn/978-3- nare zusammen gestaltet, was eine große intellektuelle 8258-3930-3 (abgerufen 12.1.24) Freude war.“ 4 (griechisch Hebammenkunst) „… die sokratische Methode, durch geschicktes Fragen die im Partner schlummernde, ihm aber nicht be- Auch in anderen Kooperationen des FIfF setzte Peter sich klug wussten richtigen Antworten u. Einsichten heraufzuholen.“ (Duden. und erfolgreich ein, so in der Zusammenarbeit des AK Video- Das Fremdwörterbuch. 2001. 7. Aufl. Dudenverlag. Mannheim – Wien überwachung mit anderen Organisationen wie der Humanisti- – Zürich)
FIfF-Kommunikation 1/24 7 Marie-Theres Tinnefeld
Weizenbaum: Herkunft, Forschung, Vision Der Universalgelehrte und professionelle Jurist Gottfried Wil- seiner jüdischen Familie 1936 in die USA seit 1996 wieder leben helm Leibniz zeichnete – wie schon Platon im Protagoras (So- und 2008 sterben. Sein Blick richtete sich in Deutschland nicht phistiae) zuvor – den Menschen als Mängelwesen, das ohne auf seine jüdische Vergangenheit in Deutschland, also nicht nach Technik, ohne Gestaltung der Welt zur Lebenswelt nicht le- „rückwärts“, sondern immer auf die Gestaltung der Zukunft.9 bensfähig ist.1 Die moderne Welt wird von der Computertech- nik bestimmt, die Leibniz federführend mitentwickelt hat.2 Er ist Weizenbaums besondere Bedeutung als Informatiker war mit ei- forum
u. a. Erfinder der Binärzahlen, die die Grundlage für völlig neue ner moralischen Idee verbunden: der des Friedens. Der Idee einer Reichweiten des Computers bilden. Der Mathematiker Leibniz „Friedensinformatik“ widmete er sich auch in Zusammenarbeit erkannte deren „grundsätzliche Bedeutung für eine Formalisie- mit dem Forum Informatikerinnen für Frieden und gesellschaftli- rung aller Wissens- und Wissenschaftsbereiche“ und kann als che Verantwortung e. V. (FifF), das er mitbegründet hat.10 Ahnherr der Informationstechnologie bezeichnet werden3, die aktuell mit Fragen der Künstlichen Intelligenz verbunden wird. Nach dem Menschheitsverbrechen, dem Holocaust, darf es in Deutschland keinen Riss mehr zwischen Juden und Nichtjuden Leibniz glaubte wie viele seiner Zeitgenossen, dass die technolo- geben. Und dennoch breitet sich in diesem Land eine erneute gischen Gegebenheiten in einem göttlichen Heilsplan begründet „Expansion des Antisemitismus in allen Tönen und Gesichtern sind. Heute wird angesichts der neuen technischen Möglichkei- der Niedertracht und des Menschenhasses“ aus.11 Die Einstel- ten dagegen nach der Verantwortung des Menschen gefragt, lung rechtsextremer Kreise in Deutschland hat fatale Folgen für die sich bei entstehenden Defiziten an Steuerungsfähigkeit und Juden in Deutschland und der Welt. Endlich gehen heute tau- grundrechtlicher Legitimation zeigen. Ist es zutreffend, dass eine sende von Deutschen auf die Straße und protestieren gegen den Gefährdung der Autonomie des Menschen immer an den Men- Rechtsextremismus, für Frieden und für eine offene Demokratie, schen selbst liegt? Wird die Technik nicht überschätzt? Und trägt in der kein Platz für Antisemitismus ist. Die sprengende Kraft des nicht gerade der Informatiker für die so bezeichnete „Künstliche Antisemitismus zeigte sich ungebremst in Israel am 7. Oktober Intelligenz“ oder KI (Artificial Intelligence oder AI) Mitverant- 2023 durch den brutalen Terrorangriff der Hamas. Vor diesem wortung?4 Hintergrund ist auf ein neues Werk der israelischen Schriftstel- ler Moshe Zimmermann und Moshe Zuckermann zu verweisen, Mit Blick auf Bilder vom Menschen hat sich der Mathematiker die in den Ruf nach Frieden für Israel die palästinensische Zivil- und Informatiker Joseph Weizenbaum mit den Folgen neuer bevölkerung einbeziehen und Solidarität mit einem demokrati- Technologien befasst.5 Denn das Konzept von Menschenbildern schen Israel ohne Abspaltung der palästinensischen Zivilbevöl- schließt Fragen darüber ein, welcher Wert Menschen zugemes- kerung fordern.12 sen wird, worin ihre Aufgabe und ggf. auch ihre Verantwortung angesichts des technologischen Fortschritts und der jeweiligen Kultur- und Religionsgeschichte gesehen werden kann. So wies Informatiker, Fragen der Verantwortung Weizenbaum eindringlich daraufhin, dass die Frage menschli- cher Verantwortung keine technische, sondern eine gesell- Als Pionier der Computer Science gehörte Weizenbaum zu den schaftliche Frage ist. Und er kritisierte, dass unsere Gesellschaft scharfen und phantasievollen Kritikern seines Fachs. Der Über- zwar Technik entwickelt, aber die Verantwortung dafür verwei- gang vom vernünftigen Urteil zur schieren Berechnung, ja die gert oder sie so verteilt, dass „niemand“ sie wahrnimmt.6 Ersetzung des menschlichen Urteils durch die Entscheidung, die an einen Computer delegiert wird, ist das Grundthema seiner Das Projekt „Verweigerung“ erinnert an den Ausspruch des Kritik der Gesellschaft.13 Im Dialog mit Gunna Wendt vermit- Schreibers Bartleby, einem Helden von Herman Melville, dem telte Weizenbaum ein Bewusstsein selbstbestimmter Freiheit bis Verfasser des legendären Moby Dick. Das Motto dieses Schrei- hin zum Tod.14 bers, der eine Art Kafka-Figur ist, war: „I would prefer not to.“7 Macht sich der Schreiber damit unangreifbar, unzugänglich? Weizenbaum selbst hat von 1964 bis 1966 in der Abteilung Bedeutet sein Verhalten Stillstand? Ein Denken und Agieren in Physik am Massachusetts Institut of Technology (MIT) ein Com- Kontexten wären jedenfalls bei Bartleby unvorstellbar. puterprogramm entwickelt, mit dem sich Menschen über eine Fernschreibkonsole auf englisch „unterhalten“ konnten. Dabei Für Weizenbaum aber ist Wissen, Wahrheit und Bedeutung nur handelte es sich um die Anfänge eines natürlich-sprachlichen Di- in entsprechenden Kontexten zu verstehen.8 So ist auch Techno- aloges. Das Programm gestaltete Weizenbaum nach dem The- logie immer nur im sozialen und kulturellen Kontext zu begrei- aterstück von Bernard Shaws Pygmalion und nannte es Eliza.15 fen. Im Folgenden soll versucht werden, Herkommen und Denk- Das Stück bezieht sich auf den antiken Mythos von Pygmalion, räume von Joseph Weizenbaum zu skizzieren. auf die Metamorphosen von Ovid16, auf den Wandel der Ge- sellschaft, und die Verwandlung der Welt bzw. der Menschheit durch technische und andere Prozesse. Deutscher, Amerikaner, Jude Eliza parodierte psychotherapeutische Gespräche, in dem das Joseph Weizenbaum wurde 1923 als Sohn eines Kürschners in Programm Sätze aufnahm und umformulierte wie etwa „Tut Berlin geboren. In diese Stadt sollte er nach der Emigration mit mir leid, zu hören, dass Sie heute depressiv sind“. Weizenbaum
8 FIfF-Kommunikation 1/24 selbst war überrascht, dass die Mensch-Maschine-Kommunika- der Weltsicht von Weizenbaum, der den Menschen nicht in Seg- tion so überzeugend simuliert werden konnte, dass Menschen mente zerlegte, sondern immer in seiner Ganzheitlichkeit be- dem sprechenden Computer vertrauliche Informationen offen- trachtete. „Ohne den Mut, den Welten in uns und außerhalb barten. Inhalt ist damals wie heute die Frage, ob leblose Ob- uns entgegenzutreten, ist eine solche Ganzheitlichkeit unmög- jekte, algorithmengesteuerte Roboter menschenähnlich sind lich zu erreichen.“22 So das Frühwarnsystem Weizenbaums! oder gar zu menschlichen Subjekten werden können. So hält beispielsweise der Bestsellerautor Yuval Harari die Vorstellung, Die Publizistin Rachel Salamander zitiert in ihrer Rede bei ihrer dass den Menschen unüberwindliche Grenzen, Tabus, vorge- Verleihung der Moses-Mendelssohn-Medaille den Namensge- geben sind, für eine verblassende Fiktion. Denn die Menschen ber der Medaille, den jüdischen Aufklärer Mendelssohn. Er habe
forum seien dabei, anorganisches Leben zu schaffen. Dadurch würden nach der Überlieferung auf die Frage eines preußischen Offi- menschliche und nichtmenschliche Akteure zu hybriden Hand- ziers, welchen Handel bzw. welches „Schachern“ er betreibe, lungseinheiten zusammengefasst.17 geantwortet: „Ich handle mit Vernunft!“23 Dieses Diktum be- zieht sich jenseits von Zeit und Raum auf den Menschen als Ver- Weizenbaum bestand entschieden darauf, dass technologische nunftwesen und entspricht damit dem Inhalt der universalen Entwicklungen, die das Leben von Menschen im Kern verändern Menschenrechte. können, von keinem Menschen verantwortet werden können. Joseph Weizenbaum war überzeugt, dass der Mensch durch Die Verkettung von Herkunft, Aussehen und Beruf mit negati- „maschinelles Denken“ nicht voll erfasst werden kann, ihm be- ven Vorurteilen gehörten zur antisemitischen Konsensgeschichte stimmte Denkakte vorbehalten bleiben müssen.18 Er war über- des deutschen Kaiserreichs.24 Sie erzeugten und erzeugen Ab- zeugt davon, dass der Mensch auch in Grenzsituationen die He- lehnung und Feindbilder. Es kann mit Marcel Reif nur wiederholt bel der Technik verantwortungsbewusst in der Hand behalten werden: „Sei ein Mensch!“ Öffne die Fenster menschenrecht- muss. licher Aufklärung! Die sich in Sozialen Netzwerken ausbreiten- den algorithmengesteuerten Desinformationen, Fake News und Für Weizenbaum stand die einzelne Person mit ihren vielfälti- Hate-Speeches gegen Juden setzen auf alte Vorurteile und sind gen Eigenschaften und widersprüchlichen Neigungen, die Ein- weder mit den Grund- und Menschenrechten auf Meinungs- zigartigkeit eines jeden menschlichen Wesens im Zentrum seines und Kunstfreiheit vereinbar noch achten sie die Menschen- Denkens.19 Er wandte sich damit gegen die verbreitete Lehre würde, die den menschlichen Umgang mit dem Fremden und von der „Ohnmacht des Einzelnen“. Mit seinem Insistieren dar- kulturell Andersdenkenden einschließt. auf, dass „die Ohnmacht des einzelnen eine gefährliche Illusion sei“, appelliert er an die Chance des Menschen, „sich selbst als Joseph Weizenbaum trug an seiner linken Hand immer einen handlungsfähiges Wesen zu begreifen“.20 Und er betonte, dass Ring mit dem Davidstern, der wohl als ein Signal für Freiheit Zivilcourage immer, auch in „kleinen“ Situationen Mut braucht, und Toleranz gedeutet werden kann. Es ist anzunehmen, dass es um Ängste zu überwinden21, um aktuell und ganz konkret ge- dem Denken Weizenbaums entsprechen würde, dass sich Bür- gen den wachsenden Antisemitismus anzugehen, sich vom ge- gerinnen und Bürger mit Zivilcourage für die Redefreiheit, ins- schlossenen zum offenen Menschenbild im Sinne der Erklä- besondere auch für die grundrechtlich garantierte Freiheit der rung der Allgemeinen Menschenrechte zu bewegen. Die ersten Meinungsäußerung auch der Deutschen einsetzen würde, die Worte der UN-Menschenrechtsdeklaration lauten: „Alle Men- jüdische Vorfahren haben. Gerade diese Personen werden heute schen werden frei geboren, mit gleicher Würde und gleichen häufig bei ihrer kritischen Auseinandersetzung mit der derzeiti- Rechten.“ gen israelischen Regierung als „Antisemiten“ abgestempelt. Ist es nicht zynisch, dass ein Zweifel an der Verhältnismäßigkeit des Krieges der israelischen Regierung als antisemitisch und damit Sei ein Mensch als diskriminierende Einstellung bezeichnet wird?25 Wird mit ei- ner Kritik an der Regierung das Existenzrecht des israelischen Bei dem Holocaust-Gedenken im Deutschen Bundestag am 31. Staates in Frage gestellt? Würde es Weizenbaum nicht für eine Januar 2024 erinnerte der jüdische Redner Marcel Reif an den friedensstiftende Herausforderung halten, einen solidarischen Satz seines Vaters: „Sei ein Mensch.“ Diesen Satz habe ihm sein Zusammenhang zwischen Juden und Palästinensern zu stiften, Vater mit auf dem Weg gegeben, und zwar „in dem warmen wie es etwa schon Martin Buber versucht hat?26 Jiddisch“, das er so vermisse. Diese Aussage korrespondiert mit
Marie-Theres Tinnefeld
Prof. Dr. Marie-Theres Tinnefeld ist Juristin und Publizistin, mit zahlreichen Konferen- zen und Veröffentlichungen im In- und Ausland zum Thema Informationsrecht und europäische Rechtskultur. Sie ist Mitglied im Beirat des FIfF e. V.
FIfF-Kommunikation 1/24 9 Anmerkungen 13 Joseph Weizenbaum, Computer Power and Human Reason. From 1 Poser, Theoria cum praxis. Das Leibnizsche Akademiekonzept und die Judgement to Calculation (1976), s.a. Tinnefeld. MMR 12/2020, 799. Technikwissenschaften, in: Rechtshistorisches Journal, Bd. 15, hrsg. v. 14 Joseph Weizenbaum im Gespräch mit Gunna Wendt, Wo sind sie, die Dieter Simon, (1996). S. 167. Inseln der Vernunft im Cyberstrom, (2006). 2 Vgl. Mathematische Schriften von G.W. Leibniz, hrsg. v. C.I. Gerhardt 15 Eliza Doolittle (bekannt als „My fair Lady“) ist eine fiktive Figur, die (1849-1864) (1962). Bernard Shaw nach Ovids Pygmalion 1912 gestaltet hat. 3 Poser, ebd., S. 168. 16 Ovid, Met. 10. 243-97 berichtet von Pygmalion, König auf Zypern, 4 Manfred Broy, Zur Bewahrung unserer Autonomie vor den Automaten: Zum der sich in die elfenbeinerne Kultstatue der Göttin Aphrodite verliebt Menschenbild des Informatikers, in:Weis (Hrsg.), Bilder vom Menschen in haben soll, die diese dann lebendig werden ließ. Wissenschaft, Technik und Religion (1993) Faktum Bd. 2. (1993), S. 67ff. 17 Yuval Harari, Eine kurze Geschichte der Menschheit, aus dem Engli- forum
5 Joseph Weizenbaum, Computermacht und Gesellschaft. Freie Reden, schen von Jürgen Neubauer, 2015. hrsg, v. Gunna Wendt und Franz Klug (5. Auflage 2023.), S. 35 ff. 18 Tinnefeld, in: Tinnefeld/Buchner/Petri/Hof, Einführung in das Daten- 6 Weizenbaum, ebd., S. 33. schutzrecht (7. Auflage 2020) , Prolog XXXI m. w. N. 7 Hanjo Kesting, I would prefer not, Frankfurter Hefte, Ausgabe 7+8 19 Weizenbaum ebd., S. 33., Wendt/Klug, ebd. S. 133ff. (2019), unter: https://www.frankfurter-hefte.de/artikel/I-would- 20 Wendt/Klug, in: Weizenbaum ebd., S. 133f. prefer-not-to-278/ (zuletzt abgerufen am 30.01.2024). 21 Wendt/Klug, ebd., S. 133. 8 Weizenbaum, ebd., S. 15f. 22 Zit. nach Wendt/Klug, ebd., S. 135. 9 Wendt unter: https://www.weizenbaum-institut.de/w-100/weizen- 23 Salamander, Ich wollte Neues in die Welt bringen, SZ v. 01.02.2024, baum-auf-der-spur/ (zuletzt abgerufen am 31.01.24). Leute R2. 10 Vgl. FIfF Kommunikation 4/2023. Das Heft „Wissenschaft für den Frie- 24 Peter Schäfer, Kurze Geschichte des Antisemitismus (2. Auflage 2020). den“ ist vor allem dem Andenken an Joseph Weizenbaum gewidmet. 25 Moshe Zuckermann an Moshe Zimmermann, in, dies., Denk ich an 11 Reinhard Merkel, Zum Staunen. Heimstatt jüdischer Kultur nach dem Deutschland … (2023), S. 283f. Michael Agi, Zur Dogmatik des Ver- Völkermord: Rachel Salamanders Lebenswerk – eine beispiellose Leistung, hältnismäßigkeitsgrundsatzes im Völkerrecht der bewaffneten Konflik- ein Werk des Friedens. Eine Laudatio, SZ v. 32.01.2024 Feuilleton, 9. te und im Völkerstrafrecht (Diss. 2022). 12 Moshe Zimmermann an Moshe Zuckermann, in: dies., Denk ich an 26 Martin Buber, Ein Land und zwei Völker, hrsg. u. eingeleitet von Paul Deutschland…Ein Dialog in Israel (2023), S. 291ff. R. Mendes Flohr (3. Auflage 2018).
Rainer Rehak
Zwischen Macht und Mythos Eine kritische Einordnung aktueller KI-Narrative Bei der Veröffentlichung des interaktiven Chatbots ChatGPT durch das US-amerikanische Unternehmen OpenAI im November 2022 wurde das erste Mal eine Anwendung der künstlichen Intelligenz (KI) vorgestellt, die auch für Laien beeindruckende Ergebnisse liefert und als textbasierte Webanwendung quasi voraussetzungslos benutzt werden kann. Dadurch war es sowohl der Medienwelt als auch interessierten Akteuren aus Politik, Wirtschaft und Zivilgesellschaft – ebenso wie Privatpersonen – möglich, diese Art von Technik unmittelbar selbst auszuprobieren. Diskussionen zur aktuellen Leistungsfähigkeit und möglichen Entwicklungen dieser Tech- nologie wurden so in der Breite der Gesellschaft anschlussfähig und das Thema KI war quasi über Nacht brennend aktuell.
Obwohl es viele andere Arten künstlicher Intelligenz gibt, zeich- eingeführt, um ein Forschungsprogramm im Rahmen der Dart- nen sich an den Diskursen über die Möglichkeiten und Grenzen mouth Conference vorzustellen und dafür Forschungsgelder von ChatGPT und ähnlichen Programmen einige wiederkeh- einzuwerben.1 In dem Zusammenhang klang „Artificial Intelli- rende Narrative ab, die die gesellschaftliche Auseinanderset- gence“ natürlich vielversprechender als Automatentheorie, wie zung mit KI aktuell prägen. Der Artikel beginnt mit einer kur- das Feld zuvor hieß. In Abgrenzung zur traditionellen Automa- zen historischen und technischen Einordnung von KI-Systemen tentheorie etablierte sich alsbald ein Forschungsfeld mit dem und widmet sich anschließend einer Beschreibung und kriti- Ziel, Computer intelligence simulieren zu lassen. Während die schen Reflexion der gängigen Narrative, wie etwa Entschei- grundsätzliche Idee intelligenter Computer schon älter ist und dungs-, Wissens- und Wahrheitsfähigkeit, apolitische Neutrali- sich etwa auf die Kommunikation mit Menschen bezog2, be- tät, Demokratisierungspotenzial sowie Arbeitsplatzvernichtung schrieb intelligence nunmehr das Vorhaben, Computer so zu und gesellschaftliche Utopien/Dystopien durch KI. Der Artikel programmieren, dass sie alle möglichen Aufgaben erledigen schließt mit einem Gesamtfazit zur gesellschaftlichen Auseinan- können, die bislang nur dem Menschen vorbehalten waren.3 dersetzung mit dem Thema künstlicher Intelligenz. Um diesem Ziel näher zu kommen, bildeten sich in den folgen- den Dekaden im Wesentlichen zwei Strömungen innerhalb der Eine kurze Geschichte der KI Informatik heraus, die unterschiedliche Ansätze bei der Entwick- lung von KI-Systemen verfolgten. Einerseits entstanden die so- Der Terminus Artificial Intelligence (AI) wurde im Jahre 1955 genannten symbolischen Systeme, bei denen Informationen ex- durch US-Informatiker um John McCarthy und Marvin Minsky plizit abgespeichert und miteinander verknüpft werden (etwa
10 FIfF-Kommunikation 1/24 „Hauptstadt(Deutschland)=Berlin“). Die eingegebenen Daten „KI-Winter“ die Rede. Durch gesteigerte Rechenleistung, mas- und Zusammenhänge können dann strukturiert durchsucht und senhaft verfügbare Daten (Stichwort Big Data) und das Auf- logisch kombiniert werden. Schachcomputer etwa funktionier- kommen des Web 2.0, das es Nutzer:innen zunehmend ermög- ten lange Zeit auf diese Weise – während des Spiels wurden lichte, selbst Inhalte zu „generieren“ (Stichwort User-generated Datenbanken mit den Verläufen vergangener Schachpartien content), konnte künstliche Intelligenz ab den 2010er-Jahren je- durchsucht, um einen Zug zu ermitteln, der in Anbetracht der doch wieder von sich reden machen. Inzwischen kann KI nicht Spielsituation die eigene Gewinnwahrscheinlichkeit erhöht. Die- nur Bilder, sondern auch Texte erzeugen (man denke an auto- ser Ansatz ermöglichte später die sogenannten Expertensysteme matische Übersetzungen von Aufsätzen und Transkriptionen und Wissensdatenbanken, mit denen beispielsweise komplexe von Tonaufnahmen oder eben Chatbots). Die Qualität vieler
forum medizinische Probleme vereinfacht werden sollten, indem etwa Systeme ist mittlerweile so gut, dass sie breit genutzt werden.5 aus Symptomen und anderen Krankendaten automatisiert indi- viduelle (Differenzial-)Diagnosen erstellt werden.4 Seit jeher wurde die technische Entwicklung von künstlicher In- telligenz stets von einem Diskurs bezüglich der Möglichkeiten Andererseits und parallel dazu wurden sogenannte subsymboli- und Grenzen der jeweiligen Systeme begleitet. Im Jahr 1966 sche Systeme entwickelt, auch Machine Learning (ML) genannt, entwickelte der Informatiker Joseph Weizenbaum ein simples bei denen Informationen und Zusammenhänge nur implizit vor- Chatprogramm namens ELIZA – heute würden wir es als symbo- gehalten werden. Entsprechende Systeme sind so gestaltet, dass lische KI-Anwendung bezeichnen –, das zeigen sollte, wie ein- sich die Programmkonfiguration (etwa bestimmte Parameter im fach es ist, menschliches Verständnis zu simulieren.6 Das Pro- System) anhand von vielen Eingabedaten automatisiert so lange gramm sollte einen Gesprächspsychotherapeuten nachahmen, verändert, bis das Ergebnis in der gewünschten Qualität vor- indem es Begriffe aus den Texteingaben der Nutzer:innen in liegt. Wie das Programm letztendlich zu diesem Ergebnis ge- vorkonfigurierte Fragekonstruktionen einfügte („Was meinen langt, ist zweitrangig und lässt sich auch nicht ohne Weiteres Sie, warum X so ist?“) oder aber generische Erwiderungen aus- nachvollziehen. gab („Führen Sie das gern etwas aus.“). Die für Weizenbaum verblüffende Reaktion bestand darin, dass dem Chatprogramm Während in symbolischen Systemen logische Zusammenhänge über die Fachwelt hinaus tatsächlich Empathie und Persönlich- explizit modelliert und bei der Entwicklung in das System ein- keit zugeschrieben wurden. Diese Reaktionen machten ihn zu geschrieben werden, verläuft die Konfiguration subsymboli- einem der vehementesten Kritiker mythischer Technikgläubig- scher Systeme in vielen kleinen automatisierten Schritten. Dabei keit, übersteigerter Erwartungen an Automatisierung und der enthält das Programm am Ende eine Vielzahl komplexer sta- Tendenz, Computer zu vermenschlichen.7 Seitdem beschreibt tistischer Beziehungen, aber keine expliziten semantischen Zu- der „Eliza-Effekt“ den Hang, KI-Systemen menschliche Eigen- sammenhänge: Insofern die eingegebene Datengrundlage das schaften wie Intelligenz oder Bewusstsein zuzuschreiben, wenn hergibt, gibt es etwa bei einer textbasierten KI dann beispiels- sie nur gut genug typisch menschliche Redewendungen, Ausse- weise eine abstraktstatistische Beziehung zwischen den Worten hen oder Verhaltensweisen imitieren. „Hauptstadt“, „Deutschland“ und „Berlin“, aber diese ist nicht direkt aus den unzähligen Parametern des Systems auslesbar. Auch die wirtschaftlichen Folgen von KI wurden schon vor fünfzig Jahren diskutiert. So schrieb der Philosoph Hubert Drey- Ein aktuell viel genutzter subsymbolischer Ansatz sind die fus bereits im Jahr 1972 kritisch über den damaligen KI-Hype: Künstlichen Neuronalen Netze (KNN), die in den 1960er-Jahren „Jeden Tag lesen wir, dass digitale Computer Schach spielen, erdacht wurden und der Vernetzung von Neuronen im mensch- Sprachen übersetzen, Muster erkennen und bald in der Lage lichen Gehirn nachempfunden sind. Im Vergleich zu diesen sind sein werden, unsere Jobs zu übernehmen“8 – eine Prognose, KNN sehr stark vereinfacht, sie werden im Computer als mathe- die schon damals regelmäßig zu hören war und auch in den matische Gleichungen mit vielen Variablen abgebildet. Sie sind jüngeren Debatten eine wichtige Rolle spielt.9 also komplexe statistische Modelle, die mit sehr vielen Beispiel- daten vorkonfiguriert – „trainiert“ – werden müssen, bevor sie Diese überaus grobe Zusammenfassung soll zwei Dinge heraus- eingesetzt werden können. Ein so vorkonfiguriertes KNN heißt stellen: Einerseits hat das Feld der künstlichen Intelligenz mittler- „Modell“, kann auf neue Daten angewendet werden und darin weile so große Erfolge vorzuweisen, dass alle, die mit dem Com- automatisiert Muster detektieren oder gar neue Muster gene- puter arbeiten, auch regelmäßig KI-Systeme nutzen (ob indirekt rieren. In Bezug auf Bilddaten heißt das etwa, dass ein dafür er- in Suchmaschinen oder direkt zum Übersetzen). Andererseits zeugtes Modell bei Eingabe eines Fotos hinreichend gut detek- zeigt sich, dass die knapp 70-jährige Geschichte dieser Techno- tieren kann, ob darauf ein Affe, ein Pferd, ein Mopshund oder logie von Anfang an geprägt war von der großen Erzählung ei- keines der drei Tiere zu sehen ist. Oder das Modell könnte Bilder ner angeblich kurz bevorstehenden KI-Revolution, die alles für von Affen, Pferden beziehungsweise Mopshunden generieren. immer verändern werde10, oft mit apokalyptischem Unterton.11 So etwas ist mit symbolischen Ansätzen der künstlichen Intelli- genz nie gelungen, denn dafür müssten sämtliche Kriterien für Um in der teilweise unübersichtlichen Gemengelage von Gegen- bestimmte Tiere auf Fotos explizit definiert werden, was prak- wartsdiagnosen und Vorhersagen Orientierung zu bieten, wer- tisch unmöglich ist. den im Folgenden aktuell prominente Narrative zu künstlicher Intelligenz umrissen und diskutiert. Auf dieser Grundlage kön- Weil in den 1980er-, 1990er- und 2000er-Jahren trotz verein- nen dann sachgerechte Diskussionen über die gesellschaftspo- zelter methodischer Neuerungen konkrete Durchbrüche aus- litischen Implikationen von KI-Systemen angestoßen werden – blieben, wurde es in dieser Phase immer wieder ruhig um die über Potenziale, Gefahren, Regulierung und Gestaltung dieser künstliche Intelligenz – oft ist in diesem Zusammenhang vom Technologien.
FIfF-Kommunikation 1/24 11 Zwei Arten von KI und ein Diskurswerkzeug in etwa alles bedeuten. Auch im politischen Diskurs wird pauschal von „künstlicher Intelligenz“ gesprochen, egal, ob es um selbst- Um einzelne Narrative analysieren zu können und die Bedin- fahrende Autos, Roboterhunde, automatisierte Entscheidungssys- gungen zu verstehen, unter denen künstliche Intelligenz aktuell teme, Klimamodelle, automatisierte Arbeitsmarktvermittlungssys- gesellschaftlich verhandelt wird, müssen noch zwei Arten von teme, Tischreservierungssysteme oder smarte Verkehrsleitsysteme KI-Systemen unterschieden werden. Diese werden in Diskursen geht; beizeiten werden auch traditionelle Informatikprodukte mit zu künstlicher Intelligenz regelmäßig aufgegriffen und oft ver- dem Label versehen. Alles ist „KI“, obwohl in alledem wenig bis mischt, obwohl sie jeweils verschiedene Eigenschaften und Im- keine künstliche Intelligenz steckt. In einem aktuellen Bericht zum plikationen haben. Stand von KI in der öffentlichen Verwaltung heißt es etwa, „dass oftmals Projekte als KI-basiert bezeichnet würden, jedoch de facto forum
Erstens gibt es domänenspezifische KI-Systeme (artificial nar- konventionelle IKT-Anwendungen nutzen“.21 Aber auch in Wis- row intelligence, ANI), manchmal auch schwache KI genannt, senschaft und Wirtschaft ist jenes schwammige Verständnis an- die für einen Aufgabenbereich konzipiert und entwickelt wer- zutreffen.22 Um eine reflektierte gesellschaftliche Auseinander- den. Sie sind für bestimmte Abläufe optimiert, aber auch nur setzung mit künstlicher Intelligenz zu ermöglichen, muss dieses in diesem Rahmen überhaupt zu gebrauchen.12 Ein Programm Verständnis expliziert, mithin aufgelöst werden.23 zur energieeffizienten Klimatisierung von Rechenzentren etwa wird mit ausgewählten Lastdaten der Vergangenheit vorkonfi- guriert, sodass es den Einsatz von Kühlaggregaten je nach Be- Besprechung aktueller KI-Narrative darf wirtschaftlich regelt; es kann jedoch keine Musik-Playlist kuratieren. Ebenso wenig kann ein Schachprogramm Bilder er- Vor diesem Hintergrund können wir nun gängige Narrative zu zeugen oder eine Bildgenerator-KI mathematische Regressions- künstlicher Intelligenz umreißen und diskutieren – auf welchen An- analysen durchführen. Darum sind vermenschlichende Begriffe nahmen beruhen sie, inwieweit entsprechen diese dem aktuellen wie „selbstlernend“ unpassend.13 Alle aktuell existierenden KI- Stand der Forschung, welche gesellschaftspolitischen Implikatio- Systeme fallen zweifelsfrei in die Kategorie domänenspezifischer nen haben sie? Oftmals überschneiden und vermischen sich diese künstlicher Intelligenz, vom modernen Go-Computer über Bild- Erzählungen, sodass die folgende Darstellung nach Stichworten erkennungs- oder Übersetzungssoftware bis hin zu den großen eine analytische Trennung vornimmt, die eher einer schlaglichtarti- Sprachmodellen (large language models, LLMs) wie OpenAIs gen Analyse von Diskursen zum Thema KI als einer systematischen GPT, Googles PaLM/Bard, BAAIs WuDao oder Metas LlaMa. Darstellung ihres Gegenstands dient. Die Ausführungen stützen sich auf Erkenntnisse aus der kritischen Informatik sowie den criti- Zweitens gibt es das Konzept universeller KI-Systeme (artificial cal data and algorithm studies, der Datenschutztheorie und ferner general intelligence, AGI), manchmal auch starke KI genannt, der Philosophie des Geistes und der Semiotik. die eigenständig lernfähig seien und abstrakt denken könnten, dazu Kreativität, Motivation sowie Bewusstsein und Emotionen Autonomie/Agency – Oft wird KI-Systemen die Fähigkeit zuge- besäßen.14 In manchen Vorstellungen haben diese AGIs gera- sprochen, eigenständig „zu agieren“ oder etwas „zu entschei- dezu übermenschliche Fähigkeiten.15 Allerdings gibt es bislang den“.24 Solche Diskussionen gehen implizit von der Annahme weder eine funktionierende AGI noch belastbare Anhaltspunkte, aus, KI-Systeme seien zu selbständigem Handeln (im Gegensatz dass ein solches System mit aktuellen Computerarchitekturen etwa zu bloßem Verhalten) befähigt25 und nicht bloß (komplexe) überhaupt entwickelt werden kann.16 Zwar gibt es seit Jahr- Werkzeuge, die einen extern gesetzten Zweck umsetzen. Hand- zehnten Forschungsprojekte und Wettbewerbe in diese Rich- lungsfähigkeit impliziert jedoch eigene Intention, innere Vorstel- tung – etwa der weltbekannte Loebner-Preis, bei dem eine Ver- lung der Sachlage, einen potenziell alternativen Handlungsaus- sion des Turing-Tests zum Einsatz kommt –, doch die Ergebnisse gang, überdies ein Moment der bewussten Entscheidung und blieben bislang stets ernüchternd. Zudem haben sich die breit dann letztlich auch Verantwortlichkeit. KI-Systeme verhalten sich diskutierten AGI-Zielmarken, also welche technischen Probleme jedoch deterministisch – grundsätzlich erfolgt bei gleicher Ein- dafür gelöst werden müssen, regelmäßig verschoben. Ehemals gabe, wie bei anderen Maschinen auch, die gleiche Ausgabe.26 galt es eine Partie gegen den Schachweltmeister zu gewinnen, Ist dies nicht der Fall, wie etwa bei ChatGPT, so liegt das an ab- inzwischen ist automatische Texterzeugung der Maßstab. Viele sichtlich eingebauten Zufallsparametern und somit an Entschei- Fachleute zweifeln sogar grundsätzlich an der Möglichkeit ei- dungen bei der Entwicklung, nicht an einer vermeintlich eigenen ner allgemeinen künstlichen Intelligenz in Form eines Digital- Handlungsfähigkeit der KI. Intention und eine innere Vorstellung computers.17 Dass dennoch oft über diese Art von KI diskutiert sind gar nicht vorhanden. Solange es keine AGI gibt, sind die Er- wird, hat mit geschäftlichen Motiven wirtschaftlicher Akteure gebnisse aller KI-Systeme primär das Ergebnis von Designent- zu tun18, aber auch mit der zentralen Rolle solcher Systeme in scheidungen, gegebenenfalls inklusive Zufall oder Fehlern. Wenn Science-Fiction-Filmen, siehe etwa Samantha in ‚HER’, Data in die eingesetzten Systeme ihre Zwecke nicht erfüllen, ändern Her- ‚Star Trek’, HAL 9000 in ‚2001’, Ava in ‚Ex Machina’‚ C3PO in steller und Betreiber sie, justieren nach und korrigieren, was den ‚Star Wars’, Bishop in ‚Aliens’, T-800 in ‚Terminator’ oder auch Werkzeugcharakter solcher Systeme weiter unterstreicht. Dass dem Maschinenmenschen in ‚Metropolis’.19 Anwendungen künstlicher Intelligenz eher großtechnischen An- lagen denn einfachen Werkzeugen gleichen, ändert nichts daran, Um die schwammige Verwendung von künstlicher Intelligenz im dass ihre Charakterisierung als eigenständige Akteure von den gesellschaftlichen Diskurs zu charakterisieren, schlage ich den Be- tatsächlich verantwortlichen Organisationen (Firmen, Behörden griff der Zeitgeist-KI vor.20 In dem Zusammenhang kann der Be- etc.) ablenkt, die diese Systeme für ihre eigenen Zwecke pro- griff KI dann von Big Data und Statistik über Software, IT, Digitali- grammieren oder kaufen und einsetzen. Autonomie – in einem sierung, Algorithmen, Roboter, Apps und IKT bis hin zum Internet bedeutsamen Sinn – haben diese Systeme daher keine.27
12 FIfF-Kommunikation 1/24 Wahrhaftigkeitsanspruch – Aktuelle KI-Systeme können weder Vorhersagen – KI-Systeme können formale Muster und Abhän- lügen noch hochstapeln. Selbstverständlich können die Aussa- gigkeiten von Variablen in vorhandenen Datensätzen detektie- gen falsch sein (und das sind sie auch oft28), aber eine Lüge im- ren, seien es Wetter-, Geschäfts- oder Verhaltensdaten. Diese pliziert das Wissen um die Wahrheit und eine absichtliche Ab- Muster beziehen sich notwendigerweise immer auf die Vergan- kehr davon. Gleichermaßen impliziert Hochstapelei das Wissen genheit, können aber statistisch ausgewertet und mathematisch um die eigene Identität und ein absichtliches Vorspielen einer in die Zukunft projiziert werden. Inwiefern das dann aber als Vor- anderen. KI-Systeme können keine Wahrheitsansprüche erhe- hersage im eigentlichen Sinne taugt, hängt vom Gegenstandsbe- ben, weil sie genau das ausgeben, was Modellarchitektur und reich ab. Sind es Daten und Abhängigkeiten, die physikalischen Daten vorgeben. Sie können daher auch nicht achtlos Unsinn Gesetzen unterliegen, etwa Wetterdaten, kann das funktionie-
forum reden, strategisch manipulieren oder bewusst ablenken, denn all ren. Sind es hingegen soziale Daten, erzeugen solche Vorberech- dies würde mindestens einen inneren Zustand, eine Motivation, nungen zwar ein Ergebnis, welches aber nur dann die Zukunft ein Geistesmodell und ein Modell des Anderen voraussetzen. vorhersagt, wenn diese genau so strukturiert ist, wie es die (Da- Wie oben beschrieben, bestehen KI-Systeme jedoch aus zwar ten-)Vergangenheit war – eine nicht nur aus wissenschaftsthe- komplexen, aber rein formalen Abläufen. Die einsetzenden Or- oretischer und sozialwissenschaftlicher Sicht heikle Annahme, ganisationen hingegen haben sehr wohl Interessen und poten- selbst wenn die Daten der Vergangenheit vollständig wären.34 ziell auch das Wissen um die Wahrheit und die eigene Identität. Der Aufstieg und Niedergang von Predictive Policing (zu Deutsch Entsprechende Ansprüche müssen gegenüber den Entwicklerfir- „vorrausschauende Polizeiarbeit“) illustriert das Problem gut, men und -organisationen geltend gemacht werden. denn dort wurde angenommen, dass sich Kriminalität auf ähn- liche Weise wie Erdbeben geografisch vorhersagen lässt. Die je- Wissen und Wahrheit – Aktuelle textbasierte KI-Anwen- weilig zugrunde liegenden Prozesse sind jedoch sehr verschieden dungen wie ChatGPT beruhen auf Sprachmodellen, die ge- – gesellschaftliche Prozesse folgen im Gegensatz zu physikali- mäß ihrer Architektur aus den Unmengen an Eingabetexten schen Vorgängen gerade keinen feststehenden Gesetzen. In der mehrdimensionale Vektorräume errechnen, in denen der „Ab- Praxis waren die Ergebnisse von Predictive-Policing-Softwares stand“ von Worten und Wortarten abgespeichert wird; das ist kaum zu gebrauchen – teilweise trafen die Voraussagen in we- das Sprachmodell. Daraus werden in der normalen Nutzung niger als ein Prozent der Fälle zu und in anderen Fällen reprodu- Texte generiert, indem das Modell auf Basis einer User-Ein- zierten sie sogar Rassismus, indem etwa Straftaten übermäßig in gabe („Prompt“) das wahrscheinlichste nächste Wort ermit- schwarzen Nachbarschaften angezeigt wurden.35 telt.29 Dann sind Prompt plus erstes Ergebniswort wiederum die interne Eingabe für das nächste Wort. Dies wird mehrfach Neutralität und Objektivität – Datenbasierten Systemen wird wiederholt. So setzt sich die Ausgabe („Antwort“) des Chat- häufig Neutralität und Objektivität attestiert, so ist es auch mit bots zusammen. Die Ausgaben sind also formalmathematisch KI-Systemen. Dabei gestalten bestimmte Akteure die System- begründete Aneinanderreihungen von Zeichenketten, die sta- und Modellarchitektur für einen bestimmten Zweck. Diesem tistisch rekombiniert aus den Eingabetexten abgeleitet werden Zweck entsprechend wählen sie auch die Datengrundlage des und deren Bedeutung – anders als bei den weniger leistungs- Systems aus, die wiederum entscheidend für die Ergebnisse des fähigen symbolbasierten Wissensmodellen – für das System Systems ist. Prinzipiell gibt es keine objektiven oder neutralen technisch bedingt gar keine Rolle spielen kann.30 Dementspre- Daten, sondern nur jeweils passende Daten in Relation zu ei- chend sind Wahrheit oder Richtigkeit keine relevanten Kriterien nem bestimmten Einsatzzweck.36 Beispielsweise ist es möglich, für die Antworten und können es auch nicht ohne Weiteres Feinstaubsensoren in einer Stadt anzubringen, um die Luftqua- werden. Die Ergebnisse solcher KI-Systeme (re)-produzieren lität zu messen, aber in welcher Höhe und an welchen Orten die formalen Verhältnisse von Worten zueinander in den Aus- (Parks, Straßen, Kindergärten etc.) dies geschieht, ist eine Ent- gangstexten, genau das ist ihre Funktion. Die Ergebnisse sind scheidung, die von Akteuren und Zwecken abhängt. Und selbst teilweise beeindruckend, aber umso obskurer sind auch die wenn es – rein hypothetisch – möglich wäre, eine „totale“ Da- Fehler, etwa wenn nichtssagende Allgemeinplätze oder reine tenbasis in perfekter Qualität zu haben, müssten dennoch un- „Fantasiefakten“ ausgegeben werden. Streng genommen zählige Entscheidungen für die konkrete Verarbeitung getroffen können Sprachmodelle jedoch keine „Fehler“ machen, die werden, um praktisch nutzbare Ergebnisse zu liefern. Wäre etwa Wortreihen in den Ausgangstexten sind eben, wie sie sind.31 bei der vorausschauenden Polizeiarbeit die Schadenshöhe ver- Gerade der Stil – also die Form – der generierten Texte ist in der gangener Verbrechen miteinbezogen worden, hätten die Sys- Regel tadellos, da auch die Texte, an denen das Modell trainiert teme überwiegend die Hauptgeschäftsviertel und Finanzhan- wurde, in der Regel stilistisch sehr gut sind. Insofern ergibt es delsplätze von Städten als Kriminalitätsschwerpunkte angezeigt, wenig Sinn, zu behaupten, dass ChatGPT „sogar“ Texte im Stil doch das entsprach nicht dem Zweck. Diese Art Entscheidungen von Gedichten, akademischen Artikeln, Zeitungsmeldungen braucht es bei allen datenbasierten Systemen – inklusive KI, wes- oder Handbüchern produzieren könne, denn es ist ja gerade halb keines davon als „neutral“ oder „objektiv“ gelten kann. die Form, auf die Sprachmodelle optimiert sind und etwas an- deres ist mit dieser Technologie auch gar nicht möglich.32 Ma- Selbst Ansprüche und Kritik an KI-Systemen unterstellen jedoch thematisch gesprochen sind die Ergebnisse also Variationen ei- oft deren (mögliche) Neutralität beziehungsweise Objektivität, nes statistischen Durchschnittstexts innerhalb des Modells und etwa wenn sie Fairness einfordern oder Diskriminierung durch zwar relativ zur jeweils konkreten Abfrage. Als passende Ana- diese Systeme bemängeln. Diese Ansätze greifen mitunter zu logie bietet sich ein stochastischer Papagei an, der gemäß sta- kurz, weil es sich bei Fairness nur teilweise um eine technische tistischer Regeln Wortfolgen reproduziert.33 Mit echter Sprach- Eigenschaft der Systeme handelt und gerade die Frage, was als kompetenz und Verständnis haben wir es weder in dem einen nicht-diskriminierend und fair gilt, primär von gesellschaftlichen noch dem anderen Fall zu tun. Aushandlungsprozessen abhängt.37 Ein automatisches Kredit-
FIfF-Kommunikation 1/24 13 vergabesystem basierend auf dem Einkommen einer Person bei- selbstorganisierte Gemeinschaften, sondern lediglich den brei- spielsweise kann aktuell nur korrekt oder fair sein: entweder es ist ten Nutzungszugriff für Unternehmen.44 Die Kontrolle solcher korrekt, aber reproduziert dann das geschlechtsspezifische Lohn- Systeme kann auch schwerlich demokratisiert werden. Während gefälle, oder es ist fair, aber mathematisch gesehen inkorrekt.38 es im Hinblick auf kleine, hochspezialisierte KI-Systeme mit einer vergleichsweise kleinen Datenbasis noch möglich sein kann, ist (A)politische Optimierung – Beizeiten werden gesellschaftliche es bei großen KI-Systemen wie etwa LLMs hingegen illusorisch, und politische Fragen als im Wesentlichen durch KI lösbare Auf- da der technische, organisatorische (und energetische) Aufwand gaben diskutiert.39 Dazu zählen etwa das Abwenden des Klima- für Gestaltung und Herstellung schlechthin immens ist. Ihr Ent- wandels40, die Einführung eines automatisierten Grundeinkom- wicklungsprozess schließt die Datenerhebung, ihre Qualitätssi- mens oder die Beendigung des Welthungers.41 Dem Narrativ cherung, Klassifikation und Speicherung ein, betrifft weiter das forum
nach erscheint das als möglich, mithin vielversprechend, weil KI inkrementelle Modelldesign und das Vorkonfigurieren („Trai- apolitische und „unideologische“ Lösungen für gesellschaftliche ning“) der Modelle und hört auch bei der Moderation und Ver- Probleme erzeugen könne. Diese Erzählung ist aus mehreren feinerung der KI-Systeme durch menschliche Arbeitskräfte nicht Gründen problematisch. Sie verkennt etwa, dass bevor KI-Sys- auf (Stichwort Reinforcement Learning from Human Feedback), teme Muster detektieren oder Prozesse optimieren können, zu- die größtenteils in den globalen Süden ausgelagert wird.45 Dem- nächst einmal festgelegt werden muss, was genau gesucht und entsprechend steckt hinter großen KI-Systemen eine komplexe was in einem bestimmten Sachbereich als Optimum gelten soll. globale Lieferkette.46 Zudem müssen die Systeme regelmäßig Erst daraus ergibt sich eine sinnvolle Definition der technischen aktualisiert, sämtliche genannten Schritte also regelmäßig wie- Zielfunktion des Systems. Auch diese Festlegung ist prinzipiell derholt werden. Daten und Systeme altern schließlich auch. Es eine politische Frage, die gesellschaftlicher Aushandlung bedarf. ist also kein Zufall, dass nur finanzstarke Player wie OpenAI, Denn selbst wenn Einigkeit bezüglich eines Ziels herrscht, gibt Meta, BAAI oder Google regelmäßig Durchbrüche bei LLMs ver- es in der Regel unzählige Strategien, um es zu erreichen. Auch melden können, denn nur sie verfügen über das nötige Kapi- die Wahl der Zwischenschritte und die Gewichtung der relevan- tal, um solche Projekte zu stemmen. Man kann behaupten, dass ten Faktoren sind kategorisch keine technischen Fragen, son- diese Art KI quasi die Atomkraft des Digitalen ist47, also grund- dern politische. Insofern besteht der Widerspruch des Narrativs sätzlich nur durch mächtige Akteure kontrolliert und zentralisiert in der Annahme, dass KI-Systeme ihre eigene gesellschaftliche betrieben werden kann. Der Zugriff wird dann vermietet, aber Ausgangsbedingung als technisches Ergebnis liefern könnten. die Kontrolle bleibt beim Eigentümer. Daran ändern auch die Das lässt sich an zwei Beispielen verdeutlichen. Eine KI kann den freien und offenen KI/ML-Programmbibliotheken von Google Energieverbrauch eines Rechenzentrums reduzieren (Ziel), in- und Co. oder kleine LLMs zum Selbstbetreiben48 nichts, weil dem es anhand von Lastdaten energieeffiziente Kühlzyklen be- stets die restlichen Zutaten zur eigenen Erstellung fehlen. rechnet (Strategie).42 Dies ist möglich, wenn Ziel und Strategie unstrittig sind. Im Bereich der Stadtplanung wiederum kann eine Arbeitsplatzverlust – Abschließend soll noch kurz das Narrativ KI bei Mobilitätsfragen helfen und beispielsweise dazu beitra- angerissen werden, dem zufolge KI ein „Jobkiller“ sei. Obwohl gen, die Auslastung von Autostraßen und Parkplätzen im Hin- diese grundlegende Debatte so alt ist wie die Automatisierung blick auf Verkehrsaufkommen zu optimieren (Stichwort smart selbst, wird sie auch im KI-Kontext verkürzt geführt – bereits die cities). Die Frage aber, wie eine Stadt lebenswerter gestaltet Ludditen oder andere Maschinenstürmer waren ja keineswegs werden kann, und ob dabei nicht eher eine Fahrradinfrastruk- technikfeindlich. Zugespitzt besagt das Narrativ, dass durch den tur mit erweiterten Fußgängerzonen zielführend wäre, ist je- Einsatz von KI massenweise Arbeitsplätze verschwinden würden, doch keine technische Frage. Generalisiert gilt das auch für die manche Studien sprechen gar von knapp der Hälfte aller Jobs Bekämpfung des Welthungers. Sollte man bestimmten Ländern in den USA49, sodass auf absehbare Zeit eine Massenarbeitslo- Schulden erlassen, internationale Wirtschaftsverträge ändern, sigkeit drohe. Dieses Narrativ hat mindestens drei fragwürdige die Nahrungsverteilung überdenken, bestimmte Technologien Aspekte: Erstens ist es ja zunächst begrüßenswert, wenn Ma- global zugänglich machen oder ganz andere Maßnahmen er- schinen und KI-Systeme Menschen die Arbeit abnehmen, be- greifen? Und wer sollte sie finanzieren? All das sind politische sonders wenn diese repetitiv, beschwerlich oder gar gefährlich Fragen, die KI-Systeme nicht lösen können. Sie können besten- ist.50 Die Frage ist also, welche Jobs wegfallen, wer die Betroffe- falls helfen, Beispielszenarien zu errechnen und gegebenenfalls nengruppen sind und welche Rolle Lohnarbeit überhaupt gesell- die Umsetzung zu erleichtern. Selbst bei der Auswahl und dem schaftlich künftig spielen soll. Zweitens zeigen Studien, dass Ar- Modellieren der relevanten Rahmenbedingungen handelt es beitsplätze so gut wie nie plötzlich wegfallen, sondern sich eher sich um Aufgaben, die kollektive, also politische Entscheidun- langsam verändern. Statt technologiebedingter Massenarbeits- gen erfordern. losigkeit sehen wir einen Strukturwandel des Arbeitsmarktes.51 Dabei besteht die Veränderung darin, dass sich moderat und zu- Demokratisierung – Auch wenn KI-Systeme komplexe Werk- nehmend auch gut bezahlte Arbeitsplätze in eine überschaubare zeuge sind, die aktuell von mächtigen Konzernen entwickelt Anzahl lukrativer Stellen („high skilled labour“) wandeln, wäh- werden, wird oft gemutmaßt, dass diese Werkzeuge über kurz rend der Großteil schlechter bezahlten oder gar prekären Be- oder lang durch gesteigerte Effizienz und andere technische Ver- schäftigungsformen („low skilled labour“) weicht.52 An der Ar- besserungen bald allen zur Verfügung stehen könnten und so- beitslosenquote ändert das wenig, politischer Handlungsbedarf mit eine Demokratisierung von KI ermöglichen würden.43 Was besteht dennoch. Drittens verschleiert das Narrativ wie so oft die zunächst wie ein erstrebenswertes politisches Anliegen klingen tatsächlichen Zusammenhänge und verantwortlichen Akteure. mag, entpuppt sich bei genauerem Hinsehen als Wirtschaftsa- Schließlich nimmt künstliche Intelligenz den Menschen die Arbeit genda. „Demokratisierung“ meint in diesem Fall nämlich nicht nicht einfach weg und Arbeitsplätze verschwinden auch nicht die Kontrolle oder Mitgestaltung solcher Technologien durch von Zauberhand. Es sind Entscheider:innen in Konzernen, die
14 FIfF-Kommunikation 1/24 beschließen, dass es wohl profitabler wäre, Stellen abzubauen, eine unkontrollierbare, mithin böse Superintelligenz.59 Tatsächli- Arbeitsprozesse zu automatisieren und/oder die Produktion zu che Folgen und Gefahren dieser Technologien, die Gegenstand verlagern. Diese Entwicklung hängt primär von rechtlichen und gesellschaftlicher Debatten sein müssen, sind etwa die Struktur- wirtschaftlichen Rahmenbedingungen ab, von unternehmeri- veränderung des Arbeitsmarktes, die Ausweitung ausbeuterischer schen Strategien und nicht zuletzt politischen Entscheidungen Lieferketten bei der Datenerhebung und -auswertung, insbeson- bezüglich der Rolle von KI in der gesamtgesellschaftlichen Trans- dere im globalen Süden60, die einseitige Macht- und Produkti- formation.53 Solange die Entwicklung künstlicher Intelligenz als vitätssteigerung weniger Firmen, die Ausweitung personalisierter Naturgewalt betrachtet und von Angstszenarien wie einer dro- Überwachung, die unendliche Welle von KI-generiertem Spam henden Massenarbeitslosigkeit begleitet wird, profitieren von ihr und Betrug61, die automatisierte Aneignung und Kommerzialisie-
forum vor allem Unternehmen, die KI-Produkte herstellen oder vertrei- rung von Online-Kulturwerken, die Herausbildung globaler Ab- ben und darüber hinaus Konzerne, denen angstinduzierte Nied- hängigkeiten durch Oligopoltendenzen in der Industrie, die Impli- riglöhne zupass kommen. Für gesellschaftliches Gestaltungspo- kationen militärischer KI-Nutzung62, der exponentiell ansteigende tenzial bleibt dann kaum Raum. Energieverbrauch durch KI-Systeme und nicht zuletzt der unre- flektierte und nur scheinbar unpolitische Einsatz solcher Systeme im Wohlfahrtsstaat und in weiteren sensiblen Gesellschaftsberei- Fazit und Ausblick chen (Kreditvergabe, Bewerbungsprozesse, Strafverfahren etc.).63 Eine weitere drängende politische Frage betrifft die kollektive Bei der Analyse dieser KI-Narrative fällt auf, dass sie meist gar Gestaltung der geistigen Arbeit im Kontext der Maschinisierung nicht auf den technischen Eigenschaften dieser Systeme fußen, unter den aktuell gegebenen Macht- und Besitzverhältnissen. oft Fehlannahmen über ihre Einsatzdynamik enthalten und so- Technikgestaltung ist immer auch die Gestaltung von (technisch mit nicht zu einer fruchtbaren und produktiven Debatte beitra- geprägten) sozialen Praktiken, aber gleichzeitig ist sie selbst das gen, sondern ihr teilweise sogar entgegenstehen. Dass sie in ak- Ergebnis sozialer Praktiken – und künstliche Intelligenz ist seit je- tuellen Diskursen trotzdem prominent vorkommen, mag daran her ein diskursiv umkämpftes Terrain. liegen, dass die Technologie missverstanden wird, gesellschaftli- che Kontexte und Dynamiken ausgeblendet werden oder auch Doch die Zukunft ist offen und all diese Fragen sind zu diskutie- daran, dass solche Erzählungen oft einem kommerziellen Zweck ren, sodass wir als Gesellschaft diesen interessanten und mäch- dienen und entsprechend verbreitet werden. tigen Werkzeugkasten kreativ und reflektiert nutzen können. Auch wenn schon viele theoretische und praktische Vorarbei- KI wird gemäß den Zwecken gestaltet und verwendet, die Un- ten existieren, sind die Einsatzmöglichkeiten von KI und ande- ternehmen, Regierungen und andere Organisationen für sie ren digitalen Technologien jenseits von Profit und Markt noch vorsehen, wenn auch manchmal mit nicht intendierten Effek- nicht einmal ansatzweise erdacht und entwickelt worden – von ten. Oberflächliche Zeitgeist-KI-Debatten oder dramatisch zu- kritischer Informatik64 und anarchistischer Softwaregestaltung65 gespitzte Gegenüberstellungen à la „Mensch gegen Maschine“ über das digitale Commoning66 und herrschaftsfreie Informa- sind jedoch fehl am Platze, verschleiern relevante Machtfragen54 tionssysteme67 bis hin zur Unterstützung der Nachhaltigkeits- und gehören in den Bereich der Science-Fiction. transformation68 und der Rückeroberung der Computationsmit- tel.69 Wenn wir die gesellschaftliche Gestaltbarkeit künstlicher Gleichwohl müssen die Komplexität und Beherrschbarkeit dieser Intelligenz und ihre vielfältigen Anwendungsmöglichkeiten im Systeme im Auge behalten werden. Dafür gibt es längst metho- Blick behalten wollen, müssen wir nicht nur die beizeiten wie- dische Ansätze und regulatorische Maßnahmen, die getroffen derkehrenden ELIZA-Momente durchschauen, sondern auch werden könnten, wenn denn der politische Wille dafür vorhan- überlegen, inwiefern der Fokus auf riesenhaft-überkomplexe KI- den wäre. Dass nicht entsprechend gehandelt wird, hängt nicht Systeme dabei überhaupt hilfreich ist, oder ob er nicht eher ab- zuletzt mit neoliberalen Gesellschaftsbildern, kokettierenden lenkt von den eigentlichen Zutaten für ein gutes Leben für alle. „Neuland“-Haltungen, wirkmächtigem Lobbyismus, Innovation um ihrer selbst willen oder auch mit naiver Technikgläubigkeit zusammen. In dieser Gemengelage sind Fragen ethischer und Förderhinweis: Diese Arbeit wurde durch das Bundesministe- vertrauenswürdiger KI zwar technisch und philosophisch interes- rium für Bildung und Forschung (BMBF) gefördert (Förderkenn- sant, hängen aber weit hinter dem Stand der Diskussion in den zeichen: 16DII131 – „Deutsches Internet-Institut“). technikregulatorischen Sozialwissenschaften56 und der Daten- schutztheorie zurück.57 Denn die Fragen, die sich stellen, wenn Der Beitrag erschien zunächst bei Soziopolis als Rehak, R. (2023). Organisationen KI-Systeme einsetzen, sind zwar neu, aber nicht Zwischen Macht und Mythos: Eine kritische Einordnung aktuel- fundamental anders als die, die sich stellen, wenn Organisatio- ler KI-Narrative. Soziopolis: Gesellschaft beobachten. nen für ihre Zwecke Beton, Differentialgleichungen oder Spür- https://nbn-resolving.org/urn:nbn:de:0168-ssoar-91379-4 hunde einsetzen. Ein hohes Maß an Entpolitisierung sowie eine Selbststilisierung sind jedoch wesentliche Aspekte der Selbster- zählung von KI – und auch von Digitalisierung allgemein. Anmerkungen Der Einsatz von KI-Technologien verändert tatsächlich unsere Gesellschaften, aber nicht so, wie oft – wahlweise utopistisch58 1 John McCarthy u. a., A Proposal for the Dartmouth Summer Re- oder dystopisch – argumentiert wird. Die Rettung der Menschheit search Project on Artificial Intelligence, Stanford University, https:// durch eine leistungsstarke, mithin gute KI steht ebenso wenig zu wwwformal.stanford.edu/jmc/history/dartmouth/dartmouth.html erwarten wie die drohende Auslöschung der Menschheit durch (06.11.2023).
FIfF-Kommunikation 1/24 15 2 Alan Turing, Computing Machinery and Intelligence, in: Mind 59 de/news/Hat-Chatbot-LaMDA-ein-Bewussteinentwickelt-Google- (1950), 236, S. 433–460 (https://doi.org/10.1093/mind/LIX.236.433). beurlaubt-Angestellten-7138314.html (6.11.23). 3 McCarthy u. a., Proposal on Artificial Intelligence. 15 Vgl. Kurzweil, The Singularity is Near; Musk u. a., Pause Giant AI Expe- 4 Wolfgang Coy / Lena Bonsiepen, Erfahrung und Berechnung. Kritik der riments. Expertensystemtechnik, Berlin / Heidelberg 1989. 16 Mariana Lenharo, Consciousness theory slammed as ‘pseudoscience’ 5 Vgl. etwa Martin Popel u. a., Transforming machine translation: a deep — sparking uproar, in: Nature, 20.09.23, https://www.nature.com/ learning system reaches news translation quality comparable to human articles/d41586-023-02971-1 (6.11.23). professionals, in: Nature Communications 11 (2020), doi.org/10.1038/ 17 Dreyfus, What Computers Can’t Do; Ragnar Fjelland, Why general s41467-020-18073-9. artificial intelligence will not be realized, in: Humanities and Social 6 Joseph Weizenbaum, ELIZA – A Computer Program for the Study of Sciences Communications 7 (2020), 10, https://www.nature.com/ forum
Natural Language Communication Between Man And Machine, in: articles/s41599-020-0494-4; Andrea Roli / Johannes Jaeger / Stuart Communications of the ACM 9 (1966), 1, S. 36–45. A. Kauffman, How Organisms Come to Know the World: Fundamental 7 Joseph Weizenbaum, Die Macht der Computer und die Ohnmacht der Limits on Artificial General Intelligence, in: Frontiers in Ecology and Vernunft 1978, übers. von Udo Rennert, Frankfurt am Main 2000; vgl. Evolution 9 (2021), https://doi.org/10.3389/fevo.2021.806283; Rai- aktuell Emily M. Bender u. a., On the Dangers of Stochastic Parrots: Can ner Rehak, The Language Labyrinth. Language Models Be Too Big?, in: Association for Computing Machinery 18 O.A., X.AI: Elon Musk gründet KI-Unternehmen trotz Brief mit Mo- (Hg.), FAccT ‚21: Proceedings of the 2021 ACM Conference on Fairness, ratorium, in: Frankfurter Allgemeine Zeitung, 16.4.23, https://www. Accountability, and Transparency, New York 2021, S. 610–623. faz.net/aktuell/wirtschaft/unternehmen/x-ai-elon-musk-gruendet- 8 Hubert L. Dreyfus, What Computers Can’t Do. A Critique of Artificial kiunternehmen-trotz-brief-mit-moratorium-18825457.html. Reason, New York 1972. 19 Isabella Hermann, Künstliche Intelligenz in der Science-Fiction: Mehr 9 Vgl. etwa Carl Benedikt Frey / Michael A. Osborne, The Future of Magie als Technik, in: Helen Ahner / Max Metzger / Mathis Nolte Employment: How Susceptible Are Jobs to Computerisation?, Oxford (Hg.), Von Menschen und Maschinen: Interdisziplinäre Perspektiven Martin School, https://www.oxfordmartin.ox.ac.uk/downloads/acade- auf das Verhältnis von Gesellschaft und Technik in Vergangenheit, mic/The_Future_of_Employment.pdf (6.11.23); oder Joseph Briggs / Gegenwart und Zukunft. Proceedings der 3.Tagung des Nachwuchs- Devesh Kodnani, The Potentially Large Effects of Artificial Intelligence netzwerks „INSIST“, 05.-07. Oktober 2018, https://www.ssoar.info/ on Economic Growth, Goldman Sachs Publishing, https://www.gspu- ssoar/handle/document/67663. blishing.com/content/research/en/reports/2023/03/27/d64e052b- 20 Rainer Rehak, Artificial Intelligence for Real Sustainability?, in: Patricia 0f6e-45 d7-967b-d7be35fabd16.html (6.11.23). Jankowski u. a. (Hg.), Shaping Digital Transformation for a Sustaina- 10 Vgl. Ray Kurzweil, The Singularity is Near: When Humans Transcend ble Society. Contributions from Bits & Bäume, Technische Universität Biology, New York 2005. Berlin, https://doi.org/10.14279/depositonce-17526 (6.11.23). 11 Vgl. Elon Musk u. a., Pause Giant AI Experiments: An Open Letter, Fu- 21 Deutscher Bundestag, Bericht zum Stand von KI in der öffentlichen ture of Life Institute, https://futureoflife.org/open-letter/pause-giant- Verwaltung, Bildung, Forschung und Technikfolgenabschätzung — Be- ai-experiments/ (6.11.23); oder Geoffrey Hinton u. a., Mitigating the richt — hib 520/2022, https://www.bundestag.de/presse/hib/kurz- risk of extinction from AI should be a global priority alongside other meldungen-914308 (6.11.23). societal-scale risks such as pandemics and nuclear war, Center for AI 22 Im Hinblick auf die Wissenschaft vgl. stellvertretend Daniel Innerarity, Safety, https://www.safe.ai/statement-on-ai-risk (6.11.23). The epistemic impossibility of an artificial intelligence take-over of 12 Vgl. Tom Mitchell, Machine Learning, New York 1997. democracy, AI & Society, https://doi.org/10.1007/s00146-023-01632- 13 Rainer Rehak, The Language Labyrinth: Constructive Critique on the 1 (6.11.23); für die Wirtschaft vgl. James Vincent, Forty percent of Terminology Used in the AI Discourse, in: Pieter Verdegem (Hg.), AI for ‘AI startups’ in Europe don’t actually use AI, claims report, in: The Everyone? Critical Perspectives, S. 87–102, London 2021. Verge, 5.3.2019, https://www.theverge.com/2019/3/5/18251326/ai- 14 Vgl. Turing, Computing Machinery and Intelligence; siehe auch Martin startups-europefake-40-percent-mmc-report (6.11.23). Holland, Hat Chatbot LaMDA ein Bewusstsein entwickelt? Google 23 Ein positives Beispiel liefert dazu der japanische Rat für soziale Grund- beurlaubt Angestellten, in: heise online, 13.6.23, https://www.heise. sätze einer humanzentrierten künstlichen Intelligenz, vgl. Council for
Rainer Rehak
Rainer Rehak ist wissenschaftlicher Mitarbeiter in den Forschungsgruppen Digitalisierung, Nachhaltigkeit und Teilhabe und Technik, Macht und Herrschaft am Weizenbaum-Institut für die vernetzte Gesellschaft sowie assoziierter Mitarbeiter am Wissenschaftszentrum Ber- lin für Sozialforschung (WZB). Er promoviert aktuell an der TU Berlin zu systemischer IT-Si- cherheit und gesellschaftlichem Datenschutz. Seine Forschungsfelder sind Datenschutz, IT- Sicherheit, staatliches Hacking, Informatik und Ethik, Technikfiktionen, Digitalisierung und Nachhaltigkeit, konviviale und demokratische Digitaltechnik sowie die Implikationen und Grenzen von Automatisierung durch KI-Systeme. Er studierte Informatik und Philosophie in Berlin und Hong Kong und beschäftigt sich seit über 15 Jahren mit den Implikationen der Computerisierung der Gesellschaft. Er ist Sachverständiger für Parlamente (z. B. den Deut- schen Bundestag) und Gerichte (z. B. das Bundesverfassungsgericht) und publiziert zudem regelmäßig auch in nichtwissenschaftlichen Medien.
16 FIfF-Kommunikation 1/24 Social Principles of Human-Centric AI, Social Principles of Human- 42 Richard Evans / Jim Gao, DeepMind AI Reduces Google Data Centre Centric AI, https://www.cas.go.jp/jp/seisaku/jinkouchinou/pdf/hu- Cooling Bill by 40%, in: Google DeepMind, 20.7.2016, https://www. mancentricai.pdf (6.11.23). deepmind.com/blog/deepmind-ai-reducesgoogle-data-centre-cooling- 24 Vgl. etwa Emma Farge, Robots say they won‘t steal jobs, rebel against bill-by-40 (6.11.23). humans, in: Reuters, 7.7.2023, https://www.reuters.com/technology/ 43 Vgl. Stefan Betschon, Die Demokratisierung der künstlichen Intelli- robots-say-they-wont-steal-jobs-rebel-againsthumans-2023-07-07/. genz, in: Neue Zürcher Zeitung, 15.12.2016, https://www.nzz.ch/ 25 Vgl. Florian Butollo u. a. (Hg.), Lecture Series „Autonomous Systems & digital/aktuelle-themen/machine-learning-die-demokratisierung- Self-Determination“, Weizenbaum Institute for the Networked Society, derkuenstlichen-intelligenz-ld.135034 (6.11.23). https://doi.org/10.34669/wi/2 (6.11.23). 44 Vgl. Lisa Mayerhofer, „Künstliche Intelligenz wird demokrati-
forum 26 Stephen Wolfram, What Is ChatGPT Doing … and Why Does It siert“, in: Werben & Verkaufen, 31.1.2020, https://www.wuv.de/ Work?, Stephen Wolfram Writings, https://writings.stephenwolfram. Archiv/%22K%C3%BCnstliche-Intelligenz-wird-demokratisiert%22 com/2023/02/what-is-chatgpt-doing-and-whydoes-it-work/ (6.11.23). (6.11.23). 27 Florian Butollo u. a. (Hg.), Lecture Series „Autonomous Systems & Self- 45 Rainer Mühlhoff, Human-Aided Artificial Intelligence: Or, How to Run Determination“. Large Computations in Human Brains? Towards a Media Sociology of 28 Christiane Floyd, From Joseph Weizenbaum to ChatGPT: Critical En- Machine Learning, in: New Media & Society 10 (2019), 10, S. 1868–1884. counters with Dazzling AI Technology, in: Weizenbaum Journal of the 46 Kate Crawford, Atlas of AI. Power, Politics, and the Planetary Costs of Digital Society 3 (2023), 3, https://doi.org/10.34669/WI.WJDS/3.3.3 Artificial Intelligence, New Haven, CT 2021. (6.11.23). 47 Rehak, Artificial Intelligence for Real Sustainability? 29 Stephen Wolfram, What Is ChatGPT Doing. 48 Craig G. Smith, The Long and Mostly Short of China’s Newest GPT, in: 30 Emily Bender u. a., On the Dangers of Stochastic Parrots: Can Lan- IEEE Spectrum, 28.7.2023, https://spectrum.ieee.org/china-chatgpt- guage Models Be Too Big?, in: Association for Computing Machinery wu-dao (6.11.23). (Hg.), FAccT ‚21: Proceedings of the 2021 ACM Conference on Fair- 49 Frey / Osborne, The Future of Employment. ness, Accountability, and Transparency, New York 2021, S. 610–623. 50 Constanze Kurz / Frank Rieger, Arbeitsfrei: Eine Entdeckungsreise zu 31 Das zeigt sich etwa an den allgemeinen Antworten eines Chatbots, die den Maschinen, die uns ersetzen, München 2013. für bestimmte Zwecke unpassend bis regelrecht schädlich sind: Lauren 51 Florian Butollo, Automatisierungsdividende und gesellschaftliche Teilha- Aratani, US eating disorder helpline takes down AI chatbot over harmful be, in: regierungsforschung.de, 24.5.2018, https://regierungsforschung. advice, The Guardian, 31.7.2023, https://www.theguardian.com/tech- de/automatisierungsdividende-und-gesellschaftlicheteilhabe/ (6.11.23). nology/2023/may/31/eating-disorder-hotline-union-aichatbot-harm. 52 Ebd. 32 Paola Lopez, ChatGPT und der Unterschied zwischen Form und Inhalt, 53 Wissenschaftlicher Beirat der Bundesregierung Globale Umweltver- in: Merkur 77 (2023), 891, S. 15–27, https://www.merkur-zeitschrift. änderungen (Hg.), Unsere gemeinsame digitale Zukunft, Berlin 2019, de/artikel/chatgpt-und-derunterschied-zwischen-form-und-inhalt-a- http://www.wbgu.de/hg2019 (6.11.23). mr-77-8-15/ (6.11.23). 54 Jeanette Hofmann, Demokratie und Künstliche Intelligenz, Digitales 33 Bender u. a., On the Dangers of Stochastic Parrots. Deutschland, https://digid.jff.de/demokratie-und-ki/ (6.11.23). 34 Florian Eyert / Paola Lopez, Rethinking Transparency as a Communica- 55 Martin Rost, Künstliche Intelligenz. Normative und operative Anforde- tive Constellation, in: FAccT ’23: Proceedings of the 2023 ACM Con- rungen des Datenschutzes, in: DuD – Datenschutz und Datensicherheit ference on Fairness, Accountability, and Transparency, New York 2023, – DuD 42 (2018), 9, S. 558–565, https://www.maroki.de/pub/priva- S. 444–454. cy/2018-09_DuD-KI.pdf (6.11.23). 35 Aaron Sankin / Surya Mattu, Predictive Policing Software Terrible at 56 Vgl. etwa Florian Eyert / Florian Irgmaier / Lena Ulbricht, Extending Predicting Crimes, in: Wired, 2.10.2023, https://www.wired.com/ the framework of algorithmic regulation. The Uber case, in: Regula- story/plainfield-geolitica-crime-predictions (6.11.23); und Will Douglas tion & Governance 16 (2022), 1, S. 23–44, https://doi.org/10.1111/ Heaven, Predictive policing algorithms are racist. They need to be dis- rego.12371 (6.11.23). mantled, in: MIT Technology Review, 17.7.2020, https://www.techno- 57 Rost, Künstliche Intelligenz. logyreview.com/2020/07/17/1005396/predictive-policing-algorithms- 58 Vgl. etwa Marc Andreessen, Why AI Will Save the World, in: Andrees- racist-dismantled-machine-learning-bias-criminal-justice/ (6.11.2023). sen Horowitz, 6.6.2023, https://a16z.com/ai-will-save-the-world/ 36 Rob Kitchin, The Data Revolution: Big Data, Open Data, Data Infra- (6.11.2023). structures & Their Consequences, Thousand Oaks, CA 2014. 59 Vgl. Musk u. a., Pause Giant AI Experiments; oder Hinton u. a., Mitiga- 37 Eyert / Lopez, Rethinking Transparency. ting the risk of extinction. 38 Sayash Kapoor / Arvind Narayanan, Quantifying ChatGPT’s gender 60 Mühlhoff, Human-Aided Artificial Intelligence. bias, in: AI Snake Oil, 26.4.2023, https://aisnakeoil.substack.com/p/ 61 Amy Castor / David Gerard, Pivot to AI: Pay no attention to the man quantifying-chatgpts-gender-bias (6.11.23). behind the curtain, in: Amy Castor, 12.9.2023, https://amycastor. 39 Vgl. etwa Michael Chui u. a., Applying Artificial Intelligence for Social com/2023/09/12/pivot-to-ai-pay-no-attentionto-the-man-behind- Good, McKinsey & Company, https://www.mckinsey.com/featured- the-curtain/ (6.11.2023). insights/artificial-intelligence/applyingartificial-intelligence-for-social- 62 Vgl. allgemein Hans-Jörg Kreowski / Aaron Lye, Künstliche Intelligenz im good (6.11.23). Dienst des Militärs, FIfF-Kommunikation 4/23, S. 19–23; und konkret: 40 Vgl. etwa o.A., Das Potenzial von KI für den Klimaschutz, in: UmweltDi- Yuval Abraham, ‘A mass assassination factory’: Inside Israel’s calculated alog, 28.12.2020, https://www.umweltdialog.de/de/umwelt/klimawan- bombing of Gaza, in: +972 Magazine, 30.11.2023, https://www.972mag. del/2020/Das-Potenzial-von-KI-fuerden-Klimaschutz.php (6.11.23). com/mass-assassination-factory-israel-calculatedbombing-gaza/. 41 Eileen Guo / Adi Renaldi, Worldcoin: Tausche Kryptowährung gegen 63 Rainer Mühlhoff, „Automatisierte Ungleichheit: Ethik der Künstlichen Augen-Scan, in: MIT Technology Review, 3.7.2023, https://www.hei- Intelligenz in der biopolitische Wende des Digitalen Kapitalismus“, in: se.de/hintergrund/Worldcoin-Tausche-Kryptowaehrung-gegen-Augen- Deutsche Zeitschrift für Philosophie 68 (2020), 6, S. 867–890, https:// Scan-7097714.html (6.11.23). doi.org/10.1515/dzph-2020-0059.
FIfF-Kommunikation 1/24 17 64 Wolfgang Coy, Für eine Theorie der Informatik!, in: ders. u. a. (Hg.), Gesellschaft, 2. Auflage. Marburg (im Erscheinen); Christian Ricardo Sichtweisen der Informatik, Braunschweig/Wiesbaden 1992. Kühne, GNUnet und Informationsmacht: Analyse einer P2P-Techno- 65 Ralf Klischewski, Anarchie – Ein Leitbild für die Informatik: Von den logie und ihrer sozialen Wirkung, Humboldt-Universität zu Berlin, Grundlagen der Beherrschbarkeit zur selbstbestimmten Systementwick- https://doi.org/10.18452/14270 (6.11.23). lung, Bern 1996. 68 Tilman Santarius / Josephin Wagner, Digitalization and sustainability: 66 Silke Helfrich (Hg.), Wem gehört das Wissen der Welt? Zur Wiederent- A systematic literature analysis of ICT for Sustainability research, in: deckung der Gemeingüter, München 2009. GAIA – Ecological Perspectives for Science and Society, 23 (2023), S1. 67 Christian Ricardo Kühne, Zu Bedingungen und Möglichkeiten der 69 Cory Doctorow, Seizing the means of computation – how popular move- Gestaltung herrschaftsfreier Informationssysteme, in: Rainer Fischbach ments can topple Big Tech monopolies, Transnational Institute, https:// / Klaus Lenk / Jörg Pohle (Hg.), Der Weg in die »Digitalisierung« der www.tni.org/en/article/seizing-themeans-of-computation (6.11.23). forum
Dieter Engels, Jürgen Scheffran, Ekkehard Sieker
Krieg im Weltraum – Ist es wieder 5 vor 12? Anläßlich des Jubiläumssymposiums 40 Jahre Wissenschaft für den Frieden am 6./7.10.2023 in Bonn haben die Autoren einen Vortrag zur aktuellen Militarisierung des Weltraums gehalten. Das Thema ist vor vier Jahrzehnten erstmalig in einer breiteren Öf- fentlichkeit diskutiert worden und hat seine Brisanz nicht verloren. Die Sorge um eine weitere Eskalation des Rüstungswettlaufs hat 1983 zum Mainzer Appell und 1988 maßgeblich zur Gründung der Naturwissenschaftler:innen-Initiative Verantwortung für Frieden und Zukunftsfähigkeit geführt.
Am 20. Juli 1969 betrat der US-amerikanische Astronaut Neil Arm- der anderen Supermacht, demonstriert sehen wollten. Dass über strong als erster Mensch einen außerirdischen Himmelskörper, den 50 Jahre nach Beendigung des Apollo-Programms kein weiterer Mond. Weltweit regte die Übertragung dieses Ereignisses vor allem Mensch den Mond betreten hat, unterstreicht den geostrategi- junge Menschen zu Träumen an, in denen sie selbst Teil der Erfor- schen Hintergrund dieses Programms, welches nur vordergrün- schung des Weltraums, beginnend mit der Erkundung des Mon- dig etwas mit Weltraum-Forschung zu tun hatte. des und der Nachbarplaneten, sein würden. Bei einer vorherigen Mission des Apollo-Mondlandeprogramms war erstmals die auf- gehende Erde aus der Mondumlaufbahn in Farbe fotografiert wor- Strategic Defense Initiative – den, und die Aufnahme mit dem blauen Planeten wurde im Laufe Waffen im Weltraum? der Zeit zum Symbol für die Kostbarkeit der Erde (Abbildung 1). Weitgehend ausgeblendet blieb in der überschwenglichen Bericht- Die Nutzung des Weltraums (s. Infokasten Weltraum) für mi- erstattung, dass die Raumfahrt ein Kind des Kalten Krieges war und litärische Zwecke wurde einer breiteren Öffentlichkeit erst mit sich ohne militärischen Hintergrund kaum soweit entwickelt hätte. der Strategic Defense Initiative (SDI) des US-Präsidenten Ro- Die für das Apollo-Programm verwendete Saturn-Rakete wurde nald Reagan bewusst. Reagan hatte in einer Fernsehanspra- unter der Leitung des Raketenpioniers Wernher von Braun entwi- che am 23. März 1983 das Programm aus der Taufe geho- ckelt, der am Ende des 2. Weltkrieges die ersten Raketen für das ben und verkündet, dass die USA einen Raketenabwehrschirm Dritte Reich gebaut hatte. Die Vergeltungswaffe 2 (V2) terrorisierte bauen würden, der die US-amerikanische Bevölkerung vor ei- monatelang die Zivilbevölkerung in Städten wie Antwerpen oder nem Atomwaffenangriff schützen könnte [1]. Die Ankündigung London. Der erste 1957 von der Sowjetunion gestartete Satellit wurde unterschiedlich aufgenommen. Während die konserva- Sputnik wurde in den USA sogleich als Bedrohung angesehen, weil tiven Kreise in den USA und die westliche (Rüstungs-)Industrie mit der eingesetzten Trägerrakete im Prinzip auch US-amerikani- das Programm begrüßten, wurde es vor allem in Kreisen der Na- scher Boden mit Atombomben erreicht werden konnte. Die Mond- turwissenschaftler als undurchführbar angesehen, weil ein hun- landung war der Höhepunkt eines Prestigeduells, mit dem die USA dertprozentiger Schutz niemals zu erreichen sein würde. Von der ihre technologische Überlegenheit gegenüber der Sowjetunion, Sowjetunion wurde das Programm als Aggression wahrgenom- men. Sie befürchtete, dass ein funktionierender Abwehrschirm ihnen die Möglichkeit zur Vergeltung nehmen würde, falls die USA mit einem atomaren Erstschlag das sowjetische Raketen- arsenal dezimieren würden. Die Friedensbewegung weltweit lehnte das Programm wegen des sich abzeichnenden verstärk- ten Wettrüstens ebenfalls ab und forderte stattdessen Abrüs- tung (s. Infokasten NaturwissenschaftlerInnen-Initiative)
Der geplante Abwehrschirm würde auf jeden Fall einen Waffen- einsatz im Weltraum erfordern, weil die 20-minütige Flugphase der Sprengköpfe zwischen der Sowjetunion und den USA zum großen Teil außerhalb der Erdatmosphäre stattfindet. 1967 war Abbildung 1: Aufnahme der Erde vom 24.12.1968 aufgenommen zwar der Weltraumvertrag abgeschlossen worden, den auch die von der Mondmission Apollo 8. Quelle: William Anders/NASA damaligen Supermächte ratifiziert hatten, doch schließt dieser
18 FIfF-Kommunikation 1/24 nur die Stationierung und den Einsatz von Massenvernichtungs- werden mit Frankreich geteilt, das dafür im Austausch Bilder eige- waffen im Weltraum aus. Wir haben 1984 das Buch Die Front ner optischer Aufklärungs-Satelliten zur Verfügung stellt. Ein von im All [2] geschrieben, welches in der deutschen Friedensbe- GPS unabhängiges Navigations-Satelliten-System (Galileo, Aufbau wegung viel gelesen wurde. Neben der Beschreibung des SDI- seit 2011) wurde im Rahmen der Europäischen Union realisiert. Ein Programms und der technischen Probleme, die einen vollständi- europäisches Kommunikationssatelliten-System IRIS2 mit Anwen- gen Schutz vor einem Raketenangriff unmöglich machen, haben dungen im militärischen Bereich befindet sich in Planung [6]. wir schon damals auf eine Vielzahl von satellitengestützten Pro- grammen aufmerksam gemacht, die eine zunehmende Bedeu- NaturwissenschaftlerInnen-Initiative tung für die Kriegsführung auf der Erde bekamen [3].
forum Die NaturwissenschaftlerInnen-Initiative (NatWiss) Verantwortung für Frieden und Zukunftsfähigkeit ist ein Militärsatelliten und Antisatelliten-Waffen gemeinnütziger Verein, der im Februar 1988 gegründet wurde. NatWiss engagiert sich mit naturwissenschaftli- In unserem modernen Alltag sind satellitengestützte Dienste nicht cher Kompetenz für eine Welt ohne Krieg und Gewalt, für mehr wegzudenken. Ob es die Standortbestimmung und Naviga- die Kontrolle und Beseitigung atomarer, chemischer, biolo- tion, die täglichen Wetterkarten, Übertragungen von Sportereig- gischer und konventioneller Waffensysteme, für Friedens- nissen, Überwachung von Klimaindikatoren oder einfach Bilder der und Abrüstungsforschung und für soziale, ökologische und Erde sind, alle diese Produkte und Dienste verwenden Daten, die humane Technikgestaltung. NatWiss geht zurück auf die von Satelliten geliefert werden. Die Nutzung dieser Dienste, wel- Friedensbewegung gegen die Nachrüstung der frühen 1980er- che auch zur Aufklärung, Kommunikation, Steuerung der Waf- Jahre, die ihren Widerhall im Forum Naturwissenschaftler fensysteme oder Einsatzplanung verwendet werden, war in den für Frieden und Abrüstung und im Wissenschaftler-Appell 1980er-Jahren noch weitgehend eine Domäne des Militärs. Eine der Mainzer 23 fand. Beim Kongress Naturwissenschaftler bedeutende Rolle spielten sie im Golf-Krieg 1990/91, der wegen gegen Atomrüstung kamen im Juli 1983 in Mainz 3.000 des umfassenden Einsatzes von Aufklärungs-, Kommunikations- Teilnehmende aus vielen Bereichen der Wissenschaft zusam- und Navigationssatelliten auch als erster Weltraumkrieg bezeichnet men. Auf dem Göttinger Kongress Naturwissenschaftler war- wird [4]. Ein weiterer Meilenstein war der Kosovo-Krieg 1998/99, nen vor der Militarisierung des Weltraums im Juli 1984 wurde bei dem die von der NATO angeführten europäischen Streitkräfte ein Vertragsentwurf zum Verbot von Weltraumwaffen vorge- in Sachen Weltraumdienste vollkommen abhängig von den USA legt sowie ein internationaler Wissenschaftler-Appell, der ein waren [5]. In der Folge wurden in Europa und insbesondere in Moratorium für solche Waffen forderte (Abbildung 2). 1986 Deutschland eigene Radar-Aufklärungs- (SAR-Lupe seit 2006, Sa- suchten tausende von Wissenschaftler:innen und Studierenden rah seit 2022) und Kommunikationssatelliten (COMSATBw seit aus zahlreichen Ländern beim Hamburger Kongress nach 2009) in Betrieb genommen. Die Radar-Aufklärungsergebnisse Wegen aus dem Wettrüsten. Viele verweigerten sich dem Aufruf von US-Präsident Ronald Reagan, in der Strategic Weltraum Defense Initiative (SDI) ein weltraumgestütztes Abwehrsystem gegen Atomraketen zu entwickeln. An vielen Hochschulen Die Grenze zwischen der Erdatmosphäre und dem Weltraum fanden Lehrveranstaltungen zu Wissenschaft und Rüstung liegt bei 80 bis 100 km oberhalb der Erdoberfläche. Satelli- statt. Nach dem Kalten Krieg thematisierte NatWiss die vielfäl- ten müssen auf Bahnen deutlich über dieser Grenze umlaufen, tigen Gefahren von Aufrüstung für Frieden und Nachhaltigkeit damit sie nicht durch die Restatmosphäre zu schnell abge- und mögliche Lösungen für globale Verantwortung und bremst werden und zur Erde zurückstürzen. Die meisten Sa- Zukunftsfähigkeit durch Abrüstung, die Abschaffung der telliten und die Raumstationen umkreisen die Erde in Umlauf- Atomwaffen und ein Verbot von Weltraumwaffen. Bei einem bahnen bis ca. 2.000 km Höhe (LEO = Low Earth Orbit) und Kongress in Berlin 1991 wurde das International Network of verändern dabei ständig ihre Position über dem Erdboden. Engineers and Scientists for Global Responsibility (INES) ge- gründet, das sich in der Tradition von Albert Einstein, Joseph Dagegen befinden sich Satelliten, die auf einer Bahnhöhe von Rotblat, Dorothy Hodgkin und Hans-Peter Dürr sieht. 36.000 km (GEO = Geostationary Orbit) über dem Erdäquator kreisen, ständig oberhalb eines bestimmten Ortes auf der Erde. Diese relativ weit entfernte Bahn wird gerne von Kommuni- kations-Satelliten benutzt, da mit drei von im Winkelabstand von 120 Grad angeordneten Satelliten ein weltumspannen- des Netz aufgebaut werden kann. Die Bahnhöhen dazwischen (MEO = Medium Earth Orbit) werden weniger genutzt.
Die kommerzielle und militärische Nutzung des Weltraums beschränkt sich bisher auf den „erdnahen Raum” innerhalb der GEO-Bahn. Bereits abzusehen ist eine Ausweitung auf den sogenannten cislunaren Raum, also dem Raum zwischen Erde und Mond bis in eine Entfernung von 384.000 km. In Abbildung 2: den interplanetaren Raum – bis ca. 4.5 Millionen km – sind Weltraum ohne bisher nur unbemannte Sonden zur Forschung und Erkun- Waffen dung vorgedrungen.
FIfF-Kommunikation 1/24 19 In den letzten 40 Jahren haben sich die Fähigkeiten der Satelliten- Satellitenunterstützung für das Gefechtsfeld Technologien erheblich vergrößert. Vor allem die USA treiben die- sen Prozess voran, da sie ihre Überlegenheit in den Kommunika- Bei der Proliferated Warfighter Space Architecture (PWSA) tions-Technologien dazu nutzen, um in einem Konflikt schneller der USA handelt es sich um ein im Aufbau befindliches und umfassender mit den Truppen kommunizieren zu können als weltumspannendes Satellitensystem, mit dem anfliegende der jeweilige Gegner. Waren die Satelliten in der Vergangenheit gegnerische Raketen, Hyperschall-Waffen und andere Flug- in der Regel für strategische Aufgaben (Aufklärung, Frühwarnung körper geortet und ihre Bahn verfolgt werden soll. Frei vor Raketenangriffen, Planung) von Bedeutung, werden sie heute übersetzt handelt es sich um eine umfassende Weltraum-In- zunehmend auch für taktische Zwecke (z. B. Waffensteuerung im frastruktur für die Unterstützung auf dem Gefechtsfeld. Zu- Einsatzgebiet, Echtzeitübertragung der Gefechtslage) eingesetzt. nächst sind 500 Satelliten geplant, die untereinander durch forum
Diese starke Abhängigkeit der irdischen Kriegführung von Welt- Laser-Kommunikation vernetzt sind (Abbildung 3) und auf raumdaten führt im Gegenzug zu Aktivitäten, die Funktionstüch- erdnahen Bahnen (LEO) umlaufen. Darunter sind 100-Tra- tigkeit der gegnerischen Satelliten auszuschalten, sprich Antisa- cking Satelliten für die Überwachung und 400 Transport- telliten-Waffen (ASAT) zu entwickeln. Solche Waffen basierten Satelliten für die Datenübertragung. Die direkte Kommuni- bisher häufig auf kinetischer oder Druck entfaltenden Wirkungen, kation zwischen Satelliten mit Lasern erlaubt viel höhere d.h. der Drohung Satelliten mit Raketen oder Killer-Satelliten ab- Bandbreiten, als bei der klassischen Funkübertragung mit zuschießen. Zunehmend werden auch Laser benutzt, um die Sen- Hilfe von Bodenstationen erreicht werden können. Damit soren eines Satelliten zu blenden. Die Militär-Satelliten auf erdna- können manövrierbare Flugkörper, deren Weg im Anflug hen Bahnen sind bisher in relativ kleiner Zahl stationiert, sodass mehrfach veränderbar ist, in nahezu Echtzeit verfolgt und die Funktionstüchtigkeit des Satellitensystems als Ganzes durch ständig aktuelle Bahnkoordinaten an eigene Abwehrwaffen die Zerstörung einiger Satelliten nachhaltig beeinträchtigt werden übermittelt werden. Die ersten 23 Prototyp-Satelliten sind kann. Jüngere ASAT-Tests von China (2007), den USA (2008), In- seit 2023 im Weltraum. Das Gewicht der Satelliten beträgt diens (2017) und Russlands (2019) haben erfolgreiche Abschüsse mit ca. 200 kg nur etwa 1/100-1/25 der Masse klassischer an eigenen ausgedienten Satelliten vorgeführt [7]. Aufklärungs- oder Kommunikations-Satelliten. Es können deshalb 10-15 von ihnen mit einer Trägerrakete gestartet Federführend durch die USA vollzieht sich zur Zeit eine Umwand- werden. Das PWSA-Projekt wird von der 2019 eingerichte- lung der Satellitensysteme, von Systemen mit wenigen großen und ten US-Behörde Space Development Agency gesteuert, wel- technologisch komplexen Satelliten hin zu Schwärmen von unterei- che heute zur ebenfalls 2019 neugegründeten Teilstreitkraft nander vernetzten Kleinsatelliten (s. Infokasten Satellitenunterstüt- Space Force gehört. Allein der Rüstungsgigant Northrop- zung für das Gefechtsfeld und Abbildung 3). Eine Blaupause ist das Grumman hat Bestellungen zum Bau von 92 Satelliten im Starlink-Netzwerk des US-Unternehmens SpaceX, welches in einer Wert von ca. 2 Mrd. Dollar in seinen Auftragsbüchern ste- Höhe von ca. 550 km mit ca. 20.000 Satelliten ein weltumspan- hen. Deutsche Unternehmen sind als Subunternehmer bei nendes Kommunikationsnetz aufbaut. Seit 2004 ist bekannt, dass dem Projekt ebenfalls aktiv. Die Airbus-Tochter Tesat und die USA Überwachungs-Satelliten für die geostationäre Bahn be- der Münchner Laserspezialist Mynaric liefern einen Teil der treiben. Seitdem Russland und China ebenfalls solche Inspektions- auf den Satelliten zu installierenden Laser-Terminals. PWSA Satelliten entwickelt haben, wird in den USA von einer Bedrohung ist so konzipiert, dass eine ständige Modernisierung und Er- für die eigenen Satelliten gesprochen, weil im Prinzip auf solchen weiterung mit anderen Aufgaben, z.B. der Navigation, mög- Satelliten neben Kameras auch Waffen installiert sein können, die lich sind. Die durch PWSA aufgebaute Infrastruktur wird als diese Satelliten dann zu verkappten ASAT-Systemen machen [8]. ein Schlüsselelement für die Aufrechterhaltung der militäri- schen Überlegenheit der USA im Weltraum angesehen.
Waffenstationierung im Weltraum – erneut aktuell
Bisher haben alle Seiten vermieden, Waffen im Weltraum perma- nent zu stationieren. Antisatelliten-Tests sind ausschließlich vom Erdboden gestartet worden, aber die Diskussion um die Inspek- tions-Satelliten, welche in der GEO-Bahn operieren, zeigt, dass es keine technischen Hürden für eine Waffenstationierung im Welt- raum gibt. Immer wieder ins Spiel gebracht werden wiederver- wendbare Raumgleiter als Waffenträger. Die USA haben mit zwei seit 2010 eingesetzten unbemannten X37-B Raumgleitern, einer kleinen Version des Space Shuttles, bereits Erfahrungen gesam- melt. Die Missionen der bisher sechs bis zu 2,5 Jahren dauernden Abbildung 3: Laser-Kommunikation im Weltraum Raumflüge unterliegen der Geheimhaltung, aber Spekulationen (Illustration). Quelle: Tesat-Spacecom gehen davon aus, dass die Flüge hauptsächlich Experimenten und Langzeittests von Materialien dienen [9]. Eine chinesische Ver- Die Stationierung von Waffen im Weltraum oder ihre Ankündi- sion (Shenlong) wurde seit 2020 dreimal gestartet, aber da es zu gung (Abbildung 5) würde die militärische Nutzung des Welt- diesem Raumgleiter weder offizielle Mitteilungen noch öffent- raums auf eine neue Stufe heben. Die Einrichtung einer Welt- lich zugängliche aktuelle Bilder gibt (Abbildung 4), ist dessen raumstreitkraft (Space Force) in den USA und die Erklärung der Einsatzzweck unbekannt. Nicht überraschend wird er von inte- NATO 2019, ihr Einsatzgebiet auf den Weltraum auszudehnen, ressierten Kreisen als potentieller Waffenträger angesehen [10]. hatten die Spirale bereits vor Kurzem weitergedreht. In Abwe-
20 FIfF-Kommunikation 1/24 forum Abbildung 4: Prototyp des chinesischen Raumgleiters Shenlong Abbildung 5: Ein Wink mit dem Zaunpfahl: Erste offiziell herausge- aus 2007. Quelle: Chinesisches Internet gebene künstlerische Darstellung des Einsatzes eines Raumgleiters gegen einen feindlichen Satelliten, der wiederum einen eigenen Satelliten bedroht (Quelle: Space Force /John Ayre, 2023). senheit jeglicher Abkommen für Rüstungskontrolle oder ver- trauensbildender Maßnahmen ist es durchaus möglich, dass eine militärische Auseinandersetzung auf der Erde mit Angrif- fällig. Die USA haben 2022 ein einseitiges Moratorium verkündet, fen auf gegnerische Weltrauminfrastruktur beginnt. Einen Vor- keine ASAT-Tests mehr durchzuführen, die Weltraummüll hinter- geschmack hat der Krieg in der Ukraine geliefert. Zwei Stun- lassen [17]. China, Indien und Russland haben sich dem offiziell den vor dem russischen Angriff am 24. Februar 2022 wurde das nicht angeschlossen, aber es ist zu hoffen, dass sie aus Eigenin- Kommunikations-Satelliten-Netzwerk des kommerziellen Anbie- teresse solche Tests ebenfalls nicht mehr durchführen. Die USA ters VIASAT gehackt, welches von der ukrainischen Regierung, kostet das Moratorium nichts, weil sie solche Tests nicht mehr dem Militär und dem Geheimdienst genutzt wurde [11]. Im Sep- benötigen und die Entwicklung modernerer ASAT-Technologien tember 2022 schaltete SpaceX den Zugang zu Starlink-Satelli- (Laser, Störungen der Kommunikationskanäle zwischen Satelli- ten-Terminals in der Ukraine ab, als ferngesteuerte unbemannte ten und Bodenstationen) nicht eingeschränkt wird [18]. Boote (Seedrohnen) Einheiten der russischen Schwarzmeerflotte auf der Krim angreifen wollten. Offensichtlich war der Firma, Transparenz und Internationalisierung sind die Schlüssel für eine wenn nicht gar der US-Regierung, der Einsatz des Starlink-Sys- Begrenzung der Militarisierung des Weltraums. Multi-nationale tems für offensive Operationen der Ukraine zu riskant [12]. Satellitensysteme können nicht für nationale Militärprogramme verwendet werden. Bei ihnen wäre Transparenz hergestellt und es könnte dem ständigen Versuch ein Riegel vorgeschoben werden, Zusammenarbeit und Rüstungskontrolle jede Innovation des vermeintlichen Gegners (siehe die Raumglei- im Weltraum ter) als Bedrohung aufzufassen, weil Weltraumtechnologien oft einen Dual-Use-Charakter [19] haben. Solche Satellitensysteme Die Ansätze für eine Rüstungsbegrenzung im Weltraum [13] sind könnten ihre Dienste über Konfliktgebieten einstellen, sodass dünn gesät und sind unter den Bedingungen, dass aktuell ander- militärische Operationen behindert würden. Vorhergehende ver- weitig bestehende Rüstungskontroll-Abkommen seit Jahren auf- trauensbildende Maßnahmen sind eine Voraussetzung für den gekündigt werden [14], auch nicht zu erwarten. Das drängendste Aufbau internationaler Systeme, die am ehesten durch Koope- Problem für alle Raumfahrtnationen ist der Weltraummüll. Auf rationen im zivilen Bereich möglich wären, zum Beispiel in der den LEO-Bahnen werden funktionsunfähige Satelliten oder aus- Grundlagenforschung (Weltraumteleskope, Weltraumstationen) gebrannte Raketenstufen hinterlassen, die über kurz oder lang oder bei einer gemeinsamen Eingrenzung des Weltraummülls. wieder in die Erdatmosphäre eintreten und verglühen. Neben Wie das Beispiel des Weltraumvertrages von 1967 gezeigt hat, diesen relativ großen Teilen hat sich eine Vielzahl von Trümmern lassen sich Abkommen am ehesten erreichen, bevor Partikularin- [15] angesammelt, die vornehmlich aus Explosionen ausgebrann- teressen bezüglich des Vertragsgegenstandes dominant werden. ter Raketenstufen, Antisatelliten-Tests und Zusammenstößen un- Bei der (bemannten) Erforschung unseres Planetensystems, die tereinander stammen. Wegen ihrer hohen Bahngeschwindigkei- mit den Mondprogrammen der USA, Chinas und anderer Natio- ten von mehreren zehntausend km/h sind auch kleine Teile eine nen erneut Fahrt aufnimmt, wird es zunehmend schwierig, Rege- Gefahr für die aktiven Satelliten und für die Weltraumstationen lungen zu verabschieden, wie mit möglichen Konflikten z. B. auf Chinas und der USA. Weltweit werden zur Zeit technische Sys- dem Mond umgegangen werden soll. Nicht einmal Verhandlun- teme aufgebaut, die alle Trümmer größer als etwa 1 Zentimeter gen sind dazu in Sicht, vielmehr verfolgt man einseitige Regelun- katalogisieren und verfolgen sollen [16]. Die europäische Welt- gen, wie die Artemis-Accords der USA, die allenfalls und letzt- raumbehörde ESA, aber auch mehrere private Firme, entwickeln lich notgedrungen von den Partnern des US-Mondprogramms Technologien, um den Weltraummüll einzusammeln. Die Vermei- Artemis unterzeichnet werden [20]. Es wäre es wert, Verhand- dung von neuem Weltraummüll steht im Mittelpunkt weltweiter lungen über ein internationales Abkommen vorzuschlagen, keine Bemühungen, das Problem in den Griff zu bekommen. Ein Ab- Militärsatelliten oder Waffensysteme jenseits der Mondbahn zu kommen, welches Nationen oder Privatunternehmen verpflichtet, stationieren, bevor man anfängt, bemannte Marsprogramme ausgediente Satelliten gezielt abstürzen zu lassen, lässt aber auf ernsthaft auf den Weg zu bringen. Unter den gegenwärtigen Be- sich warten. Im Hinblick auf die aus tausenden Satelliten beste- dingungen des Krieges in der Ukraine und den Spannungen zwi- henden neuen Satelliten-Systeme ist eine solche Regelung über- schen China und den USA sind die Aussichten, den Weltraum frei
FIfF-Kommunikation 1/24 21 von dort stationierten Waffen zu halten, allerdings nicht beson- [14] O. Thränert, Rüstung außer Kontrolle: Die neue atomare Bedrohung, ders vielversprechend. Insofern ist es in der Tat fünf vor zwölf. Blätter für deutsche und internationale Politik, 2/2019 [15] Etwa 130 Millionen Teile größer als 1 Millimeter; European Space Agency: World-first Zero Debris Charter goes live, vision.esa.int/world- first-zero-debris-charter-goes-live, 6.11.2023 Anmerkungen [16] In Deutschland zum Beispiel das Weltraumradar TIRA: J. Klare, Das [1] S. Lakoff, H.F. York, A Shield in Space? Technology, Politics, and the wachsame Auge des Radarsystems TIRA, Sterne und Weltraum, Strategic Defense Initiative, University of California Press, 1989 4/2021, S. 34 [2] D. Engels, J. Scheffran, E. Sieker, Die Front im All, Pahl-Rugenstein [17] A. Panda, B. Silverstein, The U.S. Moratorium on Anti-Satellite Missile Verlag 1984. Die Folgen für Europa wurden untersucht in D. Engels, J. Tests Is a Welcome Shift in Space Policy, Carnegie Endowment for forum
Scheffran, E. Sieker (Hrsg.), SDI – Falle für Westeuropa, Pahl-Rugen- International Peace, 20.4.2022 stein Verlag 1987. [18] T. Hitchens, ‘Take down’: Space Force targeting unit develops strike [3] dazu: P. Handley, Reagan‘s ‚Star Wars‘ at 40: Battle of the satellites, options for Joint Force, Breaking Defense, 5.1.2024 Space War, 22.3.2023 [19] R. Hagen, Ein doppelter Verwendungszweck, W&F Dossier 95, a. a. O., [4] L. Greenemeier, GPS and the World’s First “Space War”, Scientific S. 14 (2022) American, 8.2.2016 [20] The Artemis Accords: www.nasa.gov/artemis-accords; J. Foust, Germa- [5] European Defence. A proposal for a White Paper, Report of an inde- ny signs Artemis Accords, Space News, 15.9.2023 pendent Task Force, 2004, EU Institute for Security Studies; s. a. D. Engels, Europäische Pläne zur militärischen Nutzung des Weltraums, in U. Cremer, S. Lutz, Die Bundeswehr in der neuen Weltordnung, 2000, VSA-Verlag, S. 36; R. Hagen, J. Scheffran, Weltraum – ein In- Nukleare Anti-Satellitenwaffen strument europäischer Macht?, in Wissenschaft und Frieden 2001/3 [6] IRIS²: the new EU Secure Satellite Constellation, European Commission, Nach Redaktionsschluss dieses Heftes wurde Russland defence-industry-space.ec.europa.eu/eu-space-policy/iris2_en bezichtigt, im Weltraum zu stationierende Atomwaffen [7] Global Counterspace Capabilities Report, Secure World Foundation, zum Einsatz gegen Satelliten zu entwickeln, was die 2023, swfound.org/counterspace/ russische Regierung umgehend als „bösartige Fälschung“ [8] Fact Sheets on Anti-Satellite Testing, Military and Intelligence RPOs, zurückwies. Eine Stationierung ist nach dem auch von and the X-37B, Secure World Foundation, 11.7.2023, swfound.org/ Russland ratifizierten Weltraumvertrag von 1967 verboten, news/all-news/2023/07/counterspace-fact-sheets-2023 und ihr Einsatz würde die Satelliten aller Nationen, auch der [9] Eine siebte Mission wurde am Ende 2023 gestartet. M. Smith, DOD’s eigenen, gleichermaßen schädigen. Über eine solche Option X-37B Spaceplane Flies Again, SpacePolicyOnline.com, 29.12.2023 wurde bislang allenfalls spekuliert, aber offiziell nirgendwo [10] A. Lele, China’s spaceplane returns: is this a new weapon in their coun- berichtet, sodass sich auch Beobachter:innen der Entwicklung terspace arsenal?, The Space Review, 30.5.2023 von ASAT-Technologien überrascht zeigten. Der Vorwurf [11] The war in Ukraine from a space cybersecurity perspective, European geht von dem Vorsitzenden des Geheimdienstausschusses Space Policy Institute (ESPI) Report, Oktober 2022 im US-Repräsentantenhaus, Mike Turner, aus, und wurde [12] D. Trubetskoy, Seedrohnen – Kiews Wunderwaffe im Schwarzen Meer, zu einem Zeitpunkt lanciert, als die Beschlussfassung Hamburger Abendblatt, 18.1.2024 über ein 60 Mrd. $ schweres Unterstützungspaket für die [13] A. Sönnichsen, Noch Chancen für Rüstungskontrolle im Weltraum?, in Ukraine im Repräsentantenhaus zu scheitern drohte. Der J. Scheffran u.a., Weltraum zwischen Konflikt und Kooperation. W&F deutsche Ex-Astronaut Ulrich Walter meinte dazu: „Ich Dossier 95, Beilage zu Wissenschaft und Frieden 4/2022 (wissenschaft- könnte mir gut vorstellen, dass die amerikanische Regierung und-frieden.de/dossier/weltraum-zwischen-konflikt-und-kooperati- dieses Atombomben-Gerücht aufbringt, um die Russen on-2), S.17.; J. Scheffran, Geopolitik oder Gemeinsame Sicherheit im zu verteufeln. Im Krieg wird halt überall gelogen, wo die Weltraum, ebd., S. 2 Wahrheit liegt, ist dann nur schwer festzustellen.“
Dieter Engels, Jürgen Scheffran und Ekkehard Sieker
Dr. Dieter Engels, Astronom, Lehrbeauftragter an der Universität Ham- burg
Dr. Jürgen Scheffran, Physiker und Professor für Geographie, Forschungs- gruppe Klimawandel und Sicherheit, Universität Hamburg
Ekkehard Sieker, Wissenschaftsjournalist in Berlin für das Max-Planck-In- stitut für Wissenschaftsgeschichte
Alle drei Autoren sind Mitglied der NaturwissenschaftlerInnen-Initiative (NatWiss) Verantwortung für Frieden und Zukunftsfähigkeit.
22 FIfF-Kommunikation 1/24 Einladung zu Beiträgen für die FIfF-Kommunikation 2/2024
40 Jahre FIfF – Denkwürdige Zeiten Im Sommer 1984 versammelten sich weit über 200 sind im Gegenteil eher noch viel ausgeprägter mit allen Chancen Informatiker:innen und Computerfachleute in Bonn und grün- und Risiken, die damit verbunden sind. Die Stimme des FIfF ist deten das Forum InformatikerInnen für Frieden und gesell- wie eh und je weiterhin dringend erforderlich. schaftliche Verantwortung (FIfF). In einer Kurzbeschreibung im ersten FIfF-Rundbrief heißt es: Die FIfF-Kommunikation 2/2024 wird dem 40-jährigen Beste-
forum hen des FIfF gewidmet sein. Es geht aber nicht um eine nostal- „Das Forum sieht seine Aufgabe darin, Wissen und Er- gische Rückschau, sondern viel mehr darum, kritisch Bilanz zu fahrung über die Wirkung der Informationstechnik auf ziehen und die Schwerpunkte zukünftiger Arbeit zu entwickeln Gesellschaft und Umwelt zusammenzutragen, zu erar- und anzugehen. Alle FIfF-Mitglieder und Freund:innen des FIfF beiten und zur Diskussion zu stellen. Dabei wird es sich sind eingeladen, Beiträge einzureichen. Damit sich viele beteili- zunächst vorwiegend mit dem engen Zusammenwirken gen können, sind zwei Kategorien mit wesentlich beschränkterer von Informatik, Militärtechnik und modernen Militär- Länge als sonst üblich vorgesehen: Schlaglichter mit bis zu 500 strategien auseinandersetzen.“ Zeichen und Positionen mit bis zu 5000 Zeichen.
Inhaltlich sollten die Beiträge den Bereich Informatik und Gesell- schaft thematisieren. Ohne dass das eine Bedingung ist, wäre es wünschenswert, wenn auf die Rolle des FIfF insbesondere in Gegenwart und Zukunft eingegangen wird. Die Einladung rich- tet sich ausdrücklich auch an Weggefährten und befreundete Organisationen.
Bitte schickt die Beiträge bis Ende April 2024 an redaktion@fiff. de. Es wäre auch nett, wenn ihr zeitnah mit einer kurzen E-Mail einen Beitrag ankündigt. Das würde die Heftplanung sehr er- Seitdem sind 40 Jahre vergangen – ein Anlass zum Innehalten leichtern. (und durchaus auch zum Feiern). Die drängenden Themen von damals haben an Brisanz nichts eingebüßt. Die Auswirkungen Das Herausgabeteam Michael Ahlmann, Stefan Hügel, Hans- von Informatik und Informationstechnik auf die Gesellschaft Jörg Kreowski und Ralf Streibl
FIfF-Kommunikation 3/2024 – Call for Contributions
Schwerpunkt Datenschutz Redaktion: Jörg Pohle & Stefan Hügel Seit mehr als fünfzig Jahren gibt es dedizierte Datenschutzge- Im Heftschwerpunkt Datenschutz der FIfF-Kommunikation setze, das Bundesdatenschutzgesetz ist 45 Jahre alt, die EG- 3/2024 wollen wir einen Blick auf das breite Feld des Daten- Datenschutzrichtlinie fast 30 und die EU-Datenschutz-Grund- schutzes werfen. Wir sind auf der Suche nach dezidiert infor- verordnung auch schon wieder fünf. Die Diskussion um die matisch-technischen Perspektiven auf Problembeschreibung unerwünschten Eigenschaften und Auswirkungen moderner In- & -analyse sowie Schutzmaßnahmen & -mechanismen, nach formationen ist sogar noch älter, und selbst die informatische Entwicklungsansätzen zur technischen Gestaltung von daten- Forschung zu möglichen Gegen- und Schutzmaßnahmen geht schutzfreundlichen Systemen, vor allem aber auch nach erfolg- der rechtlichen Regulierung zeitlich voraus. Gerade vor diesem reichen Umsetzungen und deren Einsatz in der Praxis. Uns in- Hintergrund überrascht es umso mehr, dass wir ganz offensicht- teressieren dabei aber nicht nur Erfolge, denn gerade auch aus lich noch weit entfernt davon sind, datenschutzfreundliche Sys- gescheiterten Projekten können wir viel lernen. teme in der Breite zu entwickeln und in die Praxis zu bringen. Liegt das nur daran, dass die „Digitalisierung“ selbst auch ein Wir freuen uns über Arbeiten, die in alle Richtungen schauen: in „moving target“ ist, sich immer weiter entwickelt und dabei im- die Vergangenheit, die Gegenwart und die Zukunft, auf die Son- mer neue Herausforderungen produziert? Oder liegt es nicht nen- und die Schattenseiten, auf die Theorie und die Praxis, auf auch daran, dass wir tatsächlich überhaupt kein gemeinsames die Versprechungen und ihre (Nicht-)Umsetzungen, auf techni- Verständnis des Problembereichs entwickelt haben, sondern sche Systeme und Komponenten, auf Ansätze zur Systemgestal- mehr oder weniger unterschiedlichen Vorstellungen anhängen tung und praktische Erfahrungen in der Entwicklung, über Fra- und daher ebenso unterschiedliche Ziele verfolgen? gen ebenso wie über mögliche Antworten.
FIfF-Kommunikation 1/24 23 Die möglichen Themen sind so breit gefächert wie der Einsatz Wir freuen uns über Einreichungen von Beiträgen mit ca. 20.000 moderner Informationssysteme und die Auswirkungen auf In- Zeichen (inklusive Leerzeichen) bis zum 16. Juni 2024 per E-Mail dividuen, Gruppen, Organisationen und Gesellschaft: von Tra- an Jörg Pohle (joerg.pohle@fiff.de) und Stefan Hügel (sh@fiff. cking im Internet über die Bestrebungen zur Einführung einer de). Alle Beiträge zum Schwerpunkt werden peer-reviewed, und umfassenden Chatkontrolle bis zu sogenannter „Künstlicher In- die Autor:innen erhalten bis zum 21. Juli Rückmeldungen zu ih- telligenz“, von Informationssystemen im Bildungs-, Gesundheits- ren Beiträgen. Die finalen Fassungen der Beiträge sind bis zum oder Sozialbereich über alte und neue Datenplattformen bis zu 4. August einzureichen. technikgestützter zwischenmenschlicher oder Gruppenkommuni- kation, von Betreibern kleiner und großer Informationssysteme Wir freuen uns über die Nutzung der Open-Access-Lizenz Crea- FIfF e.V.
über deren Nutzer:innen bis zu jenen, die als Nichtnutzende von tive Commons – Namensnennung / CC BY für Ihren Text und der Nutzung betroffen sind und dabei oft keine Einwirkungsmög- verwendete Bilder. Weitere Informationen finden sich im Leitfa- lichkeiten haben, von konkret betroffenen Grundrechten (etwa den für Autor:innen. Informationsfreiheit, Meinungsfreiheit, Vereinigungsfreiheit oder Nichtdiskriminierung) über Operationalisierungsansätze zur Überführung von normativen Vorgaben in konkrete Gestaltungen Termine (etwa das Standard-Datenschutzmodell oder ISO-Standards wie 31700-1 und -2) bis zu konkreten technischen Umsetzungen und Einreichungsfrist: 16. Juni 2024 Systemen (etwa sogenannten „Datenschutz-Cockpits“, „Einwilli- gungsagenten“, Interventionsmechanismen oder einfach gut ge- Rückmeldung vom Review: 21. Juli 2024 stalteten, datenschutzfreundlichen Systemen). Ausschließen wür- den wir gerne nur klassische IT- und Datensicherheitsprobleme, Redaktionsschluss / Einreichung der finalen Fassung: -ansätze und -systeme, auch wenn sie von interessierter Seite, 4. August 2024 aber leider auch von Teilen der informatischen Community, als „technischer Datenschutz“ verkauft werden.
#FIfFKon2024 25.–27. Oktober 2024 Hochschule Bremerhaven Wir möchten das Themenspektrum: https://2024.fiffk on.de/ Nachhaltigkeit in der IT green coding – open source – green by IT
aus verschiedenen Perspektiven beleuchten. und zu Diskussionen darüber:
Neben einigen Vorträgen sollen vorzugsweise (Hands-on-) • ob und wie durch Open-Source-Software der CO2- Workshops angeboten werden, in denen praktische Beispiele Verbrauch von IT-Systemen reduziert werden kann und Lösungsansätze interaktiv gezeigt, entwickelt und aus- • inwiefern Open Source die Gestaltung digital souveräner probiert werden können. Dafür können einige Informatik- und langlebiger Infrastrukturen in Unternehmen, (öffentli- Labore der Hochschule genutzt werden. chen) Verwaltungen und Hochschulen unterstützt • und wie wir als FIfF Open-Source-Projekte stärken kön- Wir freuen uns über Vortrags- und Workshopangebote zu nen. Themen wie: Neben dem skizzierten Schwerpunkt sind Workshops zu wei- • Ressourcen-sparsames Programmieren teren FIfF-Themen wie immer herzlich willkommen. • Gestaltung nachhaltiger Infrastrukturen • Recycling und Upcycling in der Software- und Hardware- Wir erbitten Vortrags- und Workshopangebote formlos per Entwicklung E-Mail an fiffkon24@fiff.de • Refurbishing von IT-Geräten Karin Vosseberg und Ulrike Erb, Bremerhaven • Beitrag von Open Source, offenen Schnittstellen und of- fenen Standards zu längeren Software- und Hardware- Die Tagungsankündigung und weitere Informationen Lebenszyklen befinden sich unter https://2024.fiffkon.de/ • umwelt- und klimaschutz-relevante IT-Anwendungen • Nachhaltigkeit versus (Auf-)Rüstung
#FIfFKon2024 25.–27. Oktober 2024 Hochschule Bremerhaven
24 FIfF-Kommunikation 1/24 Dagmar Boedicker
Bekommen wir den Rechtsextremismus in den Griff? Unser Verein hat explizit oder implizit die Demokratie immer im Mittelpunkt seiner Arbeit. Für unsere Mitglieder und Aktiven konn- te sich über lange Zeit wohl kaum ein Zweifel an der Demokratie einschleichen, wenn es auch unterschiedliche Erwartungen daran
#FIfFKon2023 gab, wie sie zu gestalten ist.
Seit etlichen Jahren, sogar Jahrzehnten, scheint mir diese Einstel- Wer die AfD wählt, ist stillschweigend einverstanden mit ihren lung nicht mehr in der gesamten Gesellschaft gesichert zu sein, Ausschlussfantasien. Und wer das bestreitet, ist seit Pegida und und ich glaube, dass wir uns sputen müssen, es könnte sonst anderen sogenannten Bewegungen entweder gedankenlos oder bald zu spät sein. Gerade wir in Deutschland haben schlechte böswillig, jedenfalls nicht an einem gemeinsamen Miteinander Erfahrungen damit gemacht, den Feinden der Demokratie freie in Vielfalt interessiert und bereit, es zu verteidigen. Unser Land Bahn zu lassen. Demokratie braucht Einsatz! Auch wenn der De- hat bitter für das bezahlt, was solche Mitläufer vor fast hundert mokratiebegriff umstritten ist – es gibt eine Partei in Deutsch- Jahren möglich gemacht haben. land, die ihre eigene Deutung länger propagiert hat als mit der Demokratie verträglich. Seit Jahrzehnten beherrscht die neu- rechte Szene das Umdeuten von Wörtern aus der Sprache des Was tun? Dritten Reichs zu Formulierungen, die man doch wohl noch aus- sprechen dürfe, wie Ethnopluralismus für Rassentrennung oder Der Demokratiebegriff kann aus guten demokratischen Grün- Remigration statt Deportation. Es gibt einen englischen Begriff den nicht unabhängig vom Demokratieverständnis der jeweili- dafür: dog whistling, das heißt die, die gemeint sind, hören das gen Bevölkerung analysiert werden. Wir alle, die wir gruppen- Signal. bezogene Menschenfeindlichkeit nicht tolerieren, sondern den Respekt für die anderen hegen, den wir für uns erwarten, wir sollten zeigen, dass wir aus der deutschen Geschichte gelernt haben.
Meine Überzeugung ist, dass eine rechtsextremistische Partei in Deutschland verboten gehört. Das kann dauern, deswegen sollten die Regierungen den Verbotsantrag sofort in die Wege leiten, zunächst in den Bundesländern, in denen der Verfas- sungsschutz zum Schluss gekommen ist, dass die AfD gegen das Grundgesetz arbeitet. Als Bürgerin erwarte ich von unseren Ins- titutionen vollen Einsatz für die Demokratie, auch wenn das be- deutet, dass rechte Ausläufer in der Bevölkerung es übel neh- men. Wir können die Verteidigung des Rechtsstaats nicht von Menschen abhängig machen, die Demokratie ohnehin ableh- nen. Bisher haben recherchierende Journalistïnnen sich größere Verdienste in der Verfolgung illegaler Taten und Worte erwor- ben als die Sicherheitsbehörden.
Gleichzeitig fände ich es sinnvoll, die Finanzierung zu unter- binden, auch wenn das viel Aufwand ist. Mein Rechtsempfin- den sträubt sich gegen Subventionen für rechtsextrem moti- vierte Ablehnung der Demokratie. Dazu gehört aber auch das Austrocknen ihrer Finanzierungswege, von der Innenministerin Foto vom Kongress des CCC 2023, privat, cc schon lange angekündigt. Wenig sinnvoll finde ich es, einzelnen Protagonisten wie B. Höcke bestimmte Persönlichkeitsrechte ab- Nordeuropäische Musterdemokratien von Schweden bis Hol- zuerkennen. Abgesehen davon, dass es eine sehr diskriminie- land kippen nach rechts. M. Le Pen hat gute Chancen bei der rende Maßnahme ist, scheint mir damit nichts gewonnen. nächsten Wahl in Frankreich, E. Zemmour würde sie gern rechts überholen. A. Duda beklagt den Terror der Rechtsstaatlichkeit Und was können wir tun, wir als Bürgerïnnen dieses Gemein- nach der Wahl und mit Ungarn sitzt der EU ab Juli 2024 der wesens? Lasst uns Abschied von Illusionen nehmen: Pegidisten, Autokrat V. Orban vor. H. Aiwanger meint, die schweigende AfD-Mitglieder und Gleichgesinnte gehören zu denen, die an- Mehrheit müsse sich die Demokratie zurückholen, und S. Abas- dere Menschen nur unter Bedingungen respektieren und ihnen cal verteidigt in Spanien Stierkampf und Jagd als Kulturgüter. Rechte nur zubilligen, wenn diese Menschen ihren Erwartungen D. Trump erkennt seine Abwahl nicht an und wird dafür von sei- an Gesinnung, Hautfarbe, Religion usw. entsprechen. Vielleicht nen Anhängern wahrscheinlich wieder gewählt. Die AfD gesteht sind AfD-Mitglieder nicht ganz so gewaltbereit wie diejenigen, Menschenwürde nur autochthonen Deutschen zu und B. Höcke die zur Identitären Bewegung, der Rechten, zum Dritten Weg würde als Ministerpräsident den öffentlich-rechtlichen MDR in oder anderen gehören. Es gibt unter ihnen aber genügend, die Thüringen abschaffen. Hassreden als berechtigte Meinungsäußerung betrachten. Sol-
FIfF-Kommunikation 1/24 25 Recht für sie nicht oder als seien die sogenannten sozialen Me- dien rechtsfreie Räume.
Lasst uns die Rechten nicht unterschätzen. Die sozialen Medien nutzen sie gern und höchst effektiv. Sie sind seit Jahrzehnten in- ternational vernetzt und haben großzügige Förderer, von den Koch-Brüdern in den USA zu vermögenden Personen und Un- #FIfFKon2023
ternehmen in Europa und anderswo. Im ersten Halbjahr 2023 er- hielt die AfD von einem hessischen Bauingenieur die größte Ein- zelspende von allen Bundestags-Parteien in Höhe von 265.000 Euro. Der Spender fürchtet die „Errichtung einer Weltdiktatur der internationalen Hochfinanz mithilfe eines linken Ökokom- munismus“.1 2018 war dieser Betrag allerdings von einem Erbe in Höhe von sieben Millionen Euro übertroffen worden. Vereine Foto vom Kongress des CCC 2023, privat, cc und Institute wie das Institut für Staatspolitik (IfS) helfen, Rege- lungen zur Parteienfinanzierung zu umgehen. cher Gewalt im Internet entsprechen nur zu oft Drohungen und brutale Handlungen in der realen Welt. Feindseligen Äußerungen können wir positive Mitmenschlich- keit entgegensetzen. Wenn diese gelassene Reaktion nicht mehr Lasst uns strafbare Äußerungen als das behandeln, was sie sind: möglich ist, ist eine Meldung besser. Wir müssen das Rad nicht strafbar! Eine Anzeige, mindestens ein Widerspruch, die Mel- neu erfinden. Verschiedene Initiativen verteidigen Menschen- dung bei der Plattform, das sind notwendige Mittel der Gegen- würde, Mitmenschlichkeit und Demokratie seit Jahren auch im wehr gegen Menschen, die sich dreist so verhalten, als gelte das Netz. Hier einige Quellen2, Ihr kennt vielleicht mehr:
Quellen zum Thema Rechtsextremismus (DACH)
Deutschland Normies wissen vielleicht nicht, was bestimmte Symbole bedeu- ten, wie dieses auf Discord: ((( ))) Die drei Klammern fingieren https://www.klicksafe.de/rechtsextremismus als antisemitische Chiffre für „die Juden*Jüdinnen“. Sie wurden Hier gibt es Information zum Rechtsextremismus im Netz und auf 4chan um Namen gesetzt, um die Träger als jüdisch bzw. die Möglichkeit, rechtsextreme Inhalte an Meldestellen für „jüdische Interessen“ vertretend zu kennzeichnen. Hass und Hetze zu melden. klicksafe nennt weitere Websites und Materialien zum Thema Rechtsextremismus, wie Belltower. news, die Amadeu Antonio Stiftung, Bundeszentrale für politi- https://cemas.io/ueber-cemas/ sche Bildung, und bietet Hintergründe und Fallbeispiele sowie Die Vision von CeMAS A Better Internet is Possible — a Better Analysen und Maßnahmen zu Rechtsextremismus, beispiels- World is Necessary bedeutet, auch in digitalen Räumen Stra- weise ein Dossier Rechtsextremismus: https://www.bpb.de/ tegien gegen verschwörungsideologische, antisemitische und themen/rechtsextremismus/dossier-rechtsextremismus/ rechtsextreme Hetze und Hass zu entwickeln, um diesen Her- ausforderungen frühzeitig aktiv begegnen zu können. CeMAS bündelt interdisziplinäre Expertise zu den Themen Verschwö- https://www.demokratie-leben.de/projekte-expertise/ rungsideologien, Desinformation, Antisemitismus und Rechts- kompetenzzentren-und-netzwerke/kompetenznetzwerk- extremismus. im-themenfeld-rechtsextremismus Im Bundesprogramm „Demokratie leben!“ finden sich Modell- projekte wie: https://www.demokratie-leben.de/projekte- Bundesländer expertise/projekte-finden/themenfeld/Hass%20im%20Netz Baden Württemberg
Ein Begleitprojekt des Bundesprogramms ist die Mediathek: https://kompetenznetzwerk-rechtsextremismuspraevention. https://www.vielfalt-mediathek.de/rechtsextremismus. de/hilfe-vor-ort/ Das Kompetenznetzwerk Rechtsextremismusprävention (Komp- Darin findet sich diese Information über den Mitmach-Faschis- Rex) bietet eine Suchplattform mit einem Überblick über 237 mus. Wie Memes Zugehörigkeit und Gruppenidentität herstel- wichtige Beratungs-, Bildungs- und Präventionsstellen aus der len: Zivilgesellschaft in ganz Deutschland.
„Memes sind wie Mathematik. Ich kann mit Leuten sprechen, die meine Sprache nicht kennen, aber wir wis- https://www.demokratie-bw.de/reflex sen trotzdem beide, was gemeint ist.“ Aktiv gegen Vorurteile und Menschenfeindlichkeit
26 FIfF-Kommunikation 1/24 https://www.demokratie-bw.de/lokal-vernetzen Projektförderung gegen Gruppenbezogene Menschenfeindlich- keit in lokalen Gemeinwesen.
Bayern
#FIfFKon2023 https://www.bige.bayern.de/infos_zu_extremismus/ rechtsextremismus/index.html Bayerische Informationsstelle gegen Extremismus (BIGE) Es gibt ein Bürgertelefon und eine Mail-Adresse: (089) 2192- 2192 und gegen-extremismus@stmi.bayern.de
NRW Foto vom Kongress des CCC 2023, privat, cc
https://www.medienanstalt-nrw.de/themen/hass/verfolgen- statt-nur-loeschen-rechtsdurchsetzung-im-netz.html Aktionsplan zur Verhinderung und Bekämpfung von Radikalisie- Initiative der Landesanstalt für Medien NRW: Verfolgen statt nur rung und gewalttätigem Extremismus 2023 – 2027: löschen und Hassrede melden. Dort haben die Behörden bereits https://www.newsd.admin.ch/newsd/message/ 951 Ermittlungsverfahren eingeleitet, 430 Beschuldigte ermittelt attachments/74621.pdf und 41 rechtskräftige Verurteilungen ausgesprochen.
Österreich https://www.forena.de/aktuelles/ Forschungsstelle der Universität Düsseldorf. https://www.doew.at/ ist das Dokumentationsarchiv des ös- terreichischen Widerstands. Dort findet sich auch eine Liste von rechtsextremen Organisationen, von denen einige auch in https://www.idaev.de/ Deutschland und der Schweiz vertreten sind. Eine deutsche Or- Informations- und Dokumentationszentrum für Antirassismus- ganisation, deren Anhänger in Österreich verbreitet sind, ist die arbeit e. V. (IDA) DKEP/DKG: https://www.doew.at/erkennen/rechtsextremis- mus/rechtsextreme-organisationen/deutsches-kulturwerk-eu- ropaeischen-geistes-dkeg-deutsche-kulturgemeinschaft-dkg. Mehr gibt es auf der Seite https://www.doew.at/erkennen/ Hessen rechtsextremismus/neues-von-ganz-rechts
Hessen gegen Hetze: https://hessengegenhetze.de/ Kanäle der Rechten: deutsche und internationale
Thüringen und Region Es ist gut zu wissen, welche Medien die rechte Szene nutzt. Hier eine kleine Auswahl: Junge Freiheit, Compact, Deutschland-Ku- Topografie des Rechtsextremismus: rier, Antaios-Verlag, Kontrafunk, Nius, Auf1, 4chan, Gettr, X, https://topografie-archiv.komrex.uni-jena.de/ TikTok, Discord, Telegram, ZUERST!, Tichys Einblick, PI News, Journalistenwatch, Russia Today, Breitbart News. Viele weitere verbreiten Desinformation im Netz.
Schweiz
Eine Meldestelle habe ich nicht gefunden, was nicht bedeutet, Anmerkungen dass es keine gibt. Auf der Seite https://www.jugendundme- 1 https://www.rnd.de/politik/hartmut-issmer-wer-ist-der-dubiose-afd- dien.ch/extremismus-radikalisierung findet sich ein Nationaler grossspender-E3J4XP4CJZEEFNXJRD65VDJZ6Q.html (abgerufen am 15.2.24) 2 abgerufen am 6. Februar 2024
Dagmar Boedicker
Dagmar Boedicker ist Journalistin, technische Redakteurin und langjährige Redakteurin der FIfF- Kommunikation.
FIfF-Kommunikation 1/24 27 #FIfFKon2023
Hans-Jörg Kreowski und Margita Zallmann
FIfF-Konferenz 2023 Editorial zum Schwerpunkt Vom 3. bis 5. November 2023 hat in der Jugendherberge Berlin Ostkreuz die FIfF-Konferenz 2023 stattgefunden. Der Schwerpunkt dieser ersten Ausgabe der FIfF-Kommunikation im Jahre 2024 dient der Dokumentation der Veranstaltung.
Seit vielen Jahren stehen die FIfF-Konferenzen unter einem in- Vor diesem Hintergrund erhält der erste Schwerpunkt ein beson- haltlich klar formulierten Schwerpunkt und werden von einer deres Gewicht. Seit zehn Jahren greift die Cyberpeace-Kampa- Regionalgruppe an ihrem jeweiligen Standort organisiert. Für gne des FIfF das Bedrohungspotenzial durch Cyberangriffe auf das Jahr 2023 musste von diesem Prinzip abgewichen werden, und mittlerweile generell die Gefahren durch zunehmende Auf- weil keine Regionalgruppe die Organisation übernommen hat. rüstung mithilfe von Informations- und Kommunikationstech- Der Vorstand hat sich deshalb etwas Besonderes vorgenom- nik. Angesichts proklamierter „Zeitenwende“ und „Kriegstüch- men, nämlich gemeinsam mit den Mitgliedern in die Zukunft tigkeit“ ist das FIfF gefordert, die Risiken durch den militärischen zu schauen. Einsatz von Künstlicher Intelligenz und (teil-)autonomen Waffen zu thematisieren und den Diskurs darüber mitzugestalten. Das Die Herausforderungen der Informatik werden nur allzu oft hin- Cyberpeace-Thema war in einer Reihe von Beiträgen und in ver- sichtlich der Gefahren, Risiken, unerfüllbaren Verheißungen und schiedenen Präsentationsformen vertreten. Dystopien der Digitalisierung betrachtet. Doch wie kann das FIfF dazu beitragen, eine kritische Informatik konstruktiv mit einer Beim Pecha Kucha rund um Cyberpeace wurde eine Folge von positiven Ausrichtung zu vereinen? Welche Perspektiven, Zu- Beiträgen präsentiert, wobei jeder einzelne Beitrag aus 20 Folien kunftsvisionen, Chancen, Utopien und Inspirationen für Um- zu je 20 Sekunden bestand. Da sich die Form eines Pecha Kucha bruch und Aufbruch können herausgearbeitet werden? Auf- nur schwer schriftlich widerspiegeln lässt, sind die Beiträge hier grund der Rückmeldungen aus der Mitgliedschaft haben sich als einzelne Artikel dokumentiert: drei Schwerpunkte herauskristallisiert: • Daniel Guagnin: IT-Sicherheit vs. Sicherheit in der IT – Ein • Cyberpeace – z. B. Kritik an der Planung zum Future Combat unlösbarer Widerspruch? Air System (FCAS) und zur militärischen Nutzung der Künst- lichen Intelligenz, • Christian Heck: Eine technisch erzeugte Wirklichkeit
• Information und Nachhaltigkeit – z. B. Bits & Bäume sowie • Sylvia Johningk: Warum man keine 0-Day-Schwachstellen Informationstechnik und Entwicklungspolitik, geheim halten darf
• Entwicklungen der Künstlichen Intelligenz – z. B. Chancen • Kai Nothdurft: Responsible Disclosure stärken, Geheimhal- und Risiken der Entwicklung und Nutzung von ChatGPT so- tung von Schwachstellen schwächen wie Auswirkungen auf die IT-Sicherheit. Es sei besonders darauf hingewiesen, dass Kai in seinem Beitrag Die FIfF-Konferenz fand in einer Zeit zugespitzter Krisen und zur Mitwirkung in einer Kampagne für Responsible Disclosure Katastrophen statt – für uns direkt wahrnehmbar in Europa, aufruft. aber auch weltweit. Bereits die FIfF-Konferenz 2022 make in- stall PEACE – Impulse für den Frieden war durch den immer Daniel Guagnin, Laura Anna Kocksch und Basil Wiesse haben noch andauernden Angriffskrieg von Russland auf die Ukraine auf einem Panel zum Thema Für eine De-Militarisierung von geprägt. Die Teilnehmenden der Konferenz 2023 standen zu- Cybersicherheit. Perspektiven aus der Soziologie und den femi- sätzlich unter dem Eindruck der gerade vier Wochen zurücklie- nistischen science and technology studies (STS) für einen neuen genden schockierenden Terrorangriffe der Hamas auf Israel so- Zugang zu Cybersicherheit plädiert. Ihre Überlegungen liegen in wie der nachfolgenden Bombardierung des Gazastreifens durch Form eines gemeinsamen Artikels vor. israelisches Militär.
28 FIfF-Kommunikation 1/24 Unter der Leitung von Christian Heck wurde im Rahmen des sung eingegangen. Auch Werner Winzerling hat auf eine Ver- Labors ground zero im Fachgebiet Experimentelle Informatik an schriftlichung seines Vortrags zum jetzigen Zeitpunkt verzichtet. der Kunsthochschule für Medien Köln das Kunstprojekt Cyber Außerhalb des eigentlichen Programms hat Hans-Jörg Kreowski Peace Works durchgeführt. Die entstandenen Werke wurden unter dem Titel FIfFKon23 poetisch Gedichte von Ernst Jandl während der Konferenz in einem eigenen Raum ausgestellt, und Kurt Schwitters vorgetragen, sowie zwei eigene. Ein Ge- wo sich vielfach Gelegenheit bot, die Ausstellung zu besichti- dicht ist im Schluss-FIfF als Kostprobe abgedruckt.
#FIfFKon2023 gen und mit den Künstler:innen ins Gespräch zu kommen. Un- ter dem Ausstellungstitel wurden die einzelnen Werke auf der Die Beiträge in diesem Schwerpunkt erscheinen in der Reihen- Konferenz in einer kollektiven Performance-Lecture vorgestellt, folge, wie sie auch in diesem Editorial aufgeführt sind. Auf der und hier werden sie in kurzen Texten beschrieben. Darüber Webseite der FIfF-Konferenz 2023 unter https://2023.fiffkon. hinaus wird die Grundidee des Projekts von Lisa Reutelsterz, de/ befinden sich einerseits im „Fahrplan“ zu fast allen Beiträ- Leon-Etienne Kühr, Benita Martis und Christian Heck ausführ- gen kurze Inhaltsbeschreibungen und andererseits die Links zu lich in dem Artikel Aesthetic approaches to cyber peace works den Videoaufzeichnungen. erläutert. Eine Kunstausstellung im thematischen Zusammen- hang mit einer FIfF-Konferenz ist bisher einmalig. Es wäre aber Es ist keine Übertreibung, die FIfF-Konferenz 2023 als Erfolg zu höchst wünschenswert, wenn das ein wiederkehrendes Ereig- bewerten. Dazu haben viele beigetragen, denen Dank gebührt. nis wird. Das gilt zuallererst den Beitragenden, die in Form und Inhalt für ein abwechslungsreiches Programm gesorgt haben. Das gilt Der zweite und der dritte Schwerpunkt der Konferenz waren aber auch den fast 100 Teilnehmer:innen, deren Interesse und durch je zwei Vorträge repräsentiert. Friederike Hildebrandt vom Diskussionsfreude für eine erfolgreiche Konferenz unabdingbar BUND hat über Machtfragen im Digitalisierungsprozess aus waren. Besonders bedanken muss sich das FIfF auch beim CCC- Sicht der Nachhaltigkeit referiert, und Erich Pawlik hat sich mit Media-Team, das während der gesamten Konferenz durch ein ICT4D trifft auf digitalen Kolonialismus und Überwachungs- Streaming-Angebot für zusätzliche Teilnahme gesorgt hat und staat auseinandergesetzt. Friederikes Vortrag ist in diesem Heft durch die zeitnahe Verfügbarkeit der Videoaufzeichnungen für in einem Extended Abstract reflektiert, während eine Langfas- eine erhebliche Außenwirkung der Konferenz. Sehr wichtig war sung für eine der nächsten Ausgaben der FIfF-Kommunikation auch die finanzielle Unterstützung durch den Chaos Compu- angedacht ist. Von Erichs Beitrag erscheint ein erster Teil mit dem ter Club (CCC), ohne die das FIfF die Konferenz nicht hätte Titel Entwicklungszusammenarbeit trifft auf Tech-Konzerne und durchführen können. Zu danken ist auch der Jugendherberge den Überwachungsstaat: Teil 1 – Digitaler Kolonialismus. Der Berlin Ostkreuz für die Zusammenarbeit. Die Räumlichkeiten, zweite Teil erscheint demnächt. Erich Pawlik hat sich in seinem die technische Ausstattung, die gute Erreichbarkeit durch öf- zweiten Vortrag damit beschäftigt: Was man über die Ökono- fentliche Verkehrsmittel und die Verpflegung haben vieles er- mie der generativen KI wissen sollte. Zu dem zweiten Vortrag leichtert. Schließlich gebührt dem Berliner Organisationsteam im Kontext generativer KI von Ulf Strohbach über Cyberangriffe für den reibungslosen Ablauf der Konferenz vor Ort besonde- mit ChatGPT und generativer KI ist leider keine schriftliche Fas- rer Dank.
Daniel Guagnin
IT-Sicherheit vs. Sicherheit in der IT – Ein unlösbarer Widerspruch? In der Cybersicherheit gibt es ein paar verwunderliche Gegensätze, die ich hier kurz kontrastiert skizzieren möchte.
Im Grunde gibt es wie so oft auch in diesem Feld drei Problem- funktioniert (Trojaner). Außerdem bekämpfen Sicherheits- bereiche: behörden damit „Terroristen“, als die in manchen Ländern mitunter auch Menschenrechtsanwälte gelten.
Die Guten (im Wesentlichen die als Big Five bekannten Digi- talmonopole GAFAM1) – sie lieben unsere Daten und haben Auch hässlich: Die sicherste Technologieinfrastruktur kann häu- große Ressourcen, diese zu sichern. Allerdings ist hier von fig von einem kleinen Eckstein zu Fall gebracht werden, z. B. ein Angriffslücken alle Welt zugleich betroffen, und lange Reak- unbeachtetes FOSS-Projekt (Freie und Open-Source-Software) tionszeiten von der Meldung bis zur Schließung einer Lücke von Hobbyprogrammierer:innen, die spärlich Zeit haben für auf- sind nicht ausgeschlossen.2 wändige Code-Reviews oder zeitnahe Sicherheitspatches.
Die Bösen (Hacker) – erklärte Gegner:innen der Sicherheits- Schade, dass die staatliche Strategie immer wieder das „Über- behörden. Tatsächlich verursachen Ransomware-Attacken wachen und Strafen“3 von Kriminalität höher priorisiert als die alltäglich Millionenschäden. Verhinderung von Kriminalität. Statt Ressourcen für die Schlie- ßung von Sicherheitslücken bereitzustellen und Infrastruktu-
Das Hässliche: Sicherheitsbehörden setzen im Kampf gegen ren zu etablieren, die Rechtssicherheit für Sicherheitsforschende das BöseTM gerne Überwachungssoftware ein (z. B. Staats- und niederschwellige Meldewege ermöglichen, wird auf eine trojaner), die funktional ebenso wie böse Schadsoftware Ausweitung der Zugriffsmöglichkeiten der Sicherheitsbehör-
FIfF-Kommunikation 1/24 29 den hingearbeitet.4 Somit werden Verfolgungs- möglichkeiten durch systematische Zugriffe auf Verschlüsselung, Staatstrojaner und Befugnisse für Cyberattacken gefordert, die auf der Aus- nutzung und dem Vorhalten von Sicherheitslü- cken basieren.5 So wird die Angreifbarkeit der allgemeinen technischen Infrastruktur mit finan- #FIfFKon2023
ziellen Ressourcen erhöht durch das Vorhalten (Nicht-Schließen) oder gar Einkaufen von Si- cherheitslücken (auf illegalen Märkten) und das Entwickeln entsprechender Exploits. Damit wird allen geschadet, weil genau diese Lücken auch von Kriminellen genutzt werden, wie prominent bei WannaCry6 deutlich wurde.
Alternativ erreicht man eine breite Informations- sicherheit durch technische Integrität für alle, wenn man Ressourcen in das Schließen dieser Lücken steckt. Während hierzu staatliche Ein- richtungen wie bspw. das Bundesamt für Sicher- heit in der Informationstechnik und das Zentrum Informationstechnik in der Sicherheit gegensätzliche Positionen 3 Siehe auch Beitrag im gleichen Heft: Guagnin, Kocksch und Wiesse vertreten (technische Sicherheit vs. Überwachen und Strafen), 4 Neue Programme wie der Souvereign Tech Fund der aktuellen Bundes- ist sich die technische Community überwiegend so einig, dass regierung lassen auf eine konstruktivere Politik hoffen, aber die Chat- sogar der CCC einen gemeinsamen offenen Brief mit Google kontrolle bleibt im EU-Diskurs verfasst hat, sonst im Diskurs eher auf gegenseitigen Positionen 5 https://netzpolitik.org/2021/offener-brief-fuer-eine-echte-cybersicher- stehend.7 Schön, dass es immer wieder Expert:innen-Anhörun- heitsstrategie-ohne-neue-ueberwachungsmassnahmen/ (abgerufen am gen und Möglichkeiten für Eingaben von Stellungnahmen gibt. 2.2.2024), siehe auch Beitrag im gleichen Heft: Guagnin, Kocksch und Schade, dass diese oft halbherzig und kurzfristig sind und die Wiesse Ratschläge der Expert:innen von Exekutive und Legislative nur 6 https://www.wired.com/story/eternalblue-leaked-nsa-spy-tool-hacked- wenig berücksichtigt werden.8 world/ (abgerufen am 2.2.2024) 7 https://netzpolitik.org/2021/offener-brief-google-facebook-und-ccc- protestieren-gemeinsam-gegen-staatstrojaner/ 8 https://www.fiff.de/presse/CybersicherheitsstrategieJuni21.html (abge- Anmerkungen rufen am 2.2.2024) 1 https://de.wikipedia.org/wiki/Big_Tech (abgerufen am 2.2.2024) 2 https://unit42.paloaltonetworks.com/microsoft-exchange-server-attack- Autoreninfo siehe Seite 41 timeline/ (abgerufen am 2.2.2024)
Christian Heck
Eine technisch erzeugte Kriegswirklichkeit Was codiert, auf tausende Maschinen übertragen und durch permanente Wiederholung Teil unserer Alltagswelt wird, stabilisiert sich selbst und wird schließlich zum kulturellen, unhinterfragten Sediment (Trogemann, Georg 2010).
Intelligence Hilfe meist intelligenter Systeme statt. Technische Systeme, mit deren Hilfe Akteure symbolische Repräsentationen mit der kon- Alles, was Soldatinnen und Soldaten in Operationszentralen kreten Welt zu verbinden vermögen. Systeme, die sie befähigen gläserner Gefechtsfelder (Transparent Battlefield) sehen bzw. in ihrem jeweiligen technologisierten Operationsumfeld zu han- wahrnehmen können, das können sie einzig durch Apparate deln, d. h. für Multi-Domain-Operations (MDO), um „sinnvoll und Sehmaschinen wahrnehmen. innerhalb von Kontexten handeln [zu] können“ (Pangaro 2012). Diese technischen Systeme interpretieren somit Soldatinnen und Alles, was sie erfahren, d. h. die Verarbeitung des Wahrgenom- Soldaten Teile von Welt technisch vor. Eben jene, die einst in sie menen sowie auch der Abgleich mit weiteren Quellen, Geheim- hineinkamen. dienstinformationen, Open Source Intelligence (OSINT) usw, auch zu lernen, wie man sich innerhalb dieser Cyberräume ver- „Während dieses Prozesses fließt demnach eine jewei- hält, wie man sich durch sie hindurch navigiert, all das findet mit lige Bedeutung […] in den Komplex auf der einen Seite
30 FIfF-Kommunikation 1/24 (Input) hinein, um auf der anderen Seite (Output) wie- dann, wenn sie in die Umwelt eingebettet werden, neue Hand- der herauszufließen, wobei der Ablauf selbst, das Ge- lungskontexte, eben solche, die es für uns als Gesellschaft a schehen innerhalb des Komplexes, verborgen bleibt: posteriori zu erschließen gilt. Zu ihrer zivilgesellschaftlichen Er- eine ,Black Box’ also.“ (Flusser 2006). schließung sind die Systeme selbst jedoch leider nicht sonderlich hilfreich, da das, was wir wahrnehmen und erkennen können, Die Codierung der technischen, symbolischen Repräsentationen eben erst innerhalb des gesetzten technischen Rahmens herge-
#FIfFKon2023 von Welt jedoch, nach denen und durch die militärisch-techni- stellt wird. sche Handlungen vollzogen werden, so Flusser weiter, diese di- gitale Codierung „geht aber nun einmal im Inneren dieser Black- So sind wir derweil auch nicht dazu in der Lage, sie in ihrer Kom- Box vor sich.“ plexität durchzudenken und zu verstehen. Weder als Individuum, noch als Gesellschaft. Wenn laut Hannah Arendt das „Ergebnis des Verstehens Sinn“ ist, dann kann der Zweck des Verstehens Artificiality auch nur die Erzeugung von Sinn sein (Arendt 1994). Auf den gesellschaftlichen Kontext übertragen: Gemeinsinn. Dieser Sinn Zum Verständnis: Alles, was maschinenlesbar ist, musste erst kann sich laut Arendt einzig durch die Existenz der Pluralität un- einmal maschinenlesbar gemacht werden. Nicht nur technisch, ter Menschen ergeben. Hierfür muss jedoch über diese techni- sondern auch geistig. Alles, was für unsere Köpfe, auch techni- schen Wirkräume und über ihre sozialen, gesellschaftlichen und sche Systeme berechenbar ist (computable), musste erst einmal kulturellen Konsequenzen gesprochen werden können. Sie müs- berechenbar gemacht werden. sen in ihrer Komplexität verständlich dargelegt und gemeinsam erschlossen werden können. Sprechen wir von gläsernen Gefechtsfeldern, von zivilen Cyber- räumen, in denen militärische Handlungen verübt werden, so Nach Arendt hieße das weiter: Je komplexer künstliche Welten sprechen wir also von einer künstlichen Realität – einer tech- auf Basis statistischer Modelle, Computersimulationen und Big nisch erzeugten Kriegswirklichkeit. Von einer Künstlichkeit (Arti- Data generiert werden, desto weniger ergeben sie für die Gesell- ficiality) laut Herbert Simon, in der das technische Artefakt das schaft Sinn, eben da wir nicht über sie sprechen können. Darum Reale imitiert, indem es seiner Umwelt „das gleiche Gesicht zu- werden wir sie so nicht verstehen – weder die inneren Funkti- wendet“. Eine „Ähnlichkeit von außen und nicht von innen“, onsweisen der technischen Systeme noch ihre konkreten Folgen „Wahrnehmungsgleichheit, aber zugleich auch eine wesentliche für die Zivilgesellschaft. Verschiedenheit“ (Simon 1969). Einer der möglichen Gründe für die Sinnlosigkeit von Cyber- Künstliche technische Bilder als Verbundsysteme im Ineinander kriegen liegt somit in den jeweiligen Ansätzen zur Konzeption menschlicher und technischer Akteure, die aktiv über Leben und gesellschaftsrelevanter Fragestellungen: der des Sinns und der Tod von Soldatinnen und Soldaten, von Jugendlichen, von Groß- Erkenntnis. Uns als Zivilgesellschaft ist es laut Hannah Arendt eltern, von Eltern und unseren Kindern Entscheidungen treffen. durchaus möglich, weit über die Grenzen der Erkenntnis hin- Folglich muss laut Vilém Flusser eine „jede Kritik der technischen auszudenken – nur nicht über das Wirkliche hinaus. Doch un- Bilder darauf gerichtet sein, ihr Inneres zu erhellen. Solange wir ser gemeinsames Leben, unser gemeinschaftliches Miteinander über eine derartige Kritik nicht verfügen, bleiben wir, was die ist wirklich. technischen Bilder betrifft, Analphabeten“ (Flusser 2006). „Seien wir realistisch, versuchen wir das Unmögliche!“ (Che Guevara) Sense making
Denn die Militarisierung des Internets, auch dem der Dinge, Referenzen greift mehr und mehr in unseren technologisierten Lebens- Arendt, Hannah (1994): Zwischen Vergangenheit und Zukunft. Übungen alltag ein – in unser soziales Miteinander, dort, wo wir beisam- im politischen Denken I., Ursula Ludz (Hrsg.), München: Piper Verlag, men sind und miteinander sprechen. Dort, wo sich der Gemein- S. 111. sinn verortet und Begriffe ihren gesellschaftlichen Sinn erhalten, Flusser, Vilém (2006): Für eine Philosophie der Fotografie, 10. Aufl. (zuerst also Sense making stattfindet. Mit technischen Systemen – und 1986), S. 15 durch sie –, ob nun intelligent oder nicht, entstehen somit neue Pangaro, Paul (2012): On artificial intelligence, Interview auf Vimeo. URL: Erfahrungs- und Handlungsräume, die vorher nicht existiert ha- https://vimeo.com/41782297 ben. Wir lernten zu erkennen, dass Technik mehr und mehr der Simon , Herbert (1969): The Sciences of the Artificial, MIT Press. Erkenntnis unserer Lebenswelt vorausläuft. „Dass das, was wir Trogemann, Georg (2010): Code and Machine in Code: Between Operation erkennen können, sich im gleichen Maße verändert, wie wir un- and Narration, Andrea Gleiniger und Georg Vrachliotis (Hrsg.), Berlin, sere Lebenswelt technisch umbauen“ (Trogemann 2021). Boston: Birkhäuser, S. 41-53. Trogemann, Georg (2021): DAS 18. KAMEL und Die Habitate des Denkens, Cyberkriege sind demnach immer in bereits bestehende Hand- in: Über das Paradox, Technik in der Kunst zu lehren, Ursula Damm / lungskontexte eingebunden und rekontextualisieren diese, in- Mindaugas Gapsevicius (Hrsg.), Bielefeld: transcript Verlag, S. 117-166. dem sie durch Wiederaufladungen während des militärischen, computergestützten Erkenntnisgewinns in Erscheinung treten. Sie aktivieren somit realweltlichen Gebrauch, das heißt immer Autoreninfo siehe Seite 42
FIfF-Kommunikation 1/24 31 Sylvia Johnigk
Warum man keine 0-Day-Schwachstellen geheim halten darf Der Artikel ist eine Zusammenfassung meines Pecha-Kucha-Vortrags auf der FIfF-Konferenz 2023 in Berlin. Er befasst sich damit, warum es ein Irrweg ist, 0-Day-Schwachstellen geheim zu halten, um sie für Angriffe im digitalen Raum nutzen zu können. #FIfFKon2023
Der Einzige, der Schwachstellen in einem IT-Produkt beseitigen Grundsätzlich schließt white-hacking aus, Schwachstellen an kann, ist der Hersteller. Wird ihm eine gefundene Schwachstelle Dritte zu verkaufen oder sie zu verwenden, um in fremde Sys- nicht gemeldet, kann er sie nicht schließen und die Schwachstelle teme einzudringen und Schaden anzurichten. Dafür gibt es kei- verbleibt in dem IT-Produkt. Nutzer:innen des IT-Produkts kön- nen Spielraum. White-hat-Hacker:innen melden die gefunde- nen sich nicht schützen. Angreifer:innen können die Schwach- nen Schwachstellen dem Hersteller. stelle nutzen, um so in das System einzudringen, unbemerkt an Informationen zu gelangen und/oder sogar Schaden anzurichten. Zudem lässt sich gar nicht oder nur schwer hinter die Fassade der vermeintlich guten white-hat-Hacker:innen schauen. Es ist nur schwer nachvollziehbar, ob eine Schwachstelle selbst gefunden Interessensgruppen wurde oder am Schwarzmarkt gekauft und „aufpoliert“ weiter- gereicht wurd, oder ob sie bereits anderweitig verkauft wurde. Wer hat ein Interesse daran, Schwachstellen geheim zu halten? Schließlich gibt es außer einem Vertrag nichts, was den Nachweis Kriminelle, Militär, Geheimdienste, Strafverfolgungsbehörden erbringt, dass eine Schwachstelle nur einmal verkauft wurde. und der Verfassungsschutz sind die Hauptinteressenten. Schon immer waren sie daran interessiert, Schwachstellen auszunut- Eine einzelne Schwachstelle stellt noch keinen ausgefeilten An- zen, um Opfer, Gegner oder Verbrecher überführen zu können. griff auf ein dediziertes System dar. Oft benötigt man mehrere Seit Jahren proklamieren sie, dass sie ihre Arbeit nicht leisten Schwachstellen, die ineinandergreifen und ebenso den eigentli- können, wenn sie nicht auf moderne Einsatzmittel zurückgrei- chen Exploit, der ein bestimmtes System ausspäht oder gar schä- fen. Deshalb wollen sie geheime 0-Day-Schwachstellen haben, digt. Ein solcher Exploit muss erst entwickelt werden. die sie dann für passgenaue 0-Day-Exploits verwenden können.
Spätestens seit dem Ukraine-Krieg und nun insbesondere dem Ein wirklich „guter“ 0-Day-Exploit Israel-Krieg wird die Rhetorik zunehmend härter. Wurde früher über die Nutzung von 0-Day-Schwachstellen „lediglich“ von Dieser Exploit darf selbstverständlich nichts Bekanntes sein, das durch defensiven Exploits gesprochen, wird mittlerweile offen von of- einen Malwarescanner sofort erkannt werden würde. Einen Sturm- fensiven Exploits gesprochen. Durch das Zeigen demonstrierba- truppler würde „jeder“, der Star Wars kennt, sofort erkennen und rer Angriffsstärke erhoffen sich die Befürworter:innen der Ge- auch seine Absicht – auch ein automatisches Überwachungssystem heimhaltung Abschreckung zu erreichen. würde einen Sturmtruppler als Gefahr einstufen. Wäre er eine Mal- ware, würde man allenfalls in ein ungepatchtes, unbewachtes System gelangen. Um in ein gut geschütztes System zu gelangen, ist mehr Der Weg zur 0-Day-Schwachstelle erforderlich, als es mit bekannten Angriffsmethoden zu attackieren. Wenn man Sturmtruppen und Star Wars nicht kennt, wäre der Patch, Bereits 2018 wurde eine neue Behörde gegründet: die Zentrale ins Kino zu gehen oder sich den Film im Internet anzusehen. Stelle in der Informationstechnik im Sicherheitsbereich. Die zu- sätzliche Sicherheitsbehörde wurde geschaffen, da das Bundes- Etwas Neues zu entwickeln, was nicht durch Überwachungssoft- amt für Sicherheit in der Informationstechnik in Misskredit ge- ware automatisiert erkannt wird, ist aufwändig, aber notwen- riet. Sie soll stellvertretend für eine Reihe von Behörden unter dig, wenn Angriffe tatsächlich erfolgreich sein sollen. Dabei geht anderem 0-Day-Schwachstellen selbst suchen und weiterentwi- es nicht nur darum, dass niemals dieselbe Software verwendet ckeln bzw. am „Weißen Hacker:in-Markt“ kaufen dürfen. wird, sondern auch nicht dasselbe Muster. Die Signaturen der Überwachungssoftware arbeiten in der Regel mit Mustererken- Dabei stellt sich die Frage: wie „weiß“ sind Hacker:innen, die nung auf Basis (mathematischer) Modelle, um zu verhindern, gefundene Schwachstellen an Regierungen verkaufen, an- dass nur ein paar „Wörter“ ausgetauscht werden oder, um bei statt sie dem Hersteller zu melden, um sie schließen zu lassen? Star Wars zu bleiben, der Sturmtruppler rosa angemalt wird.
Sylvia Johnigk
Sylvia Johnigk forscht und arbeitet seit über 25 Jahren im Bereich IT-Sicherheit, seit 2009 ist sie selbständige Beraterin in Großkonzernen. Ebenfalls seit 2009 ist sie im Vorstand des FIfF e. V.
32 FIfF-Kommunikation 1/24 Um ein zu attackierendes System auszutricksen, müssen Wir sind nicht allein in der Welt Angreifer:innen einen Exploit entwickeln, der von der gängigen Überwachungssoftware nicht erkannt wird, damit sie möglichst Wir sind auf dieser Welt nicht allein, mit uns gibt es weit über lange im System Informationen ausspähen und/oder zum „rich- 190 Staaten, die genau dasselbe tun wie wir: Ihre Regierung, ihr tigen“ Zeitpunkt im System Schaden anrichten können. Das Militär, ihr Geheimdienst und ihre Polizei suchen ebenfalls nach Problem dabei ist, dass sie das Zielsystem kennen müssen, also 0-Day-Schwachstellen und entwickeln Exploits. Dabei muss je-
#FIfFKon2023 im Vorhinein orakeln müssen, welches Zielsystem ausgespäht dem klar sein, dass beim Aufspüren von Schwachstellen stan- und geschädigt werden soll. Jede Infrastruktur ist anders, die dardisierte Verfahren und Methoden benutzt werden – weltweit Systemsettings, die Überwachungssoftware etc. dieselben, da in der Regel Schwachstellen in Systemen gesucht werden, die mittels standardisierter Verfahren und Methoden Nun kann man sagen, dass unter der gegebenen politischen Lage entwickelt wurden. So ist es nicht überraschend, dass parallel Angriffsziele eher in Russland, China, der arabischen Welt etc. lie- von anderen Mitbewerbenden dieselbe Schwachstelle gefunden gen werden, da von dort auch die meisten Angriffe zu erwarten und ausgenutzt wird, an der man selbst arbeitet. Dann hoffen wären, aber damit ist es noch nicht getan. Auch innerhalb eines wir sehr, dass nicht wir das Zielsystem der anderen sind. Wir Landes gibt es verschiedene Bereiche: Regierung, Militär, Infra- können uns nämlich nicht schützen, da der Einzige, der dies struktur, Medien, Rüstungsindustrie etc. Zudem muss ein Angriff könnte, der Hersteller ist. angemessen sein, dies vorherzusehen erscheint unerreichbar. Insgesamt befassen sich viel zu viele Menschen mit großer Sorg- falt damit, Schwachstellen zu finden, um Exploits zu bauen, die Exploit-Entwicklung ist Teamarbeit Systeme zerstören können. Würden solche Ressourcen einge- setzt werden, um Systeme sicherer zu machen, wäre allen ge- Für die Entwicklung eines einsatzfähigen 0-Day-Exploits, der ge- holfen. zielt ein bestimmtes Zielsystem ausspähen oder schädigen soll, benötigt man in der Regel neben Zeit und Geld ein Entwick- lungsteam, das diesen Exploit professionell entwickelt. Legale Wege, gefundene Schwachstellen zu melden Wie jede normale Software muss auch Angriffssoftware getestet werden. Es ist eine Testumgebung notwendig, die möglichst nah Die Wahrheit ist aktuell, dass diejenigen, die sich an Hersteller an den Gegebenheiten des Zielsystems liegt. Dafür ist es notwen- wenden und Schwachstellen verantwortlich melden, kriminali- dig, dass Monitoring, Netzüberwachung und ggf. Server/Endge- siert werden. Erst im Januar wurde ein Hacker von einem Jüli- räte zwar vorhanden sind, aber keine Rückmeldungen an die Her- cher Gericht verurteilt, weil er einem Online-Dienstleister 2021 steller liefern, die am Anfang möglicherweise noch anschlagen eine Sicherheitslücke gemeldet hatte1. Edward Snowden musste würden. Würde es Rückmeldungen geben, so können Hersteller 2013 aus den USA fliehen, nachdem er eine Vielzahl von illega- möglicherweise die neue Angriffssoftware erkennen und ihr den len Überwachungspraktiken und eine Vielzahl von bislang ge- Garaus machen, bevor die Angriffssoftware einsatzfähig ist. heim gehaltenen Schwachstellen veröffentlicht hatte. Deshalb ist es an der Zeit, dass wir gemeinsam an dem Ziel arbeiten, dass Berücksichtigt man nun, dass es Auftraggebende, Bezahlende, es legale Wege gibt, Schwachstellen zu veröffentlichen. Entwickelnde, Infrastrukturbetreibende, Kontrollierende und „Hackende“ bzw. Unternehmen, die Schwachstellen verkaufen, gibt, wissen von diesem Vorhaben, von den 0-Day-Schwach- stellen und den 0-Day-Exploits ziemlich viele Personen. Meh- Anmerkungen rere haben auf den ganzen Exploit Zugriff, da sie sehr eng an der 1 Michael Esser (2024): Anzeige statt Dank – Hacker soll 3.000 Euro Entwicklung und dem Test beteiligt sind. Das sind für ein „Ge- zahlen. https://www1.wdr.de/nachrichten/rheinland/hacker-prozess- heimnis“ ziemlich viele Mitwissende. juelich-100.html
Kai Nothdurft
Responsible Disclosure stärken, Geheimhaltung von Schwachstellen schwächen Dieser Artikel greift die Ideen meines Pecha-Kucha-Vortrags auf der FIfF-Konferenz 2023 auf und führt die dort aufgrund der Kürze nur angerissenen Ideen detaillierter aus. Der Vortrag trug den Titel Responsible Disclosure und stellte eine neue Initiative im Rah- men der Cyberpeace-Kampagne vor mit dem Ziel, Responsible Disclosure zu stärken und das Geheimhalten von Schwachstellen zu erschweren. Er baute auf den direkt davor gehaltenen Pecha-Kucha-Vortrag von Sylvia Johnigk zur Geheimhaltung von Zero-Day- Schwachstellen auf.
Die Motivation für die Initiative ist, dass Responsible Disclosure Vertraulichkeit und Integrität informationstechnischer Systeme nützlich und wichtig für die IT-Sicherheit ist, die eine notwen- ist.1 Deshalb ist es gesellschaftlich wünschenswert, Responsible dige Voraussetzung für das Grundrecht auf Gewährleistung der Disclosure zu stärken.
FIfF-Kommunikation 1/24 33 Was versteht man unter Nach der Veröffentlichung von Lücken „Responsible Disclosure“? Nachdem die Sicherheitslücke veröffentlicht wurde, beginnt aus Responsible Disclosure (verantwortungsvolles Offenlegen, Veröf- Risikosicht eine zweite Phase, in der die Schwachstelle bekannt fentlichen) bezieht sich auf einen Prozess, in welchem Sicherheits- ist, aber der Patch noch nicht in die betroffenen Systeme einge- schwachstellen in IT-Systemen derart veröffentlicht werden, dass spielt wurde. Betreiber von Systemen wollen oft zunächst tes- dabei möglichst geringe Nebenwirkungen in Form von Sicherheits- ten, dass der Sicherheitspatch den Betrieb nicht beeinträchtigt. #FIfFKon2023
risiken entstehen. Eine Schwachstelle oder Sicherheitslücke in einem Deshalb wird ein Patch insbesondere in größeren Organisati- IT-System wird in der Regel durch einen Patch in Form eines Sicher- onen auf vielen betroffenen Systemen nicht automatisch ein- heitsupdates des Herstellers des lückenhaften Systems geschlos- gespielt. Automatische Update-Funktionen sind auch nicht auf sen. Schwachstellen können in jeder Komponente von IT-Systemen allen Systemen herstellerseitig verfügbar. Daher kommt es häu- vorhanden sein, in der Hardware, in der Plattform, den Schnitt- fig zu erheblichen Verzögerungen, bis ein Sicherheitsupdate in stellen, dem Betriebssystem oder der Anwendungssoftware.2 der Mehrzahl, erst recht auf fast allen der verwundbaren Sys- teme installiert wird. In dieser Phase sind die Systeme beson- ders vielen Angriffen ausgesetzt. Aus dem Patch kann, selbst Verantwortungsvolles Veröffentlichen von Lücken wenn Details zur Schwachstelle nicht veröffentlicht werden, re- lativ einfach durch Reverse Engineering das Sicherheitsproblem Wenn eine Sicherheitslücke entdeckt wird, ist ein wesentlicher und dessen Ausnutzung abgeleitet werden, die der Patch ja ziel- Aspekt für die verantwortungsvolle Veröffentlichung dieser Lü- gerichtet behebt, aber damit leider auch deutliche Hinweise auf cke, die verantwortliche Stelle zu identifizieren und zu informie- das Problem, und wie es ausgenutzt werden kann, offenbart. In ren. Dabei kann es sich je nach Situation um die Hersteller:innen, einigen Fällen dauert es daher nur wenige Tage oder sogar Stun- Produzent:innen, Entwickler:innen des Systems handeln oder wer den, bis Exploitcode verfügbar ist, der die Schwachstelle für An- auch immer sonst als verursachende Stelle für die Lücke verant- griffe ausnutzt. Die Reaktionszeit von der Veröffentlichung der wortlich war. Diese Stelle muss umgehend informiert werden, dass Schwachstelle bis zum Einspielen des Patch ist zwar wesentlich die Schwachstelle besteht und wie sie ausgenutzt werden kann, dafür, bis wann das Risiko für das verwundbare System behoben damit sie eine Lösung zur Behebung der Schwachstelle findet. ist. Diese Phase ist jedoch dem Responsible-Disclosure-Prozess Wichtig ist, ihr ausreichend Zeit zu geben, einen Patch zu entwi- nachgelagert und nicht mehr Teil davon, da sie ja erst mit der ckeln und zu testen. Die verantwortliche Stelle kann in der Regel Veröffentlichung beginnt und von den Nutzer:innen abhängt. am schnellsten das Problem beheben, das sie selbst verursacht hat.
Responsible Disclosure verlangt aber auch, nicht zu viel Zeit bis Akteure und Interessen zur Veröffentlichung verstreichen zu lassen, da es durchaus sein kann, dass die Schwachstelle bereits einem kleinen Personenkreis Wer Schwachstellen verantwortungsvoll veröffentlicht, wird den bekannt ist oder in der Zeit bis zur Veröffentlichung von ande- Whitehats, den Sicherheitsforschenden und Hacker:innen mit gu- ren ebenfalls entdeckt und missbraucht wird. Entscheidend ist ten Intentionen zugeordnet. Die Whitehats leisten einen großen also, der Stelle eine angemessene Frist zu geben, um den Patch Beitrag, Systeme sicherer zu machen, und dienen damit dem All- zu erstellen. Je nach Komplexität der Behebung kann dieser Zeit- gemeinwohl. Sie sollten also unterstützt und gefördert werden. raum unterschiedlich lang sein, er sollte aber eher wenige Wo- chen statt Monate oder gar Jahre umfassen. Je kritischer, also je Es gibt aber auch mehrere Akteure, denen die Veröffentlichung gefährlicher die Lücke ist, desto kürzer sollte der Zeitraum sein. nicht gefällt und die z. T. über erhebliche Macht und Geldmit- tel verfügen und diese unter Umständen auch einsetzen, um Verantwortungslos wäre dagegen eine Veröffentlichung, wenn die Veröffentlichung von Schwachstellen zu behindern und die der Stelle überhaupt keine Zeit gelassen wird, einen Patch zu Whitehats unter Druck zu setzen. Hersteller und Produzenten entwickeln, da die Schwachstelle dann schnell ausgenutzt wer- fürchten manchmal um ihre Reputation oder wollen mögliche den kann, ohne dass die Anwender:innen sich angemessen Folgekosten, etwa Haftung oder auch nur den Aufwand für die schützen können. Hierzu gibt es allerdings eine Ausnahme. Behebung einer Schwachstelle, vermeiden. Kriminelle und staat- Wenn die Lücke nachweislich bereits von Angreifenden ausge- liche Sicherheitsbehörden wie Geheimdienste oder Strafver- nutzt wird, sollte die Veröffentlichung ohne Verzögerung erfol- folger nutzen Schwachstellen, um Systeme zu infiltrieren und gen, um die Betroffenen und die Öffentlichkeit auf die Gefahr Informationen zu exfiltrieren. Einige Schwachstellen werden mi- aufmerksam zu machen. Diese können auch ohne Patch zumin- litärisch als Cyberwaffen zur Spionage oder Sabotage in Exploits dest risikomindernde oder -vermeidende Maßnahmen ergreifen, genutzt. Die einen verkaufen oder vermarkten Schwachstellen, z. B. die betroffenen Systeme oder Funktionen zeitweise nicht andere kaufen oft Schwachstellen mit erheblichen Summen auf mehr nutzen, deaktivieren oder sie isolieren, etwa vom Internet dem Schwarzmarkt ein. Wenn die Schwachstellen veröffentlicht oder anderen Zugriffen trennen. und gepatcht werden, wird diese Investition wertlos.
Idealerweise reagiert auch die Stelle verantwortungsvoll, stimmt Schwachstellen zu veröffentlichen ist daher bis zu einem gewis- sich mit den Personen, die die Schwachstelle entdeckt haben, sen Grad mit Whistleblowing vergleichbar und Menschen, die ab und stellt möglichst schnell und zeitgleich mit der Veröffent- das tun, sollten wie Whistleblower vor Repressalien geschützt lichung den Patch bereit, mit dem die Sicherheitslücke geschlos- werden. Die Repressalien können u. a. Einschüchterung, Krimi- sen werden kann. Damit endet die zeitliche Phase, die den Pro- nalisierung, Unterlassungsklagen oder Schadensersatzforderun- zess des Responsible Disclose umfasst. gen umfassen. Aktuell ist die deutsche Rechtslage für Whitehats
34 FIfF-Kommunikation 1/24 problematisch, weil die Erforschung von Schwachstellen nach • Welche Anforderungen stellen wir an rechtliche Regeln? dem sogenannten Hackerparagraphen des Strafgesetzbuches • Wie kann die Geheimhaltung von Schwachstellen erschwert (§ 202 a, b und c StGB) strafbar sein kann, selbst wenn sie ei- werden? gentlich dazu dienen soll, die Systeme sicherer gegen solche At- tacken zu machen. Forderungen könnten z. B. in einer rechtlichen Absicherung und öffentlichen Förderung von Responsible Disclosure beste-
#FIfFKon2023 hen. Zur Unterstützung und zum Schutz der Veröffentlichenden Kampagne für Responsible Disclosure braucht es Gesetze und Regeln anlog zu den Regeln für Whist- leblower. Ein wichtiger Teilaspekt ist dabei die Legalisierung der Ich möchte deshalb eine Kampagne starten mit dem Ziel, Res- Schwachstellensuche, also die rechtliche Absicherung von Men- ponsible Disclosure zu vereinfachen und das Verheimlichen von schen, die Schwachstellen entdecken und verantwortungsvoll Schwachstellen zu erschweren. veröffentlichen: Hacken mit Responsible Disclosure und dem Ziel, die Systeme sicherer zu machen, muss erlaubt sein. Responsible Disclosure stärkt die IT-Sicherheit und damit das Grundrecht auf sichere IT-Systeme und sollte gefördert wer- Ab bestimmten Risikoschwellwerten sollten Hersteller verpflich- den. Die Hersteller von IT-Systemen müssen motiviert werden, tet werden, Bug-Bounty-Programme anzubieten. Bug Bounty ist Schwachstellen in angemessener Zeit zu beheben. Die Öffent- eine organisierte Form, Hacker für ihre Hilfe zu entlohnen, in- lichkeit kann sich, wenn das nicht geschieht, zumindest nach dem man Belohnungen in Form von Geldbeträgen auslobt für der Veröffentlichung selbst schützen, z. B. verwundbare Sys- die Meldung von Schwachstellen in ausgewählten Systemen. teme nicht mehr nutzen. Schwachstellen geheim zu halten ge- Ein rechtlicher Rahmen für Responsible Disclosure könnte eine fährdet die IT-Sicherheit in besonderem Maße, denn mit exklu- Meldestelle umfassen sowie Fristen wie die Definition der Zeit- sivem Wissen um Schwachstellen sind Angriffe möglich, gegen spanne, die dem Hersteller für den Patch zugestanden wird, ab die man sich nur sehr schwer schützen kann. wann veröffentlicht werden darf. Um Geheimhaltung zu er- schweren, könnte eine gesetzliche Pflicht zur Veröffentlichung Die Kampagne soll für Responsbile Disclosure werben und über von Schwachstellen eingeführt werden oder eine Haftung für deren Sinn und Nutzen aufklären, um eine breite Öffentlichkeit Schäden aus der Geheimhaltung von Schwachstellen. Um den für Unterstützung zu gewinnen. Neben der Werbung für Res- Markt auszutrocknen, könnte ein Verbot erlassen werden, ponsible Disclosure sollen auch konkrete Ideen und Forderun- 0-Day-Exploits zu handeln und zu exportieren. gen entwickelt werden, die das Identifizieren und Veröffentli- chen von Schwachstellen ermöglichen, erlauben oder sogar Die Kampagne wird erfolgreich sein, wenn viele Menschen mit- fördern und das Geheimhalten von Schwachstellen erschweren. arbeiten und Ideen zur Umsetzung der Ziele entwickeln, damit wir Responsible Disclosure fördern und den gefährlichen Heim- Für den Aufbau der Kampagne möchte ich in einem Kickoff die lichtuern etwas entgegen setzen. Organisation aufsetzen und erste Ideen sammeln: Ihr könnt mich unter kai@fiff.de kontakten und Euch auf das • Festlegung, welche Technik und Tools genutzt werden FIfF-Wiki berechtigen lassen, um bei der Kampagne für Respon- • Meetings und Aufgabenverteilung sible Disclosure mitzumachen. • Suche nach Unterstützung durch weitere Menschen, Partner und Finanzierung Das Kickoff fand online am 20. März 2024 um 19:00 Uhr statt. • Logo, Motto, Bündnispartner, Finanzierung
Themen zur Werbung für Responsible Disclosure sind z. B.: Anmerkungen • Wie kann das Thema aufbereitet und bekannt gemacht wer- 1 https://www.bundesverfassungsgericht.de/ den, um weitere Menschen von den Zielen zu überzeugen? entscheidungen/rs20080227_1bvr037007.html • Kreation von Kampagnenmotto und Logo 2 Wenn ein erweiterter Systembegriff zu Grunde gelegt wird, bei dem • Erstellung von Informationsmaterialien zu Responsible Dis- das System auch das Umfeld der reinen Technik umfasst, können closure Sicherheitsschwachstellen auch in organisatorischen Prozessen, etwa der Administration oder dem Benutzerverhalten in Lieferketten, Folgende inhaltliche Fragen sollten im Kickoff behandelt wer- Bestellung oder Dekommissionierung stecken. den:
Kai Nothdurft
Kai Nothdurft arbeitet als Information Security Officer in einer großen deutschen Versicherung. Seit 2009 ist Kai Nothdurft im Vorstand des FIfF e. V. aktiv. Seit Jahren hält er Vorträge und schreibt Artikel, die sich kritisch mit seinem Fachgebiet IT-Sicherheit beschäftigen.
FIfF-Kommunikation 1/24 35 Daniel Guagnin, Laura Kocksch, Basil Wiesse1
Für eine De-Militarisierung von Cybersicherheit Perspektiven aus der Soziologie und den feministischen Science and Technology Studies (STS) Konstante Cyberangriffe sind fast täglich medial präsent. Cyberkrieg, kriminelle Handlungen (wie Erpressung oder Diebstahl) sowie #FIfFKon2023
Spionage sind zu fast alltäglichen Vergehen im digitalen Raum geworden. Während militärische Narrationen von „Angriffen“ dem Thema inhärent sind, ist es um ein Vielfaches schwerer, zahlreiche Strategien und Praktiken der „Verteidigung“ ebenso linear zu be- schreiben. Nutzer:innen, Administrator:innen oder Organisationen verhandeln mit kreativen, kollaborativen, situativen und deutlich mehr als technischen Strategien Cybersicherheit im Alltag.
In diesem Beitrag argumentieren wir daher dafür, Cy- bersicherheit nicht als bloße Opposition von Angriffen und Verteidigung zu verstehen, sondern vielmehr his- torische Entwicklungen, aktuelle politische Steuerungs- versuche sowie konkrete alltägliche Praktiken zu nut- zen, um Cybersicherheit neu zu interpretieren.
Cybersicherheit ist bisher von militärischen, patriarcha- len und hierarchischen Metaphern geprägt. Jedoch sind die allermeisten Organisationen, sowie die Gesellschaft insgesamt, nicht organisiert wie das Militär. Verantwor- tung und Sicherheit in demokratischen oder dezentra- len Organisationsformen sind verteilt, fragmentiert, und Ambiguitäten müssen ausgehalten und debattiert wer- den. Mit einigen Reflexionen aus dem Bereich der So- ziologie und den feministischen science and technology studies (STS) plädieren wir für de-militarisierte Cybersi- cherheit: Dies bedeutet nicht, dass jegliche „Cyberab- wehr“ eingestellt werden sollte, sondern, dass militäri- sche und hierarchische Narrative in der Cybersicherheit eine Vielzahl von Alternativen unsichtbar gemacht haben. sicherheit, nicht nur mit Blick auf die lange Geschichte der Kryp- tographie (vgl. Dooley 2018), sondern auch in umfassenderer und In den folgenden drei Abschnitten und einer kurzen Konklusion arbeitspraktischer Verzahnung. Militär- und Rüstungsindustrie argumentieren wir, dass Ansätze aus der Soziologie und den sind eine wichtige Zielgruppe für Anbieter von Cybersicherheits- STS über die bloße Erforschung von Nutzer:innenpraktiken und Lösungen und führen zu nachhaltigen militärisch-zivilen Koopera- „Usable Security“ hinausgehen sollten. Im ersten Abschnitt skiz- tionen. In den USA ist hier insbesondere die pentagon-nahe, 1958 zieren wir genealogisch die Verflechtung militärischer und ky- gegründete MITRE Corporation zu nennen.2 In Deutschland ar- bernetischer Grundhaltungen, die das aktuelle Verständnis von beitet der Cyber- und Informationsraum der Bundeswehr nach Cybersicherheit mehrheitlich informieren. Im zweiten analysie- eigenen Angaben mit dem Bundesamt für Sicherheit in der Infor- ren wir die aktuelle Dominanz paternalistischer Narrative der mationstechnik (BSI) sowie mit vielen anderen Institutionen, Un- offensiven Cybersicherheit. Der letzte Abschnitt argumentiert ternehmen und Hochschulen, zum Beispiel der Deutschen Tele- basierend auf qualitativ-ethnographischen Beobachtungen in kom, dem Fraunhofer Institut und dem BITKOM zusammen.3 Vor klein- und mittelständischen Unternehmen (KMUs), dass Cyber- dem Hintergrund verstärkt kommunizierter Bedrohungsszenarien sicherheit im Alltag oft mehr Fürsorge als Abschottung und ver- durch Cyberangriffe auf öffentliche Infrastrukture, wie jüngst auf teilte Verantwortung im Gegensatz zu Moralisierungen beinhal- 70 Kommunen in Nordrhein-Westfalen im Oktober 2023 ist mit tet. Militärische Narrationen können im schlimmsten Fall solch weiterer gesellschaftlicher Akzeptanz und Vertiefung militärisch- lokale und kreative Praktiken demotivieren. Vielmehr braucht es ziviler Kooperationen im Bereich Cybersicherheit zu rechnen. aber konkrete Gelegenheiten, solch „gute“ lokale Gründe für „schlechte“ Cybersicherheit zu diskutieren und fördern. Der Ar- Für die Verträglichkeit militärischer und ziviler Cybersicherheit tikel schließt mit einigen Fragen, wie Cybersicherheit in Zukunft sorgen nicht allein Sachzwänge. Ebenso wichtig sind gemeinsame betrachtet, integriert und beforscht werden könnte. Sprech- und Denkmittel, wie sie insbesondere von der Kyberne- tik der Nachkriegszeit geprägt und kodifiziert worden sind. Das betrifft insbesondere die Denkfigur einer Leitunterscheidung zwi- Historische Einbettung in Kybernetisierung: schen System und Umwelt, im Sicherheitskontext das zu schüt- Eine kleine Genealogie kybernetisch-militaris- zende und kontrollierende System und die potenziell existenzbe- tischer Schemata und ihrer Kritik drohliche, systemkompromittierende (entropische) Umwelt (vgl. Wiener 1954: 28-48). Diese Leitunterscheidung bildet eine fort- Dass das Internet mit ARPANET eine militärische Vorgeschichte laufende praktische Aufforderung der Bearbeitung der Durchläs- hat, ist hinlänglich bekannt. Dies gilt nun gerade auch für Cyber- sigkeit von Systemgrenzen (z. B. als vulnerabilities), die Abschät-
36 FIfF-Kommunikation 1/24 zung von Gefährdungen (threats) und die Verhinderung und Bemühungen, dem zero trust security model, werden etwaige Eindämmung von Unterbrechungen des operativen Systemvoll- praktische Freiräume (die „brauchbare Illegalität“; Kühl 2020) zugs (attacks) durch andere Systeme (actors) (vgl. Kelly 2013). nun auch innerhalb von Organisationen aufgehoben, und – wie von Deleuze antizipiert – auf eine Vielzahl von Kontrollmechanis- Ursprünglich ins Leben gerufen als interdisziplinäre Wissenschaft men ausgeweitet. In zero trust werden auch die Nutzer:innen Teil der autonomen Regulierung von Systemen jedweder Art war die der (risikobehafteten, nicht zu vertrauenden) Umwelt und müs-
#FIfFKon2023 Kybernetik mit dem Versprechen ihrer gezielten Steuerung (altgr. sen fortlaufender Beobachtung und Prüfung unterzogen wer- κυβερνάω, ich steuere) von Anfang an begleitet und gefördert den, um am Systemvollzug teilnehmen zu können. durch militärische Interessen.4 Sie war eine wichtige theoreti- sche Belebung für Operations Research (vgl. Beer 1959), das Hier lassen sich die Kritiken an der Kybernetik wieder aufgreifen, im zweiten Weltkrieg von der Royal Air Force zur Planung von sie formuliere den konstruktivistischen Gedanken, dass Gesell- Angriffszielen eingesetzt wurde (und heute in nahezu allen Be- schaften, wenn sie lange genug als System behandelt werden, sich reichen, in denen „analytics” eine Rolle spielen, eingesetzt wird) früher oder später auch systemisch verhalten. Die Ausdehnung (vgl. Dekeyser/Culp 2022). Im Kalten Krieg war die Kybernetik von Cybersicherheit in alltägliche Praktiken erscheint für diese sowohl von US-amerikanischer als auch sowjetischer Seite Ge- Entwicklung dann konstitutiv. Mit der zivilgesellschaftlichen Aus- genstand von politischen Projektionen, Träumen und Ängsten, weitung ursprünglich militärischer Sicherheitsbelange und damit die zunehmend antagonistisch wurden: „Hatte Wiener noch die verbundenen sicherheitspraktischen Anforderungen verbreiten Vision, dass die Regulierung durch Rückkopplungen eine stabile, sich kybernetischen Wahrnehmungs- und Beurteilungsschemata. friedliche und demokratische Welt schaffen könne, so ließen die Es sollte die Möglichkeit in Betracht gezogen werden, dass diese kybernetischen Ideen im Kalten Krieg bald Phantasien von zen- sich dabei, mit dem französischen Soziologen Pierre Bourdieu ge- tralisierten, automatisierten, sich selbst steuernden, intelligenten sprochen, als kybernetische Dispositionen zu einem kyberneti- Waffen aufblühen“ (Gerovitch 2009: 55). schen Habitus als gemeinsam geteilte Grundhaltung verdichten (vgl. Bourdieu 1993). Angesichts ihres militärischen Hintergrunds Menschliche Systembestandteile sind aus solchen Vorstellungen ist nicht auszuschließen, dass auch in der Zivilbevölkerung verbrei- nicht wegzudenken; so ist schließlich aktuell eine der zentralsten tete soldatische Männlichkeitsideale (Theweleit 2019) und weitere Fragen für Cybersicherheit das Management der human question, Merkmale männlicher Herrschaft (Bourdieu 2012) dieser kyberne- der Gefahr durch social engineering und menschliche Unachtsam- tischen Sozialisation einen fruchtbaren Boden bereiten. keit (vgl. Anderson & Stajano 2010). Gerade an der Schnittstelle technischer und biologischer wie auch sozialer Systeme entzün- det sich bis heute Kritik. Joseph Weizenbaum bezeichnete die Idee Paternalismus aktueller Steuerungsversuche eines technisch-neuronalen Interface als „Angriff auf das Leben an sich“ (Weizenbaum 1978: 351; vgl. auch Weizenbaum 2001: Im sicherheitspolitischen Kontext findet sich denn auch ein de- 104-119). 1956 kritisierte der französische Philosoph Gilbert Si- zidiert männlich konnotierter Paternalismus offensiver Sicher- mondon eindringlich das Technikverständnis der Kybernetik, ins- heitsstrategien, während das Sich-kümmern und Instandhalten besondere ihr homöostatisches Ideal (vgl. Simondon 2012). In den im Sinne einer defensiven Sicherheitsstrategie analog zur man- 1970ern entbrannte mit der Habermas-Luhmann-Kontroverse gelnden Wertschätzung weiblich attribuierter Fürsorgetätigkei- eine heftige Debatte um die gesellschaftspolitischen Implikationen ten vernachlässigt wird. der Kybernetik, um die Konsequenzen der Annahme (und Wün- schenswertheit) von sozialer Steuerbarkeit (vgl. Habermas/Luh- Im Folgenden geht es um die Gegenüberstellung von offensiven mann 1971). Ein Jahrzehnt später verübte die französische Gruppe und defensiven Sicherheitsstrategien im aktuellen politischen CLODO Angriffe auf Technologiekonzerne, die an militärischen und technischen Diskurs zu Cybersicherheit. Dies basiert auf Be- Projekten beteiligt waren (vgl. David 2020, Dekeyser/Culp 2022). obachtungen des sicherheitspolitischen Feldes und der damit 1990 formulierte Gilles Deleuze sein „Postskriptum über die Kon- verbundenen Diskurse – bei denen auch das FIfF in Form von trollgesellschaften” (Deleuze 1993), in welchen Machtverhältnisse Stellungnahmen und offenen Briefen beteiligt war. von den Teilnehmer:innen in systemimmanente Prozesse verlagert werden. 2001 schließlich erschien The Cybernetic Hypothesis Der wesentliche Zwiespalt in der Diskussion besteht darin, einer- des Kollektivs Tiqqun, in der Kybernetik, Deleuze aufgreifend, als seits im Sinne der Bekämpfung Organisierter Kriminalität eine „warfare directed against all that lives and all that lasts for a time” Überwachung der Kommunikation von Bürger:innen grund- beschrieben wird (Tiqqun 2020: 32). sätzlich zu ermöglichen, andererseits diese auf der technischen Ebene weitreichend zu schützen, zur Verhinderung unautorisier- Unter dem Stichwort de-perimeterisation wurde Anfang der ter Zugriffe und Angriffe, gemäß der drei Schutzziele der IT-Si- 2000er durch das Jericho-Forum das vorherrschende System- cherheit Vertraulichkeit, Integrität und Verfügbarkeit zu bieten – Umwelt-Modell von Sicherheit aus dem Feld der Cybersecurity im Grunde ein Zielkonflikt zwischen Repression und Prävention. selbst heraus in Frage gestellt (vgl. Spencer/Pizio 2023): Sicher- Kurz und prägnant zeigt sich dieser Widerspruch in der frag- heit solle sich nicht lediglich auf die Sicherung von Systemgren- würdigen politischen Forderung von „Sicherheit durch und trotz zen beschränken, da es nur ihre einmalige Überwindung zur Sys- Verschlüsselung“, wie sie in verschiedenen politischen Doku- temkompromittierung bräuchte. Cybersecurity solle stattdessen menten gefordert wurde.5 in umfassende Protokolle, Techniken, Praktiken diffundiert wer- den. Dem Jericho-Forum ging es also keineswegs um eine Kritik Der Ansatz, Bürger:innen durch die grundsätzliche Zugriffsmög- am zugrundeliegenden kybernetischen Prinzip, sondern vielmehr lichkeit auf ihre Kommunikationen zu beschützen, trägt pater- um ihre Ausweitung und Vervielfältigung. Mit dem Ergebnis ihrer nalistische Züge im Sinne einer bevormundenden Beziehung
FIfF-Kommunikation 1/24 37 zwischen Regierenden einerseits und den von ihnen regierten Argumentation wird gerne die Notwendigkeit der Ermöglichung Menschen andererseits. Verwiesen wird hierbei meist durch Si- effektiver Strafverfolgung gegenübergestellt. cherheitsbehörden auf das Problem eines „going dark“ der Or- ganisierten Kriminalität, die die Sicherheitsbehörden machtlos Andererseits verkennt die Idee einer zielgerichteten technischen zurücklassen würde.6 Überwachung die technischen Grundlagen derselben und der damit verbundenen (Un-)Sicherheit. Der propagierte Lösungsansatz fokussiert dabei auf den Zugriff #FIfFKon2023
von Geräten oder Kommunikationspunkten auf dem Weg da- Externe Zugriffsmöglichkeiten auf Informationstechnik lassen zwischen, etwa in der Verschlüsselungsthematik über einen un- sich – technisch betrachtet – kaum auf staatlich legitimierte verschlüsselten Zugriff an bestimmten Knotenpunkten, beispiels- Akteure beschränken (vgl. Rehak 2014: 56ff). Sie basieren weise zentrale Netzknoten (CITRIS), direkt bei den Betreiber:innen auf Sicherheitslücken, deren Ausnutzung folglich auch durch der Kommunikationsdienste7 oder direkt auf den Geräten.8 Kriminelle oder Geheimdienste anderer Staaten erfolgt (vgl. Sin- gelnstein et al. 2018). Zudem setzt die politische Ausrichtung Die politischen Narrative der Befürworter einer offensiven und auf Überwachungsschnittstellen Anreize zum Vorhalten von Si- repressiven Sicherheitsstrategie erklären den Widerspruch von cherheitslücken und stärkt schlimmstenfalls illegale Märkte, auf Verschlüsselung aufzulösen als Überwachungsproblem und Si- denen diese vertrieben werden. Selbst wenn nicht Kommuni- cherheitslösung aufzulösen durch das Postulat „Sicherheit trotz kationsprotokolle oder Endgeräte durch die Ausnutzung von und durch Verschlüsselung“. Dem gegenüber steht der An- Schwachstellen überwacht werden, bieten die an der Kommu- spruch einer defensiven Sicherheit, die auf technischer Integrität nikation beteiligten Knotenpunkte mögliche Angriffsvektoren, beruht.9 Dies entspricht einer Strategie der Fürsorge, die, statt beispielsweise die Server der Diensteanbieter. Angriffspunkte vorzuhalten oder gesetzlich bei Dienstleistern zu fordern, Rahmenbedingungen und Ressourcen für eine umfas- Zusammengefasst unterminieren der technischen Diskurse zu- sende technische Sicherheit schafft und permanentes Suchen folge zusätzliche Zugriffspunkte die mathematisch-technische Si- und Schließen von Sicherheitslücken ermöglicht. Dies nützt allen cherheit einer „Ende-zu-Ende-Verschlüsselung”. An einer Stelle – auch potentiellen politischen Gegnern – für eine sichere tech- zwischen Absender und Adressat (der beiden Endpunkte) er- nische Infrastruktur. folgt unbemerkt Zugriff, womit (mindestens) ein Angriffspunkt geschaffen wird, der nur sehr bedingt kontrolliert werden kann: Zwei gesellschaftspolitische Kritikpunkte des paternalistischen Jenseits der organisatorischen Schwierigkeiten, die im Grunde mit Ansatzes wollen wir in Kürze hier ausführen. dem ersten Argument zusammen laufen (die Bewertung der Le- gitimität der Inhalte ist politisch), geht es an dieser Stelle um ein Einerseits unterliegt einem paternalistischen Sicherheitsverständ- technisches Argument entlang Murphy’s Law: Ist eine Verschlüs- nis das Narrativ, dass unbescholtene Bürger:innen nichts zu ver- selung nicht von Ende zu Ende (Adressat zu Empfänger) tech- bergen hätten, was aus verschiedenen Gründen problematisch ist. nisch einwandfrei möglich und dort an den Endpunkten jeweils Das Recht auf Geheimnisse und Privatsphäre, und somit Wahrung auf einem vertraulichen Gerät, werden Schnittstellen, Schwach- individueller Freiheiten, wird damit delegitimiert. Die Kriminalisie- stellen, Zugriffsmöglichkeit im Zweifelsfall von Dritten genutzt. rung jeglicher Geheimnisse ist gleichermaßen ein Akt symbolischer Dritte sind hierbei insbesondere Akteure außerhalb der legitimier- Gewalt (vgl. Rehbein 2006: 189f.) in dem Sinne, dass damit eine ten Organisationen (Dienstleister und Sicherheitsbehörden), die Norm gesetzt und als selbstverständlich gesetzt wird – vergleich- also nicht ihre Zugriffsrechte ge- bzw. missbrauchen, sondern die bar auch mit dem Paradigma des Zero Trust (siehe oben). Wich- sich vielmehr unrechtmäßig Zugriff verschaffen und Inhalte ko- tiger noch, die Basis für einen freimütigen Austausch von persön- pieren (Vertraulichkeit), manipulieren (Integrität) oder entziehen lichen und politischen Ansichten bedarf geschützter Räume. Die (Verfügbarkeit). Anders als der zuvor beschriebene organisato- politischen Rahmenbedingungen des Sagbaren und politisch Ge- rische Zugriff, der durch die Organisationsstruktur grundsätzlich wollten wandeln sich, dabei muss eine kritische Diskussion – auch sanktioniert werden kann, bieten technische Schwachstellen weit- im Rahmen der aktuell geltenden Gesetze – unbeobachtet mög- reichende Angriffsmöglichkeiten, die oftmals lange unerkannt lich sein. Darüber hinaus ändern sich auch die Rechtsregime, wie bleiben. Traurige Berühmtheit erlangte bspw. die Ransomware wir in Anbetracht der Konjunkturen autoritärer Regierungen wie- WannaCry, die auf einer der NSA lange bekannten Sicherheitslü- derholt feststellen müssen. Wo sich die rechtlichen Grenzen ver- cke in MS Windows beruhte, und die auch nach öffentlicher Be- schieben und legitime Staatskritik sowie freie Informationen krimi- kanntwerdung weiter ausgenutzt wurde und weitreichende Schä- nalisiert werden10, ermöglichen technische Zugriffsmöglichkeiten den anrichtete, nicht zuletzt in Teilen der kritischen Infrastruktur auf die Kommunikation von Bürger:innen Massenüberwachung (vgl. auch Singelnstein et al. 2018). Heute verursachen Ransom- und Unterdrückung oppositioneller Gruppen. ware-Attacken wirtschaftliche Schäden in Milliardenhöhe.13
Die Grenzen der Anwendung von Überwachungstechnik werden Einerseits gibt es also die paternalistische Argumentation einer – regelmäßig ausgeweitet. Ungeachtet des politischen Charakters mit Foucault (1993) gesprochen – überwachenden und strafen- des Begriffs Terrorismus, der auf eine Bandbreite von harmlosem den Sicherheitslogik, die auf offensive Sicherheitsstrategien fo- zivilen Widerstand der letzten Generation11 bis hin zu Menschen- kussiert, indem integere Verschlüsselung als Problem geframed rechtsaktivismus angewandt wird, werden die Strafkataloge, auf wird („going dark”/„Sicherheit trotz Verschlüsselung”) und auch die geheimdienstliche Methoden ausgeübt werden dürfen, stetig im Hinblick auf die internationale Cybersicherheit Gegenangriffs- erweitert: Technologien, die nur zu einem bestimmten (engen) maßnahmen gefordert werden („Hackback”, „aktive Cyberab- Zweck eingeführt werden, finden immer weitreichendere An- wehr”, „Cyberverteidigung”, „Gefahrenabwehr”).14 Im Zuge wendungsfelder (vgl. Koops 2021).12 Dieser freiheitsrechtlichen ihrer immer umfassenderen Ausdehnung und veralltäglichender
38 FIfF-Kommunikation 1/24 Diffusion, wie sie bei zero trust beobachtet werden kann, präsen- ten sich „erwischt“ von der Ethnografin, die sie für einige Tage tiert sich Deleuzes Warnung vor den sich herausbildenden Kon- besucht und ihre Praktiken und Routinen beobachtet hat. KMUs trollgesellschaften hier gleichsam als handfeste sicherheitspoli- sind es gewohnt, dass Cybersicherheitsexpert:innen anklagen, tische Forderung. Dieser Argumentation steht andererseits eine sie seien ahnungslos, ihnen fehle es an Fähigkeiten oder gutem Sicherheitslogik der technischen Integrität gegenüber, die zum Willen, bessere Cybersicherheitsmaßnahmen durchzusetzen. Ziel hat, jegliche Angriffspunkte der technischen Infrastruktur zu
#FIfFKon2023 vermeiden: eine Infrastruktur, die sich allerlei Akteure und damit Im Alltag von Blumenläden, Anwaltskanzleien, Druckereien oder auch potentielle Gegner teilen, insbesondere in einer globalisier- Logistikunternehmen ist Cybersicherheit selten schwarz-weiß. Im ten Welt monopolistischer Monokulturen. Gegensatz zur Behauptung, KMUs seien ahnungslos oder willenlos, zeigten uns Unternehmen ihre praktischen Dilemmata und bewie- Die kritische technische Community hält wiederholt dagegen in sen vielzählige alltägliche Maßnahmen, die über offizielle Sicher- offenen Briefen und kritischen Stellungnahmen.15 Punktuell bil- heitsstrategien hinausgingen. Cybersicherheit ist dabei manchmal den sich sogar Allianzen von Chaos Computer Club bis Google, nur teilweise möglich oder nötig, wird vertagt und fortlaufend dis- indem einhellig eine Sicherheitsstrategie gefordert wird, die kutiert. Es ergeben sich Grauzonen, wo Sicherheit weder ignoriert eben gerade nicht Angriffspunkte für staatlichen Zugriff etab- noch offiziellen Maßnahmen eins-zu-eins gefolgt wird. liert, die von illegitimen Dritten genutzt werden können. Zumal durch ein staatliches Vorhalten von Sicherheitslücken schlimms- Geprägt von feministischen science and technology studies tenfalls der illegale Handel mit Sicherheitslücken gestützt wird, (STS) plädieren wir in unserer Arbeit dafür, die praktischen Di- der ohnehin für ein konstruktives Sicherheitsregime falsche An- lemmata von KMUs ernst zu nehmen und so Cybersicherheit reize setzt, gefundene Sicherheitslücken teuer zu verkaufen, an- weniger als striktes Regelwerk und stärker als andauernden und statt sie zu melden (und dafür ggf. eine Anklage vom Betreiber oft kompromissbehafteten Prozess zu verstehen. oder Hersteller der Software zu erhalten).16 Anders ausgedrückt zeigt sich Cybersicherheit in der Praxis als Im Kontrast zum „männlich” konnotierten Angriff der offen- gezieltes Balancieren von sozialen Beziehungen, technischer siven Sicherheitsstrategie stellt der defensive Sicherheitsansatz Agency und alltäglicher Praxis. Es ergeben sich imperfekte und eine „weiblich” attribuierte Perspektive des Kümmerns und improvisierte Lösungversuche, denen durch dauerhafte res- Instandhaltens dar. Da großteils auch neutrale und gar geg- ponse-ability und nicht durch entfernte Beurteilung begegnet nerische Parteien dieselbe Software nutzen, wäre es durchaus wird. Cybersicherheit ist ambivalenter und „messier“. KMUs rin- sinnvoll, gemeinsam in das Finden und Schließen von Angriffs- gen nicht mit technischen Lösungen, sondern bearbeiten Cyber- punkten zu investieren. Die gezielte Suche ist sehr aufwändig, sicherheit durch Fürsorge für Technologien und die sozialen Be- aber ein konsequentes und schnelles Schließen von Sicherheits- ziehungen, an denen sie teilnehmen. Im Alltag von KMUs wird lücken stellt eine nachhaltige und effektive Sicherheitsstrategie Cybersicherheit nicht kontrolliert oder gelöst, sie wird verhandelt, dar, in der alle Parteien von jeder Aktivität Einzelner profitieren, ausbalanciert und verbleibt partiell. Es ist kein romantisierendes und der größte Angriffsvektor Organisierter Kriminialität so auf Bild von fürsorglichen KMUs, das so entsteht. Im Gegenteil, für technische Weise bekämpft wird. sozio-technische Beziehungen zu sorgen ist lokal kontestiert, umfasst unangenehme Entscheidungen und Spannungen. Fairerweise muss man benennen, dass es in der aktuellen Le- gislatur auch andere politische Bestrebungen gibt. Neben ak- Zu behaupten, KMUs mangele es an Bewusstsein oder Willen, tuellen, auch europaweiten Gesetzesvorhaben wie der Cyber trägt zur maskulinisierten Moralisierung von Cybersicherheit als ra- Resilience Act stellt insbesondere der Sovereign Tech Fund ein tionale Entscheidung bei, während mit Unsicherheiten zu leben, bemerkenswertes Programm dar. Hierbei werden nationale Mit- Ambivalenzen zu tolerien und kollektiv zu reagieren fürsorglichen tel verwendet, um Freie Open Source Software zu verbessern, Logiken entspricht (vgl. Tronto/Fisher 1990, Mol 2008). Vergleich- die international verwendet werden, und somit wird nachhaltig bar mit Ärzt:innen und Pflegekräften, die für Patient:innen kodifi- und supranational Cyber-Fürsorge-Arbeit geleistet. ziertes und standardisiertes medizinisches Wissen in konkrete, dem Alltag angepasste, jedoch medizinisch unvollständige Ratschläge Zuletzt wollen wir uns noch den Fürsorgepraktiken in den Un- übersetzen müssen, muss Cybersicherheit in der Praxis als „gut- ternehmen zuwenden. genug“ oder „bestmöglich“ verstanden werden (vgl. Kocksch et al. 2018). Was „gute“ Cybersicherheit lokal bedeutet, ist kaum ab- strakt zu evaluieren (vgl. Kocksch/Elgaard Jensen 2023). Mit Unsicherheit leben. Ethnographische Einblicke in Fürsorge und Instandhaltung in KMUs „We would like to be more secure, but that would be chaos in the everyday“ „Please don‘t judge!“ (beim Eintippen des Passworts „12345“) (Logistikunternehmen mit ungesicherten „We tidied up before you arrived“ (beim Zeigen von Computerterminals im Ladebereich) Ordnerstrukturen) Cybersicherheit als Toleranz von Grauzonen, unvollkommenen Zitate wie diese deuten auf die ständige Moralisierung von Cy- und temporären Lösungen und Praktiken der Instandhaltung bersicherheit durch Expert:innen und mediale Diskurse hin. Wäh- im Gegensatz zu Fortschritt und Innovation zu verstehen hat rend einer der größten qualitativen Studien zu Cybersicherheit im politische Konsequenzen: Cybersicherheit ist nicht nur drama- Alltag von kleinen und mittelständischen Unternehmen (KMUs) tisch, militärisch und bedrohlich, sie ist lokal, privat und ambi- haben wir zahlreiche solcher Reaktionen erfahren. KMUs fühl- valent. KMUs begegnen praktischen Dilemmata und Realitäten.
FIfF-Kommunikation 1/24 39 Aus bestehenden und dominanten militärischen Sicherheitsnar- Referenzen rativen entsteht dabei Peinlichkeit und Scham. Es braucht mehr Räume, um imperfekte Sicherheit zu besprechen. Moralisie- Anderson, Ross & Stajano, Frank (2014): It’s the Anthropology, Stupid!, in: rende Diskurse haben den Effekt, dass KMUs ihre Praktiken ver- Christianson, Bruce & Malcolm, James (Hrsg.), Security Protocols XVIII. stecken, da sie keine Legitimation für partielle Sicherheit sehen. Berlin: Springer, S. 137-140. Beer, Stafford (1959): What has Cybernetics to do with Operational Re- Wir können von KMUs lernen, wie gekonnt und kollektiv mit search?, OR 10, Nr. 1: 1–21. #FIfFKon2023
(partieller) Unsicherheit gelebt wird und so eine andere Kon- Boltanski, Luc (2010): Soziologie und Sozialkritik, Berlin: Suhrkamp. versation über Sicherheit beginnen. Teil dessen ist, dass wir auf- Bourdieu, Pierre (1993): Sozialer Sinn. Kritik der theoretischen Vernunft, hören, KMUs anzuklagen oder zu verurteilen, und ihre lokalen Frankfurt/Main: Suhrkamp. Dilemmata, Improvisationsarbeit und verteilte Fürsorge verste- Bourdieu, Pierre (2012): Die männliche Herrschaft, Frankfurt/Main: Suhr- hen. Cybersicherheit erscheint dann nicht als militärische Vertei- kamp. digungsstrategie, sondern als andauernde, verteilte Fürsorge für David, Christophe (2020): Rage against the Machines. Notes sur l’affect Technologien und die sozialen Beziehungen, die sie ermöglichen. antitechnologique. Écologie & politique, 2020/2, 117-136. Dekeyser, Thomas & Culp, Andrew (2022): Machines in Flames. Destructio- nist International. https://www.youtube.com/watch?v=qGVMu5OPu7E. Wie de-militarisieren wir Cybersicherheit? (abgerufen am 29.01.2024) Deleuze, Gilles (1993): Postskriptum über die Kontrollgesellschaften, in: In diesem Artikel haben wir Cybersicherheit mit drei Heuristi- Unterhandlungen 1972-1990, Frankfurt/Main: Suhrkamp, 254–262. ken aus Soziologie und STS reflektiert: genealogisch, diskursana- Dooley, John F (2018): History of Cryptography and Cryptanalysis. Codes, lytisch und ethnographisch. Wir haben dabei gezeigt, dass so- Ciphers, and Their Algorithms, Cham: Springer. ziologische Betrachtungen der Cybersicherheit dazu beitragen Foucault, Michel (1993): Überwachen und Strafen. Die Geburt des Gefäng- können, dominante und subversive Narrative und Praktiken der nisses, Frankfurt/Main: Suhrkamp. Cybersicherheit zu identifizieren, und haben auf einige alterna- Gerovitch, Slav (2009): Die Beherrschung der Welt: Die Kybernetik im tive Denk- und Praxisfelder hingewiesen. Kalten Krieg, Osteuropa 59, Nr. 10, 43–56. Habermas, Jürgen & Luhmann, Niklas (1971): Theorie der Gesellschaft oder Die von uns beschriebenen Praktiken der Kritik (vgl. Boltanski Sozialtechnologie, Frankfurt/Main: Suhrkamp. 2008) – ob an antizipierten Folgen der Kybernetik, an paterna- Kelly, Max (2013): Perspectives in Cybersecurity and Cyberwarfare. DEF listischen Steuerungsansätzen oder in der praktisch notwendigen CON 18 Keynote, Las Vegas. https://defcon.org/html/links/dc-archives/ Abweichung von Sicherheitsstandards – sollten deutlich gemacht dc-18-archive.html#Keynote (abgerufen: 02.11.2023). haben, dass eine de-militarisierte Cybersicherheit denkbar und Kocksch, Laura & Elgaard Jensen, Torben (2023): „Good“ Organizational vor allem auch notwendig ist. Die bisher unreflektierte Kontinu- Reasons for „Bad“ Cybersecurity: Ethnographic Study of 30 Danish ität militärischer und paternalistischer Cybersicherheitsdefinitio- SMEs, Aalborg Universitet. nen ist nicht nur unrealisitisch, sondern politisch und praktisch Kocksch, Laura, Korn, Matthias, Poller, Andreas & Susann Wagenknecht konsequenzenreich. Cybersicherheit ist mehr als das Spannungs- (2018): Caring for IT Security: Accountabilities, Moralities, and Oscil- feld zwischen Angriffen und Verteidigung. Andere Formen sind lations in IT Security Practices, in: Proceedings of the ACM on Human- denkbar: Formen, die sich weniger auf die Etablierung und Auf- Computer Interaction, Volume 2, Issue CSCW, Article 92, 1-20. rechterhaltung einer übergreifenden organisatorischen (Befehls-) Koops, Bert-Jaap (2021): The Concept of Function Creep, in: Law, Innovati- Ordnung beziehen, und sich mehr an den historischen und dis- on and Technology 13, Nr. 1, 29–56. kursiven Pfadabhängigkeiten und ihren Effekten für konkrete Kühl, Stefan (2020): Brauchbare Illegalität. Vom Nutzen des Regelbruchs in praktische Anforderungen, Gegebenheiten und Verknüpfungen Organisationen, Frankfurt/Main: Campus. von Teilnehmer:innen im Feld der Cybersicherheit orientieren. Lipner, Steven B. (2018): The Birth and Death of the Orange Book, in: IEEE Annals of the History of Computing 37, Nr. 2, 19–31. Hieraus ergeben sich weiterführende Herausforderungen und Fra- Marx, Gary T. (1990): Undercover: Police Surveillance in America, University gen, von denen wir abschließend einige aufwerfen möchten: Wie of California Press. konfliktträchtig gestalten sich Praktiken der Cybersicherheit jen- Mol, Annemarie (2008): The Logic of Care, London: Routledge. seits radikal antagonistischer Freund-Feind-Schemata, auch oder Rehak, Rainer (2014): Angezapft – Technische Möglichkeiten einer heimli- gerade im Zuge von Fürsorge-Logiken? Wie können wir Räume chen Online-Durchsuchung und der Versuch ihrer rechtlichen Bändigung, schaffen, um ambivalente und kompromisshafte Cybersicherheit Master’s Thesis, Humboldt-Universität zu Berlin. zu diskutieren? Wie verhandeln wir (Expert:innen) Sicherheit an- Rehbein, Boike (2006): Die Soziologie Pierre Bourdieus, 1. Aufl., Utb. ders als paternalistischer Rettungsversuch? Wann und wo genau Simondon, Gilbert (2012): Die Existenzweise technischer Objekte, Zürich: wird sich auf weiterführende, auch gesellschaftspolitische Selbst- Diaphanes. verortungen gestützt? Und dort insbesondere nicht nur negativ, Spencer, Matt & Pizio, Daniele (2023): The De-Perimeterisation of Infor- wie wir beobachten konnten, in schambesetzter Abweichung von mation Security: The Jericho Forum, Zero Trust, and Narrativity, Social herangetragenen Normierungen und Disziplinierungen, sondern Studies of Science Online First. auch beispielsweise in ihrer infrastrukturellen Einbettung zur fort- Theweleit, Klaus (2019): Männerphantasien, Berlin: Matthes & Seitz. laufenden Ermöglichung der Bedingungen technologisch gestütz- Tiqqun (2020): The Cybernetic Hypothesis, South Pasadena, CA: ter Kooperations- und Kommunikationsarbeit? Diese und weitere Semiotext(e). Fragen gilt es aus unserer Sicht kritisch und theoretisch reflektiert, Tronto, Joan C. & Fisher, Berenice (1990): Toward a Feminist Theory of ohne militärisch-moralische Aufladung a priori zu untersuchen, Caring, in: Abel, Emily K. & Nelson, Margaret K., Circles of Care, SUNY zur Sprache zu bringen und zu diskutieren. Press, 36-54.
40 FIfF-Kommunikation 1/24 Singelnstein et al. (2018): Verfassungsbeschwerde § 23b Abs. 2 Polizeige- 7 Wie dies bspw. bei der DE-Mail der Fall ist, vgl CCC 2011 – https:// setz Baden-Württemberg (PolG BW) in der Fassung des Gesetzes zur www.ccc.de/system/uploads/64/original/CCC-de-mail-2011.pdf Änderung des Polizeigesetzes vom 28.11.2017, GBl. S. 624. https://lega- (abgerufen am 29.01.2024) cy.freiheitsrechte.org/home/wp-content/uploads/2018/12/2018-12-07_ 8 Wie etwa bspw. beim Staatstrojaner (Rehak 2014) oder jüngst bei der VB_PolG-BaWue_final_anonym.pdf. (abgerufen am 29.01.2024) Chatkontrolle geplant, vgl. https://www.ccc.de/de/updates/2022/eu- Weizenbaum, Joseph (1978): Die Macht der Computer und die Ohnmacht kommission-will-alle-chatnachrichten-durchleuchten (abgerufen am
#FIfFKon2023 der Vernunft, Frankfurt/Main: Suhrkamp. 29.01.2024) Weizenbaum, Joseph (2001): Computermacht und Gesellschaft, Frankfurt/ 9 Vgl. bspw. https://www.fiff.de/presse/Cybersicherheitsstrategie2021. Main: Suhrkamp. html (aufgerufen am 29.01.2024) Wiener, Norbert (1954): The Human Use of Human Beings. Cybernetics and 10 Vgl. https://www.amnesty.at/news-events/russland-kreml-geht-rueck- Society, Boston: Houghton Mifflin. sichtslos-gegen-unabhaengige-journalist-innen-und-antikriegsbewe- Wiener, Norbert (1966): God & Golem, Inc: A Comment on Certain Points gung-vor/ (abgerufen am 29.01.2024) Where Cybernetics Impinges on Religion, Cambridge, MA: MIT Press. 11 Jüngst illustrierte der Begriff des Klima-Terrorismus die Absurdität und Selbstverständlichkeit, wie ziviler Ungehorsam als Terror bezeichnet (vgl. https://www.deutschlandfunk.de/letzte-generation-ist-keine- Anmerkungen terror-vereinigung-100.html) und tätliche Angriffe auf Bürger:innen verharmlost wurden, und durch die wiederholte Frage nach der Legi- 1 Die Autor:innen sind in alphabetischer Reihenfolge genannt und haben timität, diese schon unterstellt wurde (vgl. https://www.br.de/nach- zu gleichen Teilen zum Artikel beigetragen. richten/bayern/klima-proteste-darf-man-aktivisten-von-der-strasse- 2 MITRE Corp. kuratiert seit 1999 die Liste der Common Vulnerabilities entfernen,TNvk6QB). and Exposures (CVE), seit 2006 die Common Weakness Enumeration 12 In jüngerer Zeit wurden Strafkategoren für die Anwendung geheim- (CWE), und betreibt seit 2013 mit dem „MITRE ATT&CK framework” dienstlicher Methoden ausgeweitet und Befugnisse verstetigt und eine öffentliche Datenbank von Cybersicherheits-Angriffsvektoren erweitert, vgl. https://netzpolitik.org/2020/verfassungsschutzrecht- (https://www.mitre.org/who-we-are/our-story; https://cwe.mitre.org/ bundesregierung-will-geheimdienst-befugnisse-aus-anti-terror-geset- about/history.html). Ebenfalls unter Mitwirkung von MITRE entstand zen-endgueltig-entfristen/, aber auch schon im letzten Jahrhundert das sogenannte „Orange Book“, die Trusted Computer System Evalu- wurden Geheimndienstmethoden auf Alltagskriminalität erweitert (vgl. ation Criteria (TCSEC) des US-amerikanischen Verteidigungsministe- Marx 1980). riums, aus denen der Common Criteria-Standard zur IT-Sicherheitsbe- 13 Vgl. Heise 2021: https://www.heise.de/news/220-Milliarden-Euro- wertung hervorging (vgl. Lipner 2015). Schaden-durch-Ransomware-und-andere-Cyber-Angriffe-6156111. 3 https://www.bundeswehr.de/de/organisation/cyber-und-informations- html (abgerufen am 29.01.2024) raum/auftrag/zusammenarbeiten 14 Vgl. Herpig 2022: Aktive Cyberabwehr statt Hackback https://back- 4 Mit John von Neumann hatte sie auch einen großen Verehrer des ground.tagesspiegel.de/cybersecurity/aktive-cyberabwehr-statt-hack- Militärs als Mitbegründer – ganz anders Norbert Wiener, der bis zuletzt back (abgerufen am 29.01.2024) ethische Bedenken in die kybernetische Diskussion eingebracht hatte 15 Bei denen regelmäßig auch das FIfF beteiligt ist bspw. https://www. (vgl. Wiener 1966). fiff.de/presse/offenerBriefCyberunsicherheitsstrategie.html, https:// 5 Z. B. https://www.consilium.europa.eu/de/press/press-relea- www.fiff.de/presse/Cybersicherheitsstrategie2021.html, https:// ses/2020/12/14/encryption-council-adopts-resolution-on-security- www.ccc.de/de/updates/2017/staatstrojaner-stpo (abgerufen am through-encryption-and-security-despite-encryption/ (aufgerufen am 29.01.2024) 29.01.2024) 16 Wie bspw. im Fall Lilith Wittmann vs. CDU https://www.sueddeut- 6 Vgl. z. B. https://www.heise.de/news/Going-Dark-Schwedische-EU- sche.de/politik/cdu-connect-anzeige-wittmann-1.5373488 (abgerufen Ratsspitze-startet-Angriff-auf-Verschluesselung-7471023.html (aufge- am 29.01.2024) rufen am 29.01.2024)
Daniel Guagnin, Laura Kocksch und Basil Wiesse
Daniel Guagnin leitet den Bereich Netze und Gesellschaft am nexus Institut Berlin und ist Mitglied beim FIfF. Er arbeitet partizipativ und forscht zu den gesellschaftlichen Implikationen von Technik und ihrer Konstruktion, bspw. in den Bereichen Freie Software, Cybersicherheit, Datenschutz und Digitalisierung.
Laura Kocksch ist Post-Doktorandin am Technoanthropology Lab (TANTlab) der Aalborg Universität in Kopenhagen, Dänemark. Sie arbeitet mit ethnographischen und digitalen Methoden zu Cybersicherheit, Nachhaltiger IT, Datenzentren und Dateninfrastrukturen. Ihre Monografie Fragile Computing – How to Live with Insecure Technologies erscheint in 2024.
Basil Wiesse ist wissenschaftlicher Mitarbeiter an der Professur für Prozessorientierte Soziologie der KU Eichstätt-Ingolstadt. Seine Interessenschwerpunkte sind Ethnomethodologie, Praxis- und Affekttheorien, Soziologie des Körpers, Soziologie des Digitalen und qualitative Methoden. Zurzeit untersucht er Prakti- ken der Cybersicherheit. 2020 erschien seine Dissertation Situation und Affekt.
FIfF-Kommunikation 1/24 41 Christian Heck et al.
Cyber Peace Works Wie kann man etwas erklären, dessen Hauptbestandteil Code Die künstlerischen Arbeiten der Plattform [ ] ground zero, die im ist? The symbol grounding. Etwas, das man nicht zeigen kann, Rahmen der FIfFKon 23 präsentiert wurden, nähern sich diesen weil es eher eine Art des Denkens ist. Ein Denken über abstrakte Fragestellungen ästhetisch an und versuchen mögliche Wege #FIfFKon2023
Zeichen und symbolische Repräsentationen. Gleich einem Zu- durch sie hindurch für die Zivilgesellschaft zu ebnen. Wege, um gang zur Realität, der nicht an einen bestimmten Ort gebunden über die gesellschaftlichen und kulturellen Konsequenzen dieser ist oder einem Ding, das man nicht greifen kann, um es aus ver- technischen, meist kognitiven Systeme öffentlich zu debattieren. schiedenen Perspektiven betrachten zu können. Etwas, das sich Die Künstler:innen zeigen in ihren Werken technologisch be- im Netz abspielt. Unter der Oberfläche der Gesellschaft. Etwas, dingte Verzerrungen, Vorurteile, bis hin zu militärischen Mind- das sowohl in unseren Ideen als auch in den Maschinen steckt. sets auf, und die Notwendigkeit, sich öffentliche mediale Räume sowie Stadt- und Lebensräume zurückzuerobern.
about [ ] ground zero @ khm
[ ] ground zero ist die Forschungsplattform der Experimentel- Ausgangspunkt der Forschung in [ ] ground zero ist die Über- len Informatik an der Kunsthochschule für Medien Köln (KHM). zeugung, dass die Menschheit zwar zunehmend von Techno- logie und ihrem reibungslosen Funktionieren abhängig ist, sie Der Term ground zero, der seinen Ursprung in der militärischen aber gleichzeitig „geistig nicht unter Kontrolle“ hat. Ein anderes Sprache hat, verortet ein bekanntes Problem der Informatik, das Verständnis, neue experimentell-ästhetische Ansätze und nicht Symbol grounding problem innerhalb der KHM in eine Zone, in zuletzt neue Sprachspiele sind notwendig, u. a. um den unzu- der sich (in Anlehnung an die Düsseldorfer Künstlergruppe ZERO) reichenden Dualismus von Technikeuphorie und Kulturpessimis- ein alter Zustand in einen unbekannten neuen verwandelt. mus aufzulösen, der immer noch den Diskurs dominiert.
Christian Heck
Christian Heck ist künstlerisch-wissenschaftlicher Mitarbeiter für Ästhetik & neue Technologien/ Experimentelle Informatik und Doktorand an der Kunsthochschule für Medien Köln (KHM). Er forscht und arbeitet in [ ] ground zero @ KHM zu Ästhetischer Praxis, Ethik der Künstlichen Intelli- genz und Friedensforschung mit Fokus auf generative Systeme, ADM, IT-Sicherheitstechnologien, Kampfdrohnen und autonome Waffensysteme.
Er ist Mitglied im Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung (FIfF) e. V. und der Gesellschaft für Informatik (GI).
Benita Martis
Informationskrieg
Sozial- und Verhaltensforschungen zeigen, dass der Mensch auch in sozialen Medien eingesetzt werden. Im Umgang mit den dazu neigt, sich bestätigende Informationen zu suchen. Sozi- Rückmeldungen unterschiedlich trainierter KIs sollen durch die ale Medien verstärken diesen Mechanismus, indem Algorith- notwendige Übertreibung Methoden und Auswirkungen des di- men passende Beiträge vorschlagen. So können zum Beispiel die gitalen Faschismus sichtbar gemacht werden. Das Spiel mit Fehl- Einstellungen und das Verhalten gegenüber einem Krieg beein- informationen und Verschwörungsmythen stellt Nutzer:innen flusst werden. Darüber hinaus sind KI-gestützte Werkzeuge be- vor eine kritische Auseinandersetzung ihres eigenen Umgangs reits zu mächtigen politischen Instrumenten geworden, welche mit Informationen in sozialen Netzwerken.
Benita Martis
Benita Martis studiert an der Kunsthochschule für Medien Köln (postgradual) mit einem abge- schlossenen Studium in Kommunikationsdesign (Schwerpunkt Interaktive Medien). Ihre künstleri- sche Arbeit konzentriert sich auf die Erkundung der politischen Gefahren von Künstlicher Intelligenz in sozialen Netzwerken, insbesondere im Kontext des Informationskrieges. http://benitamartis.de/
42 FIfF-Kommunikation 1/24 Naoto Hieda
cctv.glitches.me
cctv.glitches.me ist eine Zusammenstellung von CCTV-Videos Überwachungskameras werden in der Installation von einem im Timelapse-Modus, die auf einer Webseite angezeigt werden. Bot wahllos gesammelt, beschleunigt und vervielfältigt, um das
#FIfFKon2023 Closed-Circuit-Television (CCTV) oder eine Überwachungska- Nichts, die Langeweile und die Alltäglichkeit zu zeigen, und sug- mera wird oft installiert, um Verbrechen zu verhindern, Mitar- gerieren gleichzeitig die Unsicherheit der Sicherheit, die durch beiter zu überwachen oder den Verkehr auf der Straße zu verfol- die Überwachungsgesellschaft und den Mangel an IT-Kenntnis- gen. Solche Videos von unsicheren, nicht passwortgeschützten sen gewährleistet wird.
Naoto Hieda
Naoto Hieda ist ein in Deutschland lebender Medienkünstler aus Japan. Er studierte Ingenieur- wesen am Tokyo Institute of Technology, Japan (B. Ing.), und an der McGill University, Kanada (M. Ing.). Er absolvierte 2023 seinen Abschluss in Mediale Künste an der Kunsthochschule für Medien in Köln. In seiner künstlerischen Arbeit hinterfragt er die produktiven Qualitäten des Programmierens und erforscht neue Formen wie Post-Coding durch Neuroqueerness oder De- kolonisierung und Live-Coding. https://naotohieda.com/
Conrad Weise, Kjell Wistoff
Embedded Politics
In der Arbeit Embedded Politics beantworten verschiedene Embedded Politics untersucht, wie digitale Werkzeuge/Inter- Large Language Models (LLMs) den politischen Kompass-Test. faces die sozio-politischen Voreingenommenheiten des Internets Large Language Models sind dialogfähige Sprachmodelle, die übernehmen und potenziell verstärken. Maßgeblich beeinflusst mit großen, oft nur teilweise moderierten Datenmengen aus wird dieses Phänomen von den Entwickler:innen solcher Tools, dem Internet trainiert werden. Diese Daten enthalten Aus- die in einem kontinuierlichen Entwicklungsprozess durch gezielte sagen und Meinungen, die durch den Trainingsprozess in die Eingriffe wie Filter und Finetuning Einstellungen vornehmen, die Sprachmodelle eingebettet werden und so eine politische Vor- sich wiederum in der Prägung der Aussagen der Modelle über eingenommenheit der Modelle selbst erzeugen. Während diese die Zeit beobachten lassen. Die ästhetische Konvergenz von vi- Trainingsdatensätze als Grundlage für die Funktionsweise der sueller Symbolik und technologischer Exploration regt den Be- Modelle dienen, erzeugt die aktuelle Implementierung von In- trachter dazu an, über das komplexe Zusammenspiel von Al- haltsfiltern und Finetuning eine weitere Ebene der politischen gorithmen, Daten und der breiteren soziopolitischen Landschaft Voreingenommenheit, die letztlich das dem Modell zugrunde- nachzudenken. Angesichts der steigenden Dialogfähigkeit von liegende Meinungskonzept weiter prägt. Das Projekt macht sich LLMs, die nun aktive Gespräche mit ihren Nutzer:innen führen die Ästhetik des politischen Kompasses zunutze, der nach seiner können – und damit den fortlaufenden Prozess der Anthropo- Einführung im Jahr 2001 große Popularität erlangte und sich zu morphisierung imitieren und verstärken, stellt sich die Frage: einem beliebten Meme entwickelte. Welche Art von Mensch will diese Technologie im Kontext unse- res gegenwärtigen Wirtschaftssystems erschaffen?
Conrad Weise und Kjell Wistoff
Conrad Weise ist ein in Köln/Cluj ansässiger Designer und Forscher. In seiner Arbeit setzt er sich mit sozio-politischen Kontexten auseinander, in denen er die Computertechnologie und ihre Im- plikationen ausfindig macht. Durch investigative und computergestützte Ansätze innerhalb dieser Systeme versuchen seine Arbeiten, die intransparenten und unsicheren Arrangements zu kontex- tualisieren. www.cnrd.computer / @cnrd@post.lurk.org
Kjell Wistoff ist ein investigativer Künstler und Designer mit einem Schwerpunkt auf Interaktion. Vor allem zeitgenössische Technologien im sozio-politischen Kontext bilden sein Interessengebiet. Mit einem basisaktivistischen Ansatz arbeitet er mit diesen Technologien – und gegen sie. https://kjellwistoff.de/
FIfF-Kommunikation 1/24 43 Leon-Etienne Kühr
Euclidean Sensemaking
Da Datensätze und Modelle des maschinellen Lernens immer tet die allgemeine Nachbarschaft, die durch diese Abstände ge- umfangreicher und komplexer werden, wird es für den Men- bildet wird, einen wertvollen Überblick über die Konzepte, die schen immer schwieriger, die Nuancen, Verzerrungen und Ge- sich im Raum nahe beieinander befinden. #FIfFKon2023
samtstrukturen in ihnen vollständig zu erfassen. Um dieses Problem zu lösen, kommen Techniken wie Mappings und Pro- Die interaktive Installation Euclidean Sensemaking befasst sich mit jektionen ins Spiel, die helfen, die überwältigende Dimensionali- einem solchen Raum und den damit verbundenen Mapping-Tech- tät dieser Räume zu reduzieren. niken. Durch den Einsatz von Algorithmen zur Dimensionalitätsre- duktion wird eine interaktive Karte erstellt, die einen der größten Da die Verzerrungen und Beziehungen in diesen Räumen hoch- Bild-Text-Paar-Datensätze (Laion-5b) für state-of-the-art Bildge- dimensional und kompliziert sein können, ist es notwendig, neratoren wie Stable Diffusion in eine für Menschen lesbare Karte diese Komplexität in Metriken wie Abstände zwischen einzelnen umwandelt. So kann man erkunden, warum Bildgeneratoren Kat- Datenpunkten zu destillieren. Obwohl dieser Prozess unweiger- zen gegenüber Hunden bevorzugen oder eine Vorliebe für Bilder lich mit einem gewissen Informationsverlust verbunden ist, bie- von Prominenten haben, die aus dem Auto steigen.
Leon-Etienne Kühr
Leon-Etienne Kühr ist sowohl als Informatiker als auch als Medienkünstler tätig und verwen- det Methoden aus dem Bereich der Informationsvisualisierung und der Datenwissenschaft. Sein Schwerpunkt liegt auf der Erforschung und Visualisierung von Datensätzen und Modellen, die sich durch KI-gesteuerte Automatisierung allmählich in unseren Alltag integrieren. Seine künstlerischen Arbeiten befassen sich mit der Frage, wie unsere aktuelle algorithmische Landschaft möglicher- weise eine Zukunft prägen könnte, in der sich der Schwerpunkt von der Mensch-Maschine-Inter- aktion zu einem Feedback von Maschine zu Maschine verlagert. www.leon-etienne.de
Ting-Chun Liu
Imaginary Landscape
Der Strand war seit der Aufklärung immer eine Touristenattrak- von Menschen produzierten Bildern basiert, sind die daraus re- tion. Mit dem Aufkommen des Massentourismus und der sozia- sultierenden Bilder bis zu einem gewissen Grad verzerrt. Ob in len Medien haben sich die idealisierten Strandbilder mit der Rea- den sozialen Medien oder in einer Online-Bibliothek, die Bilder, lität verflochten, was zu umfangreichen menschlichen Eingriffen nach denen im Zusammenhang mit Stränden gesucht wird, sind und Terraforming entlang der Küsten weltweit geführt hat. Aus- allesamt helle, weiße und saubere Strände. Die Verwendung sol- gehend von dieser Vorstellung von der Schönheit des Strandes cher Bilder als Trainingsdaten führt zu einer Verzerrung der Dar- untersucht das Projekt das Konzept der einseitigen Realitäten, die stellung, sodass der Computer die Strandbilder als künstliche in Reisebildern in den sozialen Medien dargestellt werden, und Szenerie wahrnimmt. Wenn diese Bilder von der Maschine ver- wie diese Bilder in der Transformer-Ästhetik reproduziert werden. arbeitet werden und Testbilder erzeugt werden, führt die Grund- lage für die Bestimmung, ob die Bilder dem Eindruck des „Stran- Das größte Publikum für von Menschen produzierte Texte und des“ entsprechen, ebenfalls zu einer Verzerrung der Bewertung. Bilder sind in der heutigen Zeit nicht mehr Menschen, sondern Mehrfache Verzerrungen ergeben sich auch bei der Erzeugung Maschinen. Computer lernen und betrachten menschliche Wis- von Strandbildern durch das Transformer-Modell, das oft ein ba- senssysteme, um sie zu produzieren. Da der Lernprozess auf den nales Bild des Strandes erzeugt.
Ting-Chun Liu
Ting-Chun Liu ist ein Medienkünstler aus Taiwan, der an der Kunsthochschule für Medien Köln studiert. Er beschäftigt sich mit audiovisuellen Medien, Feedback-Geräuschen, natürlicher Sprach- verarbeitung und Künstlicher Intelligenz. Er setzt Feedback-Mechanismen für generative Bilder und Klänge ein, um über das kollektive Unbewusste und die unerreichbare „ideale“ Perspektive in KI- generierten Bildern zu reflektieren. https://www.liutingchun.com
44 FIfF-Kommunikation 1/24 Lisa Reutelsterz
[John and Mary] – by artificial and non-artificial systems
Emotionen und Schmerzempfinden gelten als essentiell für unser tische Videos zu erstellen. Diese wurden kontextlos Autor:innen moralisches Handeln und unser soziales Miteinander. Wie drückt präsentiert, um ihre individuelle Interpretation der Videos zu er-
#FIfFKon2023 sich eine Maschine im Hinblick darauf aus und was verstehen fassen, die im Voiceover zu hören ist. Innerhalb traumartiger Se- wir als Betrachter davon bzw. wie? [John and Mary] – by artifi- quenzen entsteht ein Sog, der dazu verführt, in den Bildern Be- cial and non-artificial systems ist ein audiovisuelles Experiment, deutung zu fassen und der ein Spannungsverhältnis zwischen das die Grenzen zwischen Mensch, Maschine, natürlichen und maschineller und menschlicher Semantik zeigt. künstlichen Systemen sowie Emotionen und deren maschinelle Reproduktion verwischt. Abstraktionen und Mehrdeutigkeiten eröffnen neue Bedeu- tungsräume, die die Unterscheidbarkeit zwischen Mensch und Gedichte wurden mithilfe eines großes Sprachmodells (LLM) ge- Maschine verwischen und eine kritische Reflektion ethischer neriert und dann in Bilddiffusionsmodelle eingelesen, um synthe- Standards in der Technologieentwicklung suchen.
Lisa Reutelsterz
Lisa Reutelsterz ist Medienkünstlerin und Designerin, die an den Schnittstellen von Videokunst, experimenteller Informatik und Performance forscht und agiert. Ihr Ziel ist es dabei, neue Ästheti- ken und Themenfelder zu erschließen und zu erweitern, die ihre Umsetzung beispielsweise in the- atralen Prozessen oder audiovisuellen Rauminstallationen finden. Inhaltlich setzt sie sich vor allem mit den Fragen der Maschinenethik und Technikphilosophie auseinander, insbesondere im Hinblick auf Künstliche Intelligenz, Machine Learning und Affective Computing. https://lisa-reutelsterz. com/
Anton Linus Jehle
micromobility revolution (work in progress)
Der Begriff „Revolution” ist zu einem geflügelten Wort in der stand. Das scheinbar endlose Hin und Her zwischen Regulierung Welt des Risikokapitalismus geworden. Die Welt im Sturm er- und Kooperation, zwischen Teilen und Ausbeuten, Fortschritt obern: Als Anfang 2018 Tausende von elektrischen Tretrollern und Rückschritt der Mikromobilität ist hier wie in keiner anderen oder „Trotinettes”, wie die Franzosen sie nennen, die Stadt Pa- europäischen Stadt zu beobachten. Seit dem 31. August 2023 ris überschwemmten, waren die Medien schnell dabei, dies als sind die Trotinetten von den Pariser Straßen verbannt, nachdem „Mikromobilitätsrevolution” zu bezeichnen. Da die Franzosen sich zuvor fast 90 % der Bürger dafür ausgesprochen hatten. gewissermaßen Experten auf dem Gebiet des Revolutionierens Eine Revolution ohne das Volk. Die Arbeit „micromobility revo- sind, ist Paris wohl der Schlüssel für einen erfolgreichen Auf- lution” ist ihren letzten Tagen gewidmet.
Anton Linus Jehle
Als selbsternannter Mikromobilitätsparasit testet Anton Linus Jehle seit der Einführung von E-Scooter-Diensten im Jahr 2019 deren Grenzen aus. Mit Experimenten, Interventionen und In- stallationen durchbricht er erzwungene Perspektiven, um neue Ansätze für die gesellschaftspoli- tischen Herausforderungen unserer Zeit zu finden. In den letzten Jahren wurden seine Arbeiten u. a. im Körber-Forum in Hamburg, im Württembergischen Kunstverein in Stuttgart, beim Linz FMR23 Festival und bei der rc3 Remote Chaos Experience des Chaos Computer Clubs präsentiert. https://www.antonlinus.art
FIfF-Kommunikation 1/24 45 Pedro A. Ramírez
Speech Bubbles and Bespoke Chatter
Mit dem Aufkommen der maschinellen Intelligenz wächst das geschrieben? Welches ästhetische Potenzial haben sie als Ins- Interesse am maschinellen Zuhören als Strategie zur Erkennung trumente zur Erweiterung des musikalischen Werkzeugkastens und Unterscheidung der Wörter, während wir sie sprechen. Von des zeitgenössischen Klangarbeiters, indem sie durch spektrale #FIfFKon2023
OpenAI Whisper, das unverständliches Gemurmel in einzelne Differenzierung zwischen klanglichen Ereignissen näher an die Wörter umwandeln kann, bis hin zu Siri, Alexa und zahllosen Worte/Laute herankommen? Können die aus diesen Prozessen anderen Diensten, die in bidirektionalen Routinen zwischen der resultierenden Artefakte bearbeitet werden? Und wie können Sprache und dem Text arbeiten, also der Luft, die letztlich die wir eine ästhetische Dimension in solchen Technologien finden, Laute enthält, die wir ausdrücken. die gemeinhin mit den immerzu zuhörenden Apparaten der zeitgenössischen Hardware-Geräte assoziiert werden, die von Welche Arten von Algorithmen sind in diese Werkzeuge ein- großen Technologiekonzernen entwickelt werden?
Pedro A. Ramírez
Pedro A. Ramírez ist ein Künstler, der an der Schnittstelle von Klang und Technologie arbeitet. Ob analoge Synthesizer oder Computerprozesse, er interessiert sich für die Konzepte von Noise sowohl als ästhetischen als auch als konzeptionellen Raum. Seine Referenzpunkte sind die Kybernetik der Informationstheorie, Algorithmen der Computermusik sowie das auditive Wissen der Untergrund- szene und ihre Strategien zur Mythenbildung. https://airpopcrack.com/
Bidisha Das
CyberEarth 0.1
Diese Installation wurde speziell entwickelt, um Pflanzen in einer ren Umgebung aufrechtzuerhalten, wird der Projektor als Inst- ideal geschützten Umgebung mit dem Notwendigen, was sie rument eingesetzt. Die Temperatur des Projektors kann während zum Überleben brauchen, am Leben zu erhalten. In ihrem Le- des Betriebs auf bis zu 35 Grad Celsius ansteigen. Diese Wärme bensraum sind bestimmte äußere Bedingungen erforderlich, um ist für die Pflanzen notwendig, um ihren Sauerstoff-Kohlenstoff- den regelmäßigen Sauerstoff-Kohlenstoff-Kreislauf aufrecht- Kreislauf in Gang zu halten, wie sie es in ihrem natürlichen Le- zuerhalten. Untersuchungen ergaben, dass die robuste Grünli- bensraum tun würden. lie (Chlorophytum comosum) bei bis zu 3 Grad Celsius und die kleine Zimmerrebe (Cissus striata) bei bis zu 5 Grad Celsius über- Zurzeit wird die Funktion des Lichts im Prozess der Photosyn- leben kann. these erforscht. Bislang ist das derzeitige Licht für diese Funktion nicht ideal, aber in Zukunft werden sich die Pflanzen langsam an Da die beiden Arten ursprünglich aus den Tropen stammen, liegt die bestehenden Lichtverhältnisse anpassen können, so wie sie die ideale Durchschnittstemperatur für sie bei 18 Grad Celsius. es schon immer getan haben. Um diesen Temperaturzyklus in der kontrollierten bewohnba-
Bidisha Das
Bidisha Das ist Medienkünstlerin, Musikerin und Forscherin. Neben zahlreichen anderen Medien arbeitet sie vor allem mit improvisierter elektronischer Musik, für die sie analoge, digitale und selbstgebaute Instrumente verwendet. Ihre Klanglandschaften sind von einem konstanten DIY- Ansatz geprägt, der ihr tiefes Interesse an der Schnittstelle zwischen Kunst, Naturwissenschaft und Elektronik widerspiegelt. Zu den wiederkehrenden Themen ihrer vielfältigen Arbeiten gehören die planetarische Koexistenz, Transformationsprozesse, alternative Konzepte der Kommunikation und rhizomatisches Denken. Bidisha wuchs in Kalkutta, Indien, auf und lebt derzeit in Köln, wo sie ihre Praxis weiterführt.
46 FIfF-Kommunikation 1/24 Lisa Reutelsterz, Leon-Etienne Kühr, Benita Martis, Christian Heck
Aesthetic approaches to cyber peace work Je wirkmächtiger und aktiver technische Bilder in unseren Lebensalltag eingreifen, desto zentraler stellt sich die Frage nach einer zivilgesellschaftlichen Rück-Eroberung der Deutungshoheit über diese Bilder. Mit zunehmender Integration gesellschaftlicher Werte
#FIfFKon2023 in Technologie wachsen die ethischen Herausforderungen, die sich aus der zunehmenden Verschmelzung von Mensch und Maschine ergeben. Vorgestellt wird die bisweilen unterrepräsentierte Rolle der Ästhetik in der Friedensarbeit im Cyberraum zur Eröffnung eines neuen kritischen Debattierraums.
Denn viele der Begriffe, die es in den derzeit geführten Debat- ten um Cyberkrieg adäquat einzuordnen gilt, stammen aus eben jener fast schon in Vergessenheit geratenen Metadisziplin: der Kybernetik – Cybernetics. Und die Bedeutung dieser (kyberneti- schen) Begriffe „ist die Art, wie ihr Gebrauch in das Leben ein- greift“ (Wittgenstein, Ludwig 1973:29). Im Miteinander. In dem Raum, in dem der Gemeinsinn verortet ist und die Begriffe ihren gesellschaftlichen Sinn erhalten. In dem Raum, in dem das Sen- semaking stattfindet. Im öffentlichen Raum.
Die begrifflich gefassten kybernetischen Modellvorstellungen von Welt haben zumindest in den letzten knapp einhundert Jah- ren massiv in unser Leben eingegriffen. Das zeigt sich in dem Maße, wie wir die aus diesen Modellen hervorgegangenen tech- nischen Systeme in unserem täglichen Leben gebrauchen. Be- griffe wie ‚Lernen‘, ‚Intelligenz‘, ‚Autonomie‘, ‚Kognition‘, ‚Sys- tem‘ und ‚Kontrolle‘ wurden rekontextualisiert bzw. entstanden aus kybernetischen Mindsets heraus und stoßen bis heute an die Grenzen unseres rationalen Denkvermögens. Diese Grenze Abbildung 1: cyber peace works erstarrt insbesondere immer dann, wenn Logiken des Krieges in diese Systeme als sozio-technische Handlungsräume bewusst Aesthetic approaches to cyber peace work setzte auf den Begriff eingeschrieben werden. Krieg zu führen bedeutet innerhalb des der Performativa. Auf den Erhalt einer adäquaten Verhältnis- Cyberspace, dass dieser zu weit mehr als nur zu einem Träger mäßigkeit zwischen Denken, Erfahren, Sprechen und unserem oder Verarbeiter von Zeichen mutiert, weit mehr als zu einer gemeinschaftlichen Handeln im Hier und Jetzt. Die kollektive Technosphäre, in der Prozesse und Funktionen auf den militä- Performance-Lecture war eine Art Experiment im Versuch, eine rischen Zweck gerichtet ablaufen. Cyber wird zum aktiven Er- eigene Denkweise zu fördern – ein mögliches Denken in 90 Mi- zeuger des „Un-Sinns“ von „psychotischer Kriegswirklichkeit“. nuten, um bestenfalls und auch gemeinsam durch die Begeg- nung mindestens zweier Erfahrungen zu ästhetischen Erkennt- nissen zu gelangen: der Erfahrung der Erzähler:innen und jener des Publikums. Diese uns ganz eigene Art des Erfahrens wird als „ästhetische Erfahrung“ bezeichnet. Sie verspricht Denk- und Erfahrungsräume zu öffnen, die uns zu nicht-quantifizierbaren Erkenntnissen verhelfen können. Eine für die Friedensarbeit not- wendige Art der Gegenüberstellung zur Meso-Welt – ganz ein- fach, weil Leben sich nicht messen lässt.
Ästhetische Ansätze zur Friedensarbeit fokussieren somit auf die deutungshoheitliche Rückeroberung technischer (digita- ler) Bilder, die sich zwischen Apparat, Repräsentation, Begriffs- geschichten und institutioneller Rahmung situieren – im Cy- ber. Eine Rückeroberung aus der Zivilgesellschaft heraus, von Deutungshoheiten informatischer und medialer Räume – dem Cyberspace. Von experimentell-ästhetischen Zugängen und Sprachspielen in der Interpretation der Zeichen und Bedeutung, der Syntax und Semantik, losgelöst von der gewohnten Zweck- orientierung im herrschenden Verbund von Wirtschaft-Technik- Wissenschaft und Militär. Und nicht zu vergessen: Vom Erhalt der Performativa im Umgang mit sozialen, gesellschaftlichen und kulturellen Konsequenzen von Cyber im Krieg und im Zi- vilen. Abbildung 2
FIfF-Kommunikation 1/24 47 #FIfFKon2023
Abbildung 3
Einer grund-technischen, einer technisch erzeugten Kriegswirk- kann, neu aufgeladen werden. Diese Codierung findet im Inne- lichkeit, die als Sinneinheit – wie es die Schriftstellerin Marlene ren, meist im Verborgenen statt: einer Black Box also. Diese ab- Streeruwitz beschreibt – einzig Entfremdung bedeuten kann strakten Zeichen werden in Interaktion wieder mit Bedeutungen (vgl. Streeruwitz, Marlene 2022). aufgeladen. Es sind jedoch Bedeutungen, die den vormals ent- fernten, den wegabstrahierten, nicht gleichen (vgl. Trogemann, Wenn wir unsere Seinsweisen in ihr demnach verstehen wollen, Georg 2015). Diese Wiederaufladung darf somit nicht einfach setzt das den Inbegriff der Performativa voraus. Um in Hannah ignoriert werden. Sie ist Teil des Sensemaking, und zwar immer Arendts Worten zu sprechen: die „Existenz der Pluralität unter dann, wenn kulturelle Werte, die einst in Technologien einge- Menschen“ (Arendt, Hannah 1981). Denn nicht nur das ‚Ver- schrieben wurden, beginnen, in der Gesellschaft neue Werte- stehen‘ lässt ein Common Sensemaking, ein adäquates zivilge- debatten anzustoßen (siehe Abbildung 4). sellschaftliches Debattieren über Cyberkriege zu, auch ein Ver- ständnis untereinander und vor allem: Verständnis füreinander. Die Integration menschlicher Werte in Technologie: eine ethische Perspektive Die Black Box der technischen Bilder: Wiederaufladung des Abstrahierten Menschliche Werte, normative ethische Werte, welche für uns, die wir eine individuelle Lebensgeschichte haben und in-der- Diese technischen ‚Erzeuger‘ wirken in unseren jeweiligen Lebens- Welt-sind, etwas bedeuten und unser Handeln und Miteinander und Arbeitsalltag hinein, indem sie durch spezifische technische bestimmen, werden in neue Technologien eingeschrieben. Die Handlungen mehr oder weniger in unser Verhalten übergehen. Maschine aber verarbeitet diese Werte als Signale und trifft sta- tistische Vorhersagen (vgl. Weizenbaum, Joseph et al. 2001:12). In der Praxis kann das wie folgt beschrieben werden: das, was Auch wenn die Argumentation in eine Richtung führt, in der zuvor durch den Prozess der Abstraktion weggenommen wurde, vermehrt durch ‚Predictive-Policing‘-Maßnahmen präventiv all die Mehrdeutigkeiten und Ungereimtheiten des Lebens, Phä- künftige Straftaten verhindert werden können, müssen wir uns nomene, die vom konkreten Gegenstand gelöst und vom Sinn dennoch darüber bewusst sein, dass die dahinterstehende Tech- befreit wurden, alle Notwendigkeiten, um Leben erst maschi- nologie niemals neutral sein kann und – neben der Qualität ihrer nenlesbar machen zu können, all dieses Wegabstrahierte, muss Hardware-Bestandteile wie Sensoren, Prozessoren oder Akto- in dem Moment, in dem das Abstrakte über die materiellen ren – auch von den Trainingsdaten und dem Einfluss der Men- Schnittstellen zur Welt (Interfaces) wieder in Erscheinung treten schen bestimmt ist, die sie trainiert und programmiert haben.
48 FIfF-Kommunikation 1/24 gel mit teilautonomen und autonomen Maschi- nen zu tun, die alleingelassen sind, die nicht von uns beaufsichtigt werden, die in Situationen ge- raten, die wir vielleicht vorausgesehen haben, aber doch ein wenig anders sind. Dadurch erge- ben sich Unschärfen: Moral und Anwendungs-
#FIfFKon2023 fall der Moral passen nicht immer zueinander“ (Bendel, Oliver 2018:48). Es gibt Szenarien, die von beispielsweise beteiligten Designer:innen, Programmierer:innen oder Entwickler:innen in ihrer Komplexität während des Trainingsprozes- ses nicht vorhergesehen werden können. Sze- narien, die anders sein können als angedacht und Optionen enthalten, die in einer mensch- lichen Entscheidung, basierend auf Erfahrung und Kontext, möglicherweise anders ausfallen Abbildung 4 würden. Im Gegensatz dazu besitzen Maschinen Diese Daten können auch „synthetisch generiert sein, wenn weder ein Bewusstsein, noch einen freien Willen, nicht genügend ‚echte‘ Daten in der gewünschten Qualität zur keine Intuition und keine Emotionen (vgl. Bendel, Oliver 2022). Verfügung stehen“, was insbesondere im unüberwachten ma- Der Deutsche Ethikrat argumentiert zudem, dass „[m]oralische schinellen Lernen zu Verzerrungen, Unsicherheiten oder einem Verantwortung […] nur natürliche Personen übernehmen [kön- verstärkten Bias führen kann (Deutscher Ethikrat 2023:94). Zu- nen], die über Handlungsfähigkeit verfügen, das heißt, in der gleich lässt sich beobachten, dass wir tendenziell der mathema- Lage sind, aktiv, zweckgerichtet und kontrolliert auf die Um- tischen Überlegenheit dieser Systeme vertrauen, ohne mögliche welt einzuwirken und dadurch Veränderungen zu verursachen. Konsequenzen der Entscheidungen zu berücksichtigen (vgl. Ma- Träfe dies auch auf Maschinen zu, wären auch diese verant- rino, Giorgia 2024). wortungsfähig.“ (Deutscher Ethikrat 2023:143). Es zeigt sich: „Merkmale menschlicher Intelligenz und menschlicher Vernunft Die Empfehlung des Deutschen Ethikrates in seiner 2023 erschie- lassen sich auf Maschinen nicht ohne Weiteres übertragen. Auch nenen Stellungnahme ‚Mensch und Maschine – Herausforderun- wenn Maschinen in Gestalt Künstlicher Intelligenz hochentwi- gen durch Künstliche Intelligenz‘ zielt auf eine „klare Standardi- ckelt sind, können sie den Menschen ihre Verantwortung nicht sierung von Datenformaten und zu erfassenden Metadaten“ ab, abnehmen“ (Deutscher Ethikrat 2023a). sodass diese auch interdisziplinär und „institutionsübergreifend“ genutzt werden können. Dabei wird betont, dass eine „Kombi- Weiterführend stellt sich die Frage nach den Haftungsregelun- nation“ und „Verknüpfung“ von Daten nur dann „sinnvoll ge- gen, das heißt, wer für eventuelle Schäden durch autonome lingen [kann], wenn Kontext und Semantik für den jeweiligen Systeme verantwortlich gemacht werden kann. In seiner Stel- Zweck hinreichend klar und kompatibel und die Daten auf die- lungnahme empfiehlt der Deutsche Ethikrat eine präzise Aus- ser Grundlage interoperabel sind“ (Deutscher Ethikrat 2023:94). gestaltung der Haftungsregeln in den jeweiligen Anwendungs- Eine wesentliche Rolle in der Qualität der Datensätze spielt dem- bereichen autonomer Systeme, was weitreichenden Einfluss nach auch der ursprüngliche Kontext, in dem sie erhoben und auf deren Entwicklung mit sich bringt. Denn die Kenntnis über durch den eventuelle Schwerpunkte gelegt wurden. „Werden eine persönliche Haftung schafft „beispielsweise einen An- solche Fragen der Passung nicht rechtzeitig und hinreichend be- reiz, das System intensiver zu überwachen, seinen Aktionsra- rücksichtigt, sind Verzerrungen oder irreführende Analysen mög- dius einzuschränken oder eine menschliche Letztentscheidung lich“ (Barocas, Solon/Andrew D. Selbst (2016) zitiert nach Deut- vorzusehen“ (Deutscher Ethikrat 2023:111). Die letztendliche scher Ethikrat 2023:95). Damit einher geht die Reflexion über Einbindung des Menschen in den Entscheidungsprozess als ‚hu- die Qualität der Hardware und die genutzte Infrastruktur, wel- man-in-the-loop‘ wird auch vom Philosophen Robert Sparrow che die Genauigkeit und Zuverlässigkeit beeinflusst. Eine solche als relevant erachtet, um Verantwortungslücken („responsibility „Standardisierung“ kann jedoch auch die Gefahr bergen, wich- gaps”) zu vermeiden. Die Maschinenethikerin Catrin Misselhorn tige historische, erinnerungsbezogene Informationen im Prozess schreibt mit Verweis auf Sparrow, dass sich Verantwortung „mi- zu verlieren. So argumentiert Weizenbaum dafür, die Notwen- nimiere oder gar verliere“, wenn sie kollektiv auf „vielen Schul- digkeit, die Vielfalt, Komplexität und den Kontext von Daten- tern verteilt“ wird (vgl. Misselhorn, Catrin 2019:167). „The sätzen anzuerkennen und sich nicht ausschließlich auf standar- more autonomous these systems become, the less it will be pos- disierte Formen zu beschränken: „[W]enn eine Gesellschaft nur sible to properly hold those who designed them or ordered their jene ‚Daten‘ als legitim anerkennt, die in ‚standardisierter Form‘ use responsible for their actions“ (Sparrow, Robert 2007). vorliegen, so daß sie einem ‚Computer leicht eingegeben werden können‘, dann ist Geschichte, dann ist Erinnerung überhaupt, Hannah Arendt, die sich ein paar Jahre vor ihrer Berichterstat- ausgelöscht“ (Weizenbaum, Joseph 2020:313). tung zum Eichmann-Prozess aus einem „mehrlagigen Friedhof Namens Europa“ heraus fragte, wie Menschen anderen Men- Der Wirtschaftsinformatiker und Szientist Oliver Bendel weist schen so etwas antun können, schrieb in ihre Notizbücher, dass bei der Übertragung von moralischen Werten in die Maschine es grundsätzlich zum Gebaren von Bürokratien gehört, die Ver- auf jene „Unschärfen“ hin, die während der Interaktion, d. h. antwortung für ihr Handeln anderen Stellen zuzuschieben. Doch im realweltlichen Einsatz entstehen: „Wir haben es in der Re- eine unbeschränkt verschiebbare Verantwortung sei eine „Ver-
FIfF-Kommunikation 1/24 49 ist: „Wir leben in einer Gesellschaft, in der eine große Scheu davor existiert, Verantwortung zu übernehmen. […] Verantwortung ist keine tech- nische Frage, sondern eine gesellschaftliche“ (vgl. Weizenbaum, Joseph 2001:33). Unser ge- meinsames Miteinander in diesem Jahrtausend ist geprägt von den Entscheidungen, die wir im #FIfFKon2023
Umgang mit Technologie treffen, und wir haben die Verantwortung, sicherzustellen, dass diese Entscheidungen im Einklang mit unseren inne- ren und gesellschaftlichen Werten und auch mit den grundlegenden Menschenrechten stehen. Nur so können wir eine Zukunft gestalten, in der neue Technologien unser Leben bereichern kön- nen, ohne unsere Grundrechte zu gefährden.
Abbildung 5: Illustration von Robert Sparrows Konzept der „responsibility gaps” Ästhetische Erfahrungen von Danaher, John 2017 | Copyright: John Danaher Cyberräumen als Möglichkeitsräume für die Zivilgesellschaft antwortung des Niemand“, so Hannah Arendt weiter. Dem- Das bedeutet: um über die militärische Nutzung von Cyberräu- gemäß fiel auch Adolf Eichmanns Antwort aus, nachdem die men adäquat sprechen, diskutieren und bestenfalls auch poli- Anklageschrift gegen ihn verlesen wurde. Sie lautete folgender- tisch debattieren zu können, um möglichen tiefgreifenden ver- maßen: „Ich hatte mit der Tötung der Juden nichts zu tun. Ich letzenden Konsequenzen proaktiv entgegenwirken und aus der habe niemals einen Juden getötet, aber ich habe auch keinen Zivilgesellschaft heraus Stellung beziehen zu können, ist es not- Nichtjuden getötet – ich habe überhaupt keinen Menschen ge- wendig, kollektiv mehrere Perspektiven auf diese abstrakten tötet. Ich habe auch nie einen Befehl zum Töten eines Juden ge- Räume zu werfen. Auch außerhalb politischer Gremien, Sach- geben, auch keinen Befehl zum Töten eines Nichtjuden… Habe verständigenräten und Entwickler:innengemeinden ist es essen- ich nicht getan“ (Arendt, Hannah 1986:94). tiell, bestenfalls mit allen gemeinsam, die Entwicklungen dieser Räume zu beobachten, die Räume in ihrer Abstraktion zu verste- Bei der Entwicklung digitaler Systeme liegt es jedoch auf der hen, Ästhetiken technischer Möglichkeitsräume auszuloten und Hand, dass viele Menschen aus verschiedenen Disziplinen mit- sie auf diese Weise zu interpretieren, zu konkretisieren und zu einbezogen sein müssen, die bestenfalls gemeinsam daran ar- erfahren, und sie aus diesen ästhetischen Erfahrungen heraus beiten. Soft- und Hardware-Engineering bewegt sich häufig an analysieren und somit im Abstand zu sich im Bezug zum Cyber- der Schnittstelle zwischen kreativen und bürokratischen Prozes- raum erleben zu können. Diese Herangehensweise ist eine zu- sen und tendiert meist eher in Richtung Arbeitsmodi nach klaren tiefst ästhetische. Eine Erfahrung, die im Sinne einer Differenzer- Vorgaben innerhalb festgelegter Strukturen. So fließen gänzlich fahrung als ästhetische Erfahrung bezeichnet wird. unscheinbar technologische Solutionismen auch in politische Diskurse ein, wenn über deren prospektive Nutzung entschieden Laut dem US-amerikanischen Philosophen Nelson Goodman han- werden soll. Das heißt, neben politischen Entscheidungsträgern delt es sich hierbei um eine Erfahrung, die nicht statisch, sondern und wissenschaftlichen Gremien wird in militärisch genutzten, dynamisch ist, ähnlich wie bei unseren Kunst- und Alltagserfah- zivilen Cyberräumen auch Softwaredesigner:innen, KI-Unter- rungen – weil wir die Dinge des Lebens erleben, das Gemälde nehmen und Forschungsgemeinden eine gesonderte und über- sehen oder „das Gedicht erst lesen müssen“ (Goodman, Nelson aus bedeutende Rolle der gesellschaftlichen Verantwortung zu- 1997:223). Es geht also darum, was ‚während‘ unserer Wahr- geschrieben. Denn diese bestimmen während der Arbeit häufig nehmung bzw. unserer Erfahrung geschieht. Dieses ‚Dazwischen‘ präemptiv, und zwar durch den inneren Aufbau der jeweiligen wird versucht bei ästhetischen Ansätzen zu konkretisieren. Computerprogramme als Black Box, welche zukünftigen Phä- nomene wie konkret und in welcher Form als Symbole in IT- Die Musikpädagogin Ursula Brandstätter spricht von einem Systeme gelangen. Auch wie sie diese wieder verlassen werden, „doppelten Zugang zur Welt“, der sowohl Zeichen repräsentie- beispielsweise wenn Nutzer:innen sie in ihre jeweiligen techni- ren als auch – wie beispielsweise ein Bild auf einer Leinwand – in schen Handlungen übersetzen. So geben Programmierer:innen einer physischen Materialität erlebbar werden kann (Brandstät- die Grenze zwischen dem Inneren eines technischen Systems ter, Ursula 2013). Vorrangiges Ziel hierbei ist es, zu einer Sprache und seiner Umgebung vor, Nutzer:innen der technischen Sys- zu gelangen, die unsere Alltagssprache mit dem Gebrauch nicht- teme wiederum legen sie fest. natürlicher Sprachen verbindet. Eben jene Sondersprache, auf die sich meist die wissenschaftliche Erkenntnis stützt. Denn die Ver- Ethisch betrachtet kann das dazu führen, dass die Verantwortung wendung dieser Sprachen birgt stets die Gefahr in sich, mit wirk- des Einzelnen verwässert oder nur eingeschränkt rückverfolgt lichen Begebenheiten nie in Berührung gekommen zu sein. werden kann. Weizenbaum wies 2001 bereits darauf hin, dass die Verantwortungsübernahme bei intelligenten, autonomen Syste- In diesem Kontext öffnet die ästhetische Erfahrung für die Zivil- men auf gesellschaftlicher und struktureller Ebene zu betrachten gesellschaft bestenfalls einen Möglichkeitsraum, um über die Syn-
50 FIfF-Kommunikation 1/24 tax, Semantik und Pragmatik dieser Systeme zu sprechen. Einen So werden unsere Bilder, Worte, Gesten und Verhaltensweisen Raum, um sich über sie zu unterhalten, sie greifbar zu machen, gemäß einer ästhetischen Operationalität des Sichtbaren zu in- sie gemeinsam zu formen, sie miteinander zu gebrauchen, um po- terpretierbaren Zeichen nach vorgegebenen Kriterien. Eine ver- litisch handeln zu können. Um sich innerhalb der Logik des herr- borgene Ebene dessen, was wir über Interfaces sehen: die Un- schenden Ordnungssystems zu positionieren und dieses an seinem terfläche der Bilder (vgl. Nake, Frieder (2006). Diese technischen verwundbarsten Ort, dem Zentrum, anzugreifen. Das ermöglicht Bilder in Zeichenform, die in ihrer militärischen Anwendung
#FIfFKon2023 es, Dinge umzudeuten (detournement), das heißt in einen Kom- meist als die ‚eigentlichen‘ Bilder angesehen werden können. munikationsprozess einzugreifen und den normalen, erwarteten Sie tragen ihre eigene Historizität, die es offenzulegen und ein- Ablauf zu stören, um bei den Akteur:innen, Rezipient:innen oder zuordnen gilt. Von den Luftaufnahmen von Bombern im Zwei- Zuschauer:innen Distanz zu den vertrauten Verhältnissen zu schaf- ten Weltkrieg bis hin zu Klaus Theweleits ‚fliegenden Bomben‘ fen. Möglichkeitsräume, um Worte zu finden, sie umzudeuten, sich im Irakkrieg, die das sichtbare Leben überwachten und somit anzueignen, Vertrautes und Normalität in Frage zu stellen. ausschließlich der militärischen Analyse dienten. Bilder, die das sichtbare Leben zerstörten, selbst jedoch unsichtbar blieben. Das Herstellen von Distanzen spielt eine entscheidende Rolle bei der ästhetischen Erfahrung, auch um das „flüchtigste aller Ge- fühle, oft rascher vorbei als ein Augenblick, und unvorhersehbar, unlenkbar, ungreifbar, unmeßbar“ (Handke, Peter 1986:10), um das Gefühl von ‚Dauer‘ zu verlängern bzw. überhaupt erst erfahr- bar zu machen, während man in digitaler ‚Echtzeit‘ technisch zu handeln angewiesen ist. Nach Bertold Brecht bedeutet das ‚Ver- fremdung‘. „Einen Vorgang oder einen Charakter [zu] verfrem- den [heißt] zunächst einfach, dem Vorgang oder dem Charak- ter das Selbstverständliche, Einleuchtende zu nehmen“ (Brecht, Bertolt 1939). In Teilen spricht man hierbei auch von ‚Cultural Hacking‘, der Umkodierung bestehender kultureller Codes. Dies kann bis hin zu einer Überführung ins Absurde gehen, zu un- brauchbaren Werkzeugen und zwecklosen Maschinen.
Abbildung 6: Filmstill aus: Farocki, Harun 2003 Operative Bilder: ästhetische Erfahrungen verborgener Ebenen Farocki machte in seinen Filmen und Video-Installationen diesen Doch was genau sind sie dann, diese technischen Bilder? Wie kön- Bildtypus ästhetisch erfahrbar und damit auch erst kritisierbar für nen wir denn nun etwas ästhetisch erfahren, wenn es gar nicht wirk- Beobachter außerhalb der Operationsketten, das heißt für die lich ein physisches Ding, nichts Greifbares, kein sichtbares Bild oder Zivilgesellschaft. Diese Bilder, die ‚fliegenden Bomben‘ im kont- keinen menschenlesbaren Text, sondern nur Code gibt? Ein näheres rastarmen Schwarz-Weiß gehalten, im Zentrum ein Fadenkreuz, Verständnis dieser Frage bringt uns das Konzept der „Operativen wurden erstmals 1991 in der Tagesschau der ARD gesendet. Die Bilder“ des Filmemachers Harun Farocki: „Während die [operativen] jeweilige Aufnahme riss mit dem Einschlag des Projektils ab. Bilder nicht als Bilder zu betrachten sind, verfügen sie jedoch über mehrfache Operationsketten, durch die sie mit einer langen Reihe von institutionellen, epistemologischen und anderen Nutzungsfor- Kriegsbilder in sozialen Netzwerken: men verbunden sind, die eine andere Ästhetik auslösen. Eine Äs- wie KI politische Ereignisse beeinflusst thetik, die sich mit Fragen dessen befasst, was […] als das nicht- menschliche Bild und das nicht-repräsentative Bild bezeichnet wird, Die Bilder trugen keine ästhetische oder didaktische Funktion, da sie über institutionelle Orte und Nutzungsformen zirkulieren, von sondern funktionierten rein als Bestandteil technisch-militäri- der Bildung über die Ausbildung von spezifischen Techniken bis hin scher Operationen. Heute, in Gaza oder bei der Verteidigung zu den Algorithmen des Alltags“ (Parikka, Jussi 2023:19). der Ukraine, werden Drohnenkamerabilder zur Aufklärung
Abbildung 7: Verletzter russischer Soldat im Schützengraben zur Drohne schauend; Rechts: Zoom auf per Granatenabwurf getöte- ten oder verletzten Soldaten im Unterstand. Screenshots von Francis Hunger aus: Adam tactic group 2023
FIfF-Kommunikation 1/24 51 feindlicher Stellungen genutzt. Es handelt sich um Bewegtbilder in Echtzeit, die zur Korrektur von Artilleriefeuer und für direkte kriegerische Handlungen wie bspw. der Identifizierung von Ziel- orten eingesetzt werden. Auch für den Abwurf von Bomben und Granaten oder zur Steuerung von ‚Kamikaze‘-Drohnen, die in feindliche Schützengräben geschickt werden und deren Angriffe als Livestream an übergeordnete Stabsstellen gesendet werden, #FIfFKon2023
finden diese Bilder Verwendung.
Unterlegt mit Popmusik und versehen mit verschönernden Farb- filtern tauchen die Kriegsbilder manchmal auch in den Feeds von Social-Media-Plattformen wie Telegram, Twitter oder Tik- Tok auf. Durch ihre Ästhetik verschwimmen sie mit fern liegen- den Inhalten und werden somit oft erst nicht als problematisch erkannt. Die meist ästhetisch aufbereiteten Aufnahmen, die – gleich Theweleits ‚fliegenden Bomben‘ – den Flugverlauf von ‚Kamikaze‘-Drohnen bis zum Einschlag in ein vordefiniertes Ziel- Abbildung 8: Influencerin Valeria Shashenok: „MY TYPICAL objekt zeigen, bezeichnete der Medienkünstler Francis Hunger DAY IN A BOMB SHELTER“ (Shashenok, Valeria 2022) als ‚Reästhetisierungsstrategien von YouTube-Influencer:innen‘ (Hunger, Francis 2023). Die Funktionsweise der Algorithmen Die Verantwortung von KI-Unternehmen und in sozialen Netzwerken neigt dazu, negativ behaftete und rei- die militärische Nutzung technischer Bilder ßerische Inhalte zu fördern. Somit erreichen gerade in sozialen Netzwerken propagandistische Narrative und Falschinformatio- Die mehr oder minder einfach zu benutzenden manipulativen nen viele Menschen in kurzer Zeit. Vor allem für junge Men- Erzeugnisse, die mit Hilfe von Systemen wie bspw. ChatGPT er- schen kann die Verbreitung von Kriegsbildern und KI-gestützten stellt werden können, unter anderem das leicht zugängliche An- Falschmeldungen in Form von Wort und Bild gefährlich werden. gebot von KI-Unternehmen wie Stability AI oder OpenAI, ihre Laut Umfragen sind rund 73 % der Nutzer:innen auf TikTok in Dienste zu nutzen, sollten uns als Zivilgesellschaft hellhörig wer- Deutschland zwischen 16 und 19 Jahre alt (vgl. statista 2022). den lassen, auch wenn diese ihre eigenen ‚Usage Policies‘ ohne Sowohl TikTok als auch Instagram gehören bei jungen Men- Vorankündigung plötzlich ändern. schen zu den beliebtesten Informationsquellen im Internet (vgl. mpfs 2022). Die Sprachwissenschaftlerin und Medienpädago- In der zweiten Januarwoche dieses Jahres hat OpenAI einen gin Sabine Schiffler betont, dass „[die] gewichtigeren Falschmel- Passus aus seinen Nutzungsrichtlinien gestrichen, der die Nut- dungen […] immer noch die [sind], die von besonders glaub- zung seiner Forschungsergebnisse und Produkte für militäri- würdigen Stellen verbreitet werden“ (Schiffler, Sabine 2023). sche Zwecke bislang ausdrücklich ausschloss. Bis zum 10. Januar Durch ihre Glaubwürdigkeit tragen somit auch Influencer:innen enthielt die Seite ‚Usage Policies‘, welche die Nutzungsbedin- eine gesonderte Rolle der gesellschaftlichen Verantwortung im gungen von OpenAI-Technologien aufführte, ein Kapitel mit Desinformations- und Propagandakrieg. Verboten diverser Einbettungen bzw. Erweiterungen bestehen- der digitaler Systeme mit der Bezeichnung „Disallowed usage of So konnte man beispielsweise zu Beginn des Ukraine-Krieges our models“. Neben ‚Hate Content‘, Propaganda, der Generie- direkt neben Kreml-Propaganda auch Kriegsalltagsgeschichten rung von Schadsoftware und Pornographie wurden dort unter von Influencer:innen aus der Ukraine sehen. Anfang 2022 kur- anderem Nutzungen, die ein hohes Risiko körperlicher Schäden sierte ein ‚Deepfake’-Video des ukrainischen Präsidenten Se- mit sich bringen, aufgeführt: „Activity that has high risk of phy- lenskyj, in dem sein digitales Double behauptete, den Krieg ge- sical harm“, insbesondere von Waffenentwicklung, Militär und gen Russland aufzugeben. Der Fake riet seinen Bürger:innen, Kriegsführung, im Original: „Weapons development; Military die Waffen niederzulegen. Die Falschinformation, bei der es auf and warfare“ (archive.org 2023). den ersten Blick für Nutzer:innen schwer ist, sie als falsch zu entlarven, erreichte in kurzer Zeit Millionen von Menschen. So- Dieses klar formulierte Verbot von militärischen Anwendungen mit kann das Geflecht einzelner Influencer:innen, organisierter hatte die weitere, für den Konzern natürlich auch äußerst lu- Gruppierungen und Politiker:innen ein effektives Sprachrohr für krative Nutzung durch das Verteidigungsministerium und an- die Verbreitung von Kriegspropaganda sein. dere staatliche militärische Einrichtungen ausgeschlossen. Die neue Richtlinie enthält zwar weiterhin die Aufforderung „unse- Diese gezielte Nutzung von Ranking-Algorithmen, Social Bots ren Dienst nicht zu nutzen, um sich selbst oder anderen zu scha- und Automationen in Kombination mit menschlicher zielgerich- den“ und nennt als Beispiel die „Entwicklung oder Verwendung teter Kuration, um Falschinformationen in sozialen Netzwerken von Waffen“, doch das pauschale Verbot der „militärischen zu verbreiten, wird „Computational Propaganda“ genannt (vgl. und kriegerischen“ Nutzung ist verschwunden (OpenAI 2024). Woolley, Samuel et al. 2019:4). Donald Trump nutzte diese Stra- Die nicht vorangekündigte Streichung dürfte als eine Reaktion tegie beispielsweise auch für seinen Wahlkampf im Jahr 2017, auf die vermehrte Nutzung von KI-Technologien in den aktuel- indem er Social Bots unter anderem auf Facebook einsetzte, um len Kriegen wie dem Gaza-Israel-Krieg oder dem Angriffskrieg seinen potenziellen Wähler:innen individuelle Botschaften zu Russlands gegen die Ukraine gelten. Die KI-Softwareprodukte übermitteln (vgl. Welchering, Peter 2017). Er wird diese Techni- von Firmen wie Palantir Technologies Inc. beispielsweise er- ken und Technologien wieder nutzen. freuen sich großer Nachfrage in der NATO, unter anderem auch
52 FIfF-Kommunikation 1/24 aus Tel Aviv und Kiew. Eines von Palantirs neuesten Softwarepaketen ‚AIP for De- fense‘ wurde entwickelt, um Daten in Echt- zeit zu analysieren und so Ermittler:innen und Entscheidungsträger:innen in verschie- denen Bereichen, einschließlich Militär und
#FIfFKon2023 Sicherheit, zu unterstützen. Das ‚Battle Ma- nagement System‘ ermöglicht die Verknüp- fung und Analyse großer Mengen von Da- ten aus unterschiedlichen Quellen, um so komplexe Zusammenhänge und Muster aufzudecken. So erkennt es unter anderem feindliche Stellungen. Durch eine Chatfunk- tion ähnlich dem Interface von ChatGPT schlägt es in Interaktion dann Gegenmaß- nahmen vor. Eine Einstellung erlaubt es auch diese Maßnahmen autonom auszu- Abbildung 9: Interface, das von Amazon-Turk-Arbeitern verwendet wird, führen – wie zum Beispiel das Starten einer um Bilder im ImageNet zu beschriften (Fei-Fei, Li 2010) Aufklärungsdrohne ins Zielgebiet. Die Vorstellung der Existenz einer neutralen und objektiven Per- Die Filmemacherin Hito Steyerl und der Künstler Trevor Pa- spektive, die durch technische Lösungen, das richtige Maß an glen sprechen 2018 in ihrem Vortrag The Autonomy of ima- Granularität und eine möglichst gleichmäßige Repräsentation in ges, or we always knew images can kill, but now their fingers den jeweiligen Klassen bias-free würde, sei ein Fehlschluss und are on the triggers im Centre Pompidou, ausgehend vom Kon- setze die Existenz einer verborgenen transzendenten „Essenz“ zept der ‚operational images‘ von ihrer Erweiterung, den „invisi- eines Konzeptes voraus, das universell über mehrere Bilder hin- ble images“ (Steyerl, Hito/Trevor Paglen 2021): Bilder, die kein weg visuell repräsentiert werden könne (vgl. Crawford, Kate/ menschliches Auge mehr benötigen, um zu existieren, sondern Trevor Paglen 2019). „autonom“ sind. Unsichtbare Bilder, die etwa im Rahmen von maschinellem Lernen entstehen und von Algorithmen generiert, Die Vorstellung suggeriert neben einer universalen Objektivität trainiert und interpretiert werden, vermehrt ohne eine direkte auch eine Quantifizierbarkeit ästhetischer Erfahrungen, welche menschliche Wahrnehmung. Die Autonomie dieser Bilder wirft durch den Trainingsprozess von den Daten in die Modelle über- Fragen bezüglich ihrer Entstehung, Interpretation und Auswir- geht. Aktuelle Forschungsansätze im Bereich der Bild-Text-Modelle kungen auf, insbesondere hinsichtlich der Tatsache, dass etwa forcieren diese Vorstellung und ersetzen vermehrt von Menschen große Technologieunternehmen eine zentrale Rolle im Zugang annotierte Labels, Kategorien und Klassen durch automatisierte zu diesen spielen. Prozesse. Inspiriert durch den derzeitigen Erfolg von Text-zu-Text- Modellen wie ChatGPT oder GPT-4 wird diese Taxonomie der Bil- der zunehmend durch das Konzept der sogenannten ‚natural lan- Datenorientierte Weltzugänge: Machtstrukturen, guage supervision‘ getauscht. Das CLIP-Modell, das von OpenAI Bias und ästhetische Wertungen im Kontext des entwickelt wurde und derzeit wohl das meistzitierte Modell aus maschinellen Lernens dem Bereich des maschinellen Sehens ist, wurde im Jahr 2021 mit der Vision veröffentlicht „das kostspielige und arbeitsintensive Er- Einen ästhetischen Deutungszugang zu diesen autonomen Bil- stellen von Bild-Datensätzen und die einseitige Spezialisierung ei- dern im Kontext des maschinellen Lernens eröffnen die Trai- nes Modells auf eine bestimmte Aufgabe zu überwinden“ (Rad- ningsdaten. Bild-Datensätze sind zum einen durch die Auswahl ford, Alec et al. 2021). ‚Natural language supervision‘ bedeutet der enthaltenen Bilder und zum anderen durch deren ‚Annotati- dabei, dass feste Klassen und Labels von textuellen Beschreibun- onen‘ definiert. Je nach Datensatz handelt es sich dabei um hi- gen abgelöst werden. Das heißt, dass zu jedem Bild ein Text in na- erarchische Klassifizierungen der Bilder anhand zuvor bestimm- türlicher Sprache eingetragen ist, der dieses Bild beschreiben soll. ter Konzepte, aber auch um textliche Beschreibungen oder das ‚Natürliche Sprache‘ bezieht sich dabei nur auf die Korrektheit der Labeln bestimmter Bildausschnitte. Große Datensätze wie der Syntax – encodiert in der Maschine jedoch bleiben diese Texte abs- wohl bekannteste Bild-Datensatz ‚ImageNet‘ wurden dabei über trakte Zeichen, die jegliche Sinnbeziehung verloren haben. Jahre manuell von Menschen kuratiert. Das Annotieren, Filtern, aber auch Erweitern des Datensatzes wurde u. a. durch die Nut- Die Quelle für die Text-Bild-Paare sind fast ausschließlich öffent- zung ausbeuterischer Strategien wie das ‚Crowdsourcing‘ von lich zugängliche Daten aus dem Internet. Anders als noch bei Mikrojobs über Services wie ‚Amazons Mechanical Turk‘ maß- kuratierten Datensätzen können diese Paare automatisiert mit geblich vorangetrieben. Wie bei allen Prozessen, die auf Klassifi- Hilfe algorithmischer Filter aus archivierten Querschnitten des zierung beruhen, stellt sich bei diesen Datensätzen unweigerlich ‚Surface-Web‘ extrahiert werden. Diese prozesshafte und auto- die (Macht-)Frage, wer die Klassen bestimmt – wer klassifiziert matisierte Vorgehensweise eröffnet die Möglichkeit, Datensätze und wer klassifiziert wird. Trevor Paglen und Kate Crawford be- in bisher nicht gekannter Größenordnung zu erstellen. schreiben in ihrem Artikel Excavating AI diese annotierten Da- tensätze deshalb als „politische Intervention“ (Crawford, Kate/ Das CLIP-Modell wurde beispielsweise mit einem Trainingssatz Trevor Paglen 2019). von 400 Millionen Text-Bild-Paaren trainiert, wobei die genauen
FIfF-Kommunikation 1/24 53 Trainingsdaten von OpenAI nicht veröffentlicht wurden. Das von dell – auch als „Aesthetic Predictor“ bezeichnet – darauf trainiert, Stability AI entwickelte Text-zu-Bild-Modell Stable Diffusion ba- den ästhetischen Wert von Bildern auf einer Skala von 1 bis 10 zu siert auf einem umfangreichen Datensatz mit 2 Milliarden Einträ- bewerten (vgl. Schuhmann, Christoph 2022). gen, bekannt als ‚laion2B-en‘. Zum Vergleich: das oben erwähnte ImageNet-Datenset enthält ‚nur‘ etwa 14 Millionen annotierte Bil- Der „Aesthetic Predictor“ ist auf programmatisch erstellten Da- der. Im wissenschaftlichen Aufsatz zu CLIP preisen die Autor:innen tensätzen trainiert, welche Bewertungen aus Fotografie-Foren das Modell für die gute ‚Zero-Shot‘-Performance, also die große sowie Einschätzungen von Nutzer:innen auf großen Text-zu- #FIfFKon2023
Erfolgsquote, wenn das Modell mit Daten konfrontiert wird, die Bild-Discord-Servern einschließen. Nach einem ähnlichen Prin- nicht Teil des Trainingssets sind. Der Erfolg suggeriert die von Pa- zip bestimmt ein „NSFW Detector“, welche Bilder ‚gefährliche glen und Crawford kritisierte Vorstellung einer transzendenten Inhalte‘ abbilden. Trainiert wird dieser ‚Entscheider‘ auf gescrap- Essenz von Konzepten, die sich mit ausreichenden Trainingsda- ten Bildern aus diffusen Kategorien wie ‚Gewalt‘ und ‚Pornogra- ten erfassen ließe. Die Allgemeingültigkeit und Universalität über phie‘ (vgl. Schuhmann, Christoph 2022a). Die Frage nach dem mehrere Anwendungsgebiete und Aufgaben hinweg impliziert Urteilenden und dem Beurteilten verschwindet damit hinter der auch die Möglichkeit einer Anwendung für eine militärische Nut- mathematischen Komplexität der Modelle und weicht einer He- zung, wie die Klassifizierung von Kriegsbildern, oder für die innere gemonie automatisierter, scheinobjektiver Operationen auf In- Sicherheit, wie bspw. ‚Predictive Policing‘. Dabei ist der gesamte ternet-Daten. Durch diese Vorgehensweise läuft alles, was als Weltzugang, den diese Datensätze und Modelle repräsentieren, Bild im Internet vorhanden ist, Gefahr, jederzeit zu einem opera- ein stochastischer, nämlich die Korrelation der abstrahierten Zei- tiven Bild der operativen Datensätze zu werden. chen von Texten und Bildern aus dem Internet. Ein Prozess, der in seiner Gänze von Maschinen und Automatisierung bestimmt ist und unweigerlich eine Diskussion über Verantwortungsdiffusion Fazit anstößt. Er beginnt in der Überführung der Daten in einen ge- meinsamen mathematischen Raum, auch ‚Latent Space‘ genannt. In einer Zeit, in der technische Bilder immer wirkmächtiger in un- Diese maschinellen Repräsentationen sind für uns nicht ohne Neu- seren Lebensalltag eingreifen und unsere Handlungsräume be- interpretation ästhetisch erfahrbar. Buchstaben- und Pixelreprä- stimmen, stellt sich die zentrale Frage nach einer zivilgesellschaft- sentationen sind durch Vektoren und Tensoren ersetzt worden, lichen Rückeroberung der Deutungshoheit über diese Bilder mit denen operiert wird. Ein wesentlicher Teil dieser Operationen – losgelöst von wirtschaftlichen oder militärischen Machtstruk- besteht jedoch im Filtern: Durch verschiedene mathematische Kri- turen. Insbesondere vor dem Hintergrund, dass die abstrakten terien wird versucht, den ästhetischen Zugang zu Bildern zu quan- Zeichen im Computer losgelöst von jeglicher Bedeutung existie- tisieren, zum Beispiel durch ‚aesthetic scoring‘. Dabei wird ein Mo- ren und dennoch in ihrer Interpretation Wirkmacht und Einfluss
Abbildung 10: Präsentationsbild von LAION-Aesthetics V1 | © LAION – Large-scale Artificial Intelligence Open Network, Schuhmann, Christoph 2022
54 FIfF-Kommunikation 1/24 auf unser Handeln ausüben – bedenke man etwa den Einfluss Crawford, Renewable Matter. URL: https://www.renewablematter.eu/ von ‚Deepfake’-Videos in Sozialen Netzwerken – gilt es, dies kri- artificial-intelligence-computations-power-interview-kate-crawford [ab- tisch zu hinterfragen. Gleichzeitig führt der Versuch einer Integ- gerufen am 01.02.2024]. ration menschlicher Werte in Technologie zu ethischen und ge- Misselhorn, Catrin (2019): Grundfragen der Maschinenethik, 4. Aufl. Ditzin- sellschaftlichen Herausforderungen, die Verantwortungslücken gen: Reclam Verlag. und Unschärfen mit sich bringen. Eine essentielle Form der Re- mpfs (2022): JIM-Studie 2022 – Jugend, Information, Medien, Medienpä-
#FIfFKon2023 flexion dieser ungreifbaren Prozesse ist die Übersetzung in eine dagogischer Forschungsverbund Südwest. URL: https://www.mpfs.de/ ästhetische Erfahrung und ihre Erfahrbarkeit. fileadmin/files/Studien/JIM/2022/JIM_2022_Web_final.pdf [abgerufen am 01.02.2024]. Nake, Frieder (2006): Das doppelte Bild. In: BAND 3,2 Digitale Form. Berlin, Boston: De Gruyter (A): 40-50. Referenzen OpenAI (2024): Usage policies, OpenAI. URL: https:/openai.com/policies/ Adam tactic group (2023): Викурювання нікчемних істот з нір usage-policies [abgerufen am 01.02.2024]. продовжується, Screenshot von Telegram Video Post, 15.03.2023. URL: Parikka, Jussi (2023): Operational Images: From the Visual to the Unvisual, https://t.me/adamtactic/91 [abgerufen am 01.02.2024]. Minneapolis: University of Minnesota Press. archive.org (2023): Usage policies, Archivseite auf archive.org. URL: Radford, Alec et al. (2021): Learning transferable visual models from natural https://web.archive.org/web/20240109122522/https:/openai.com/ language supervision, arXiv.org. URL: https://arxiv.org/abs/2103.00020 policies/usage-policies [abgerufen am 01.02.2024]. [abgerufen am 01.02.2024]. Arendt, Hannah (1981): Vita activa oder Vom tätigen Leben, München: Schiffler, Sabine (2023): Erkenntnisse aus der Propagandaforschung, in: Piper Verlag IMI-Analyse 2023/49, Informationsstelle Militarisierung e. V. (IMI). URL: Arendt, Hannah (1986): Eichmann in Jerusalem. Ein Bericht von der Banali- https://www.imi-online.de/2023/12/18/erkenntnisse-aus-der- tät des Bösen, München / Zürich: Piper Verlag. propagandaforschung/ [abgerufen am 01.02.2024]. Bendel, Oliver (2018): Überlegungen zur Disziplin der Maschinenethik, in: Schuhmann, Christoph (2022): LAION-Aesthetics, laion.ai. URL: Aus Politik und Zeitgeschichte, Nr. APuZ 6-8/2018. https://laion.ai/blog/laion-aesthetics [abgerufen am 01.02.2024]. Bendel, Oliver (2022): Maschinen können keine moralische Verantwortung Schuhmann, Christoph (2022a): LAION-AI/CLIP-based-NSFW-Detector, tragen, in: Amosinternational 16, Nr. 3: 41–46. GitHub. URL: https://github.com/LAION-AI/CLIP-based-NSFW-Detector Brandstätter, Ursula (2013): Ästhetische Erfahrung, kubi-online. URL: [abgerufen am 01.02.2024]. https://www.kubi-online.de/print/pdf/node/3231 [abgerufen am Shashenok Valeria (2022): MY TYPICAL DAY IN A BOMB SHELTER, 01.02.2024]. Screenshot von @valerisssh, 4.03.2022. URL: https://www.tiktok.com/@ Brecht, Bertolt (1939): Über das experimentelle Theater, in: ders: Gesam- valerisssh/video/7071270332891483397 [abgerufen am 01.02.2024]. melte Werke, Bd. 15., Frankfurt am Main: Suhrkamp Verlag. Sparrow, Robert (2007): Killer Robots, in: Journal of Applied Philosophy 24, Crawford, Kate/Trevor Paglen (2019): Excavating AI: The Politics of Training Nr. 1: 62–77 Sets for Machine Learning. URL: https://excavating.ai/ [abgerufen am statista (2022): Anteil der befragten Internetnutzer, die TikTok nutzen, nach 01.02.2024]. Altersgruppen in Deutschland im Jahr 2021/22. URL: https://de.statista. Danaher, John (2017): How to Plug the Robot Responsibility Gap. URL: com/statistik/daten/studie/1318937/umfrage/nutzungvon-tiktok-nach- https://philosophicaldisquisitions.blogspot.com/2017/03/how-to-plug- altersgruppen-in-deutschland [abgerufen am 01.02.2024]. robot-responsibility-gap.html [abgerufen am 01.02.2024]. Steyerl, Hito/Trevor Paglen (2021): The Autonomy of images, or we always Deutscher Ethikrat (Hrsg.) (2023): Mensch und Maschine – Herausforde- knew images can kill, but now their fingers are on the triggers, Vortrag rungen durch Künstliche Intelligenz. URL: https://www.ethikrat.org/ im Centre Pompidou, in: Hito Steyerl: I will survive espaces physiques et fileadmin/Publikationen/Stellungnahmen/deutsch/stellungnahme- virtuels, Paris Düsseldorf Leipzig: Ed. du Centre Pompidou Kunstsamm- mensch-und-maschine.pdf [abgerufen am 01.02.2024]. lung Nordrhein-Westfalen Spector Books. Deutscher Ethikrat (Hrsg.) (2023a): Künstliche Intelligenz zur Erweiterung Streeruwitz, Marlene (2022): Handbuch gegen den Krieg, Wien: Fischer menschlicher Entfaltungsmöglichkeiten einsetzen, Infobrief 01/23. URL: Verlag https://www.ethikrat.org/fileadmin/Publikationen/Infobrief/infobrief- Trogemann, Georg (2015): Die Fülle des Konkreten am Skelett des Forma- 01-23-web.pdf [abgerufen am 01.02.2024]. len, Open Access Publication. URL: https://e-publications.khm.de/ Farocki, Harun (2003): Erkennen und Verfolgen, Buch u. Regie: Harun Fa- frontdoor/index/index/docId/50 [abgerufen am 01.02.2024]. rocki; Kamera: Ingo Kratisch, Rosa Mercedes; Produktion: Harun Farocki Weizenbaum, Joseph (2001): Computermacht und Gesellschaft. Freie Filmproduktion, Berlin, in Zusammenarbeit mit ZDF/3sat; Erstausstrah- Reden, Wendt, Gunna/Franz Klug (Hrsg.) (2001), Frankfurt am Main: lung: 3sat, 2. März 2003. Suhrkamp Verlag. Fei-Fei, Li (2010): ImageNet: crowdsourcing, benchmarking & other cool Weizenbaum, Joseph (2020): Die Macht der Computer und die Ohnmacht things, Präsentationsfolie CMU VASC Seminar. URL: https://www. der Vernunft, 15. Auflage, Frankfurt am Main: Suhrkamp Verlag. image-net.org/static_files/papers/ImageNet_2010.pdf [abgerufen am Welchering, Peter (2017): Wahlkampf der Algorithmen, Deutschlandfunk. 01.02.2024]. URL: https://www.deutschlandfunk.de/social-bots-wahlkampf-der- Goodman, Nelson (1997): Sprachen der Kunst, Frankfurt am Main: Suhr- algorithmen-100.html [abgerufen am 01.02.2024]. kamp Verlag. Wittgenstein, Ludwig (1973): Philosophische Grammatik, Frankfurt am Handke, Peter (1986): Gedicht an die Dauer. Frankfurt am Main: Suhrkamp Main: Suhrkamp Verlag. Verlag. Woolley, Samuel C./Howard, Philip N. (2019): Computational Propaganda. Hunger, Francis (2023): Commercial of-the-shelf – Die Re-Ästhetisierung Political Parties, Politicians and Political Manipulation on Social Media, operativer Drohnenvideos im russischen Angriffskrieg gegen die Ukraine. Oxford: Oxford University Press. Unveröffentlichtes Manuskript. Marino, Giorgia (2024): Calculating and Powers: Interview with Kate Autoreninfos siehe Seiten 42, 44 und 45
FIfF-Kommunikation 1/24 55 Friederike Hildebrandt
Machtfragen im Digitalisierungsprozess aus Sicht der Nachhaltigkeit Vorschau auf einen längeren Artikel in einer der nächsten Ausgaben der FIfF-Kommunikation „Ist Digitalisierung Chance oder Risiko für die Nachhaltigkeit?” alten Strukturen auf – seien es lang etablierte Rohstofflieferketten #FIfFKon2023
Spätestens seit dem Gutachten des Beirats für Globale Umwelt- oder die oligopolistische Stellung der Landwirtschaftskonzerne. An- veränderung (WBGU) Unsere gemeinsame digitale Zukunft1 und dererseits handeln die stärksten neuen Akteure im digitalen Sektor der ersten Bits-und-Bäume-Konferenz 20182 ist diese Frage aus – die Technologiekonzerne wie GAFAM – ebenso gewinnorientiert dem politischen Diskurs nicht mehr wegzudenken. Auch die digi- wie die Landwirtschaftskonzerne und nehmen ökologische Schäden talpolitische Arbeit beim Bund für Umwelt und Naturschutz und sowie Menschen- und Arbeitsrechtsverletzungen in Kauf, wie unter- im Bits-und-Bäume-Bündnis bewegt sich in diesem Spannungs- schiedliche Aktivist:innen und Organisationen kritisieren. Beispiele feld. Dabei ist das Ziel eine enkelfreundliche Zukunft zu ermögli- dafür sind die Arbeitsbedingungen von Content-Moderator:innen chen – also zukünftigen Generationen einen gesunden, bewohn- sozialer Medien11 und Proteste gegen den Bau von Hyperscale-Re- baren und gerechten Planeten zu hinterlassen. Diese Zukunft chenzentren in den Niederlanden12 und der Region Sapmí13. Am gerät in Zeiten „multipler Krisen”3 verstärkt in Gefahr, sei es eindrücklichsten ist die aktuell laufende Klage der Rohingya gegen durch den Rückgang demokratischer Regierungen weltweit4, zu- den Meta-Konzern wegen der Befeuerung des Genozids an den Ro- nehmende Ungleichheit5 oder anheizende bewaffnete Konflikte. hingya 2017 durch gezielte Hass-Rede und Hetze auf Facebook14. Ökologisch stehen wir vor drei großen Krisen, die sich gegensei- tig befeuern und bedingen: die Klimakrise, die Ressourcenkrise – Damit tritt das Gegenteil dessen ein, was der WBGU in seinem also der übermäßige Verbrauch von biotischen und abiotischen Gutachten empfiehlt: dass Bürger:innen und Zivilgesellschaft Rohstoffen – und die Biodiversitätskrise oder das Artensterben. den digitalen Wandel gestalten sollten. Diese Gestaltungsmacht ist jedoch nicht verloren, sie kann durch die Zivilgesellschaft und Die Frage, ob Digitalisierung nur eine Chance oder doch ein Risiko für Bewegungen zurückerkämpft werden. Dazu braucht es strategi- diese Krisen darstellt, lässt sich nicht abschließend beantworten. Aller- sche Policy-Arbeit, aber auch den Aufbau und die Ausweitung dings deuten unterschiedliche Entwicklungen darauf hin, dass die üb- einer alternativen Digitalisierung. Hierfür müssen die ökologi- licherweise durchgeführte Digitalisierung Krisendynamiken verstärkt: sche und digitale Zivilgesellschaft eng zusammenarbeiten!
1. Im Klimabereich führt die Nutzung von Rechenzentren für energieintensive Anwendungen wie KI-Systeme oder Kryp- Anmerkungen towährungen6 zu erhöhten Emissionen von Treibhausgasen. 1 https://www.wbgu.de/de/publikationen/publikation/unsere-gemein- same-digitale-zukunft 2. Der Bedarf an metallischen Ressourcen steigt weltweit durch 2 https://bits-und-baeume.org/konferenz-2018/ sogenannte „Zukunftstechnologien” wie digitale Infrastruk- 3 https://www.boell.de/sites/default/files/multiple_krisen_u_brand_1.pdf turen, Elektromobilität und Weiterentwicklung der Hard- 4 https://www.eiu.com/n/campaigns/democracy-index-2021/?utm_source= ware7. Für die Förderung der benötigten Rohstoffe werden economist&utm_medium=daily_chart&utm_campaign=democracy-index-2021 eine Wiederbelebung des europäischen Bergbaus, die Er- 5 https://www.oxfam.org/en/research/public-good-or-private-wealth schließung der Lithiumförderung in Lateinamerika und In- 6 https://www.ecb.europa.eu/pub/financial-stability/macroprudential- vestitionen in den Tiefseebergbau diskutiert. bulletin/html/ecb.mpbu202207_3~d9614ea8e6.en.html 7 https://www.deutsche-rohstoffagentur.de/DE/Gemeinsames/Pro- 3. Eben dieser Rohstoffabbau bedroht zunehmend die Arten- dukte/Downloads/DERA_Rohstoffinformationen/rohstoffinformatio- vielfalt – Tiefseebergbau kann bisher noch unerschlossene nen-50.pdf?__blob=publicationFile&v=4 Ökosysteme zerstören, und schon heute ist die Förderung 8 https://power-shift.de/wp-content/uploads/2022/01/HeissesEisen.pdf von metallischen Rohstoffen ein Hauptgrund für den globa- 9 https://www.etcgroup.org/content/disruptive-digital-food-and-ag- len Verlust von Regenwäldern8. techs-invading-indigenous-territories-india Zudem nutzen große Agro-Chemie-Konzerne wie Bayer/ 10 https://www.suhrkamp.de/buch/philipp-staab-digitaler-kapitalismus- Monsanto, Syngenta oder John Deere digitale Technologien, t-9783518075159 https://aufkostenanderer.org/portfolio/digitalisierung/ um die industrielle Landwirtschaft weiter zu intensivieren9. 11 https://www.bpb.de/mediathek/video/273199/the-cleaners/ 12 https://www.washingtonpost.com/climate-environment/2022/05/28/ Aber warum verstärkt die Digitalisierung die Krisendynamiken? Der meta-data-center-zeewolde-netherlands/ digitale Wandel wird von privatwirtschaftlichen Konzernen gestaltet 13 https://www.deutschlandfunkkultur.de/rechenzentren-in-nordeuropa- und scheint klaren Mustern einer wachstums- und profitorientierten warum-die-samen-dagegen-kaempfen-dlf-kultur-b9cd40d3-100.html Wirtschaftslogik zu folgen10. Einerseits baut der digitale Wandel auf 14 https://www.deutschlandfunk.de/rohingya-klage-facebook-100.html
Friederike Hildebrandt
Friederike Hildebrandt ist Ökonomin, Aktivistin und arbeitet beim Bund für Umwelt und Natur- schutz zum Thema Nachhaltigkeit und Digitalpolitik.
56 FIfF-Kommunikation 1/24 Erich Pawlik
Entwicklungszusammenarbeit trifft auf Tech-Konzerne und den Überwachungsstaat Teil 1 – Digitaler Kolonialismus
#FIfFKon2023 ICT4D (Information and Communications Technologies for Development) ist ein Sammelbegriff für verschiedene Herangehensweisen, die darauf abzielen, einen gerechteren Zugang zu digitalen Technologien zu ermöglichen und damit die wirtschaftliche und soziale Entwicklung weltweit voranzutreiben. Besonders arme und marginalisierte Gemeinschaften sollen davon profitieren. ICT4D-Akteure umfassen staatliche und überstaatliche Entwicklungsagenturen, zivilgesellschaftliche Organisationen, Universitäten sowie internatio- nal tätige Unternehmen und deren Stiftungen. Diese verschiedenen Gruppen haben unterschiedliche Ansätze, aber sie alle teilen die Vorstellung, dass Digitalisierung eine positive Kraft ist und digitale Inklusion für die soziale Entwicklung von zentraler Bedeutung ist.
Die Informationstechnologie für den guten Zweck agiert in ei- Die Auslagerung von Arbeit in Unternehmen des Globalen Sü- nem bereits digitalisierten Umfeld. In diesem Artikel werde ich dens hat für die Auftraggeber Kostenvorteile durch niedrigere mich auf Afrika konzentrieren. Der erste Teil des Artikels befasst Löhne, fehlende Sozialstandards, schlechtere Arbeitsbedingun- sich mit den großen westlichen Tech-Konzernen, deren Vorgehen gen und weitgehende Kontrolle über das Personal gebracht. von Aktivist:innen im Globalen Süden oft als digitaler Kolonialis- Bei Problemen verstecken sich die Auftraggeber hinter den lo- mus bezeichnet wird. Zudem werde ich kurz auf die geopolitisch kalen Unternehmen oder argumentieren, dass alles gesetzes- motivierte Unterstützung autoritärer Regime durch chinesische konform sei. Akteure eingehen. Der zweite Teil erscheint in einer späteren Ausgabe der FIfF-Kommunikation und wird sich mit den staatli- Plattformen wie Amazon Mechanical Turk umgehen Unterneh- chen und zivilgesellschaftlichen ICT4D-Akteuren befassen. men im Globalen Süden und bieten 24 hour access to a Global On Demand Workforce. Dienstleistungen wie Bildbearbeitung, Textklassifikation für das Training einer Künstlichen Intelligenz Welthandel und Digitalisierung oder das Schreiben einer Studienarbeit können auf den Platt- formen ausgeschrieben werden. Deren Betreiber:innen treten Etwa die Hälfte des globalen Handels besteht aus dem Aus- als Vermittler:innen auf, ähnlich wie Uber oder eBay. Die Ge- tausch von Dienstleistungen. Der Anteil der Dienstleistungen, schäftsbedingungen der Plattformen sind so ausgestaltet, dass die von Informations- und Kommunikationstechnologien (IKT) die Auftragnehmer:innen gegenüber der Plattform und den geprägt sind, nimmt kontinuierlich zu. Auch der Handel mit Wa- Auftraggeber:innen fast machtlos sind und im Konfliktfall die ren und Rohstoffen ist zunehmend von IKT abhängig. Diese zugesagte Bezahlung kaum durchsetzen können. Nutzung von IKT basiert auf Beziehungen zwischen Ländern des Nordens und des Südens, in denen noch immer deutliche Spuren der kolonialen Vergangenheit zu erkennen sind. Tech-Konzerne im Globalen Süden
Der Handel mit IKT-basierten Dienstleistungen begann in gro- Die Ausbreitung von Mobilfunk und Internet im Globalen Sü- ßem Maßstab mit IT-Outsourcing in den 80er- und 90er-Jah- den schuf die Grundlage für globale Geschäftsmodelle. Kern der ren des letzten Jahrhunderts. Unternehmen im Globalen Süden, Strategie der Tech-Konzerne ist der Aufbau einer zunehmend in den Ländern der ehemaligen Sowjetunion und in Osteuropa festeren Bindung „ihrer“ Benutzer:innen an ihre Plattformen. dienten als ausgelagerte IT-Abteilungen. Für ihre Kunden waren Dienste der Tech-Konzerne ermöglichen die Organisation des die großen Lohnunterschiede wichtig, aber auch der Fachkräfte- Alltags und des Kleingewerbes und können auch zur politischen mangel und die Möglichkeit, die innerbetriebliche Macht der oft Organisation wie etwa im Arabischen Frühling genutzt werden. widerspenstigen IT-Spezialist:innen zu brechen. Die Tech-Konzerne sind auf die Loyalität ihrer Benutzer:innen Dann kam Business Process Outsourcing (BPO), die Auslage- angewiesen. Ein Großteil der Technologie, die beispielsweise rung von administrativen Arbeiten wie die Beantwortung von in sozialen Netzwerken eingesetzt wird, ist frei verfügbar und telefonischen Kundenanfragen oder Datenerfassung in Billig- könnte von lokalen Anbietern genutzt werden, um eine Alterna- lohnländern des Globalen Südens. Eine moderne Variante ist tive zu den internationalen Konzernen zu bieten. Für westliche die Content Moderation. Inhalte in sozialen Medien und KI- Konzerne war es ein Warnsignal, dass in China lokale Unterneh- Plattformen wie ChatGPT, die von einem IT-System als poten- men wie Baidu, AliBaba und Tencent westliche Konzerne ver- ziell anstößig, gewaltverherrlichend oder gegen die Nutzungs- drängt haben und zunehmend selbst global agieren. bedingungen der Plattform verstoßend eingestuft worden sind, werden auf die Bildschirme von Content Moderators projiziert. Um dem entgegenzuwirken, hat Facebook damit begonnen, ein Diese Personen vor dem Bildschirm müssen im Sekundentakt Konzept namens Free Basics in Ländern des Globalen Südens entscheiden, ob der Inhalt den Vorgaben der Plattformbetreiber auszurollen. In Kooperation mit lokalen Telefongesellschaften entspricht oder gelöscht wird. wird kostenloser Zugang zu Facebook und anderen von Face- book ausgewählten Internetseiten angeboten, während für den BPO wird durch die Zerlegung von Aufgaben in kleine mensch- Zugang zum restlichen Internet Telekommunikationsgebühren liche oder maschinelle Arbeitsschritte möglich, die wie am Fließ- abgerechnet werden. Dies hat in vielen Ländern dazu geführt, band mit einem IT-System als Taktgeber ausgeführt werden. dass Facebook mit dem Internet gleichgesetzt wird.
FIfF-Kommunikation 1/24 57 Rekolonisierung Digitale Systeme nutzen zur Kommunikation eine dieser „Sprachen der Macht“ (Alexander 2012). Sprache ermög- In ihren Strategien setzen Tech-Konzerne auf Intransparenz. licht es Individuen und Gruppen, ihre Absichten umzusetzen Moderne IKT-Systeme haben sorgfältig konstruierte Benut- und ihre Agenda anderen aufzudrängen. Diese Wirkungen zungsschnittstellen, die den Benutzer:innen den Zugang zu den sind in den schmalbandigeren Kommunikationstrukturen vir- Leistungen der jeweiligen IKT-Systeme vereinfachen. Benut- tueller Umgebungen noch stärker ausgeprägt als im persön- zungsschnittstellen dienen gleichzeitig der Verhaltenskontrolle lichen Kontakt. #FIfFKon2023
von Nutzer:innen und sind wie ein Vorhang, der die durch die Entwickler:innen und deren Auftraggeber:innen in das IKT-Sys- Die Vorherrschaft des Englischen und anderer postkolonialer tem eingeschriebenen Ziele und Absichten verbirgt. Sprachen wird in vielen Ländern des Globalen Südens nicht nur toleriert, sondern auch als legitimes Modell für das Zusammen- Während die Benutzungsoberflächen der angebotenen Dienste leben angesehen (vgl. Alexander 2012). Denn die Kenntnis der freie Kommunikation suggerieren, werden die sichtbaren Inhalte Sprache der ehemaligen Kolonialmacht ist in zahlreichen afrika- von intransparenten Algorithmen gesteuert. Die Algorithmen ver- nischen Ländern ein wertvolles kulturelles Kapital. Gleichzeitig suchen nicht nur zu ermitteln, was für die Benutzer:innen inter- werden mit der Sprache auch Denkweisen und Inhalte vom Nor- essant ist, sondern auch, die Aufmerksamkeit auf Nachrichten zu den in den Süden transportiert. lenken, die im Auftrag zahlender Dritter präsentiert werden. Der Globale Süden ist zwar noch kein großer Werbemarkt, politische Automatische Übersetzung wird oft als Lösung angepriesen, um Einflussnahme ist jedoch bereits ein weit verbreitetes Phänomen. einen breiteren Zugang zu ermöglichen. Allerdings erfordert eine qualitativ hochwertige maschinelle Übersetzung einen umfang- Umgekehrt werden Inhalte unterdrückt, die den von nordame- reichen Korpus an schriftlichem Material, der nur für etwa 30 rikanischen Werten geprägten Geschäftsbedingungen der Platt- Sprachen in ausreichender Qualität vorhanden ist. Bei den üb- formen, lokalen Gesetzen oder auch den Wünschen autoritä- rigen Sprachen, sofern überhaupt automatisierte Übersetzungs- rer Machthaber widersprechen. Was toleriert wird, hängt davon möglichkeiten für diese vorhanden sind, treten häufig Überset- ab, was die Plattform für opportun und bezahlbar hält. In vielen zungsfehler auf. Zudem führen viele maschinelle Übersetzungen Ländern des Globalen Südens können Aufrufe zu Gewalt bis hin über die englische Sprache zu einer verzerrten Darstellung sozia- zum Mord, Mobbing von Angehörigen ethnischer Gruppen und ler und kultureller Konzepte. digitalisierte sexuelle Belästigung ungehindert zirkulieren. Wenn es zu physischer Gewalt kommt, berufen sich die Plattformen Die Digitalisierung hat nicht nur dazu beigetragen, den ökono- meist auf mangelndes Wissen über die lokalen Verhältnisse oder mischen und kulturellen Einfluss des Westens auf die Eliten und fehlende Sprachkenntnisse. Auf der Website Rest of World wird die Mittelklasse in Afrika zu verstärken, sondern auch neue Ge- der Fall eines politisch motivierten Mords in Äthiopien analy- schäftsmodelle für die Medien- und Kulturindustrie ermöglicht. siert, dem mehrere Wochen Hatespeech auf Facebook voraus- gegangen waren, ohne dass Meta etwas unternommen hätte Streaming-Anbieter wie Netflix gewinnen Kunden in Afrika, (vgl. Deck 2023). stoßen im selben Moment jedoch auf Probleme aufgrund der fehlenden Internetinfrastruktur. Obwohl mobiles Internet weit Die Strategie der Tech-Konzerne, ihre eingebetteten Macht- verbreitet ist, sind die Kosten für das Streaming für die meisten strukturen in den Plattformen zu verbergen, erweist sich trotz Menschen in Afrika einfach zu hoch. solcher Vorfälle als erfolgreich. Nutzer:innen betrachten und ver- teidigen die Plattformen weiterhin als Orte freier Kommunika- Derzeit ist es wirtschaftlich interessanter, afrikanische kulturelle tion. Ein Beispiel hierfür ist ein Gespräch zwischen einer Profes- Ressourcen für eine globale Kundenbasis zu nutzen. Netflix hat sorin einer südafrikanischen Universität und ihren Student:innen beispielsweise Nollywood entdeckt, ein Ökosystem für kosten- (vgl. Becker 2017). günstige Filmproduktionen in Nigeria, die sich an ein afrikani- sches Publikum richten. Basierend auf diesem Ökosystem hat Die Technologie hinter den großen Plattformen wird haupt- Netflix begonnen, Filme in Afrika für ein globales Publikum zu sächlich in westlichen Ländern und China entwickelt. So be- produzieren (vgl. Okiche 2023:22). einflussen die Denkweisen der Entwickler:innen und ihrer Auftraggeber:innen die Gestaltung der Systeme maßgeblich. Afrikanische Medienunternehmen könnten versuchen, in den Dies geschieht meist unbeabsichtigt und oft aufgrund mangeln- USA und Europa Fuß zu fassen und afrikanische Inhalte wie den Verständnisses für andere Lebenswelten. Dadurch besteht Filme, Videos und Bilder zu vermarkten. Allerdings stoßen sie die Gefahr, dass kolonialistische Denkweisen verstärkt oder wie- dabei u. a. auf das Hindernis des Urheberrechtsystems. Medien- der eingeführt werden. konzerne aus dem Norden besitzen große Mengen an Rechten, die sie im Zweifelsfall auch gegen Konkurrenten einsetzen. Dies Von den weltweit etwa 7.000 Sprachen und Dialekten sind le- betrifft auch Trainingsdaten für KI-Systeme. diglich rund 500 im Internet vertreten (vgl. Trevino 2020). Dabei dominieren Inhalte in englischer Sprache, die etwa die Hälfte der In Afrika werden in jüngster Zeit vermehrt Diskussionen geführt, Internet-Seiten ausmachen und nur etwa 10 weitere Sprachen bei denen die kollektiven Interessen von Gemeinschaften in den machen fast die gesamte andere Hälfte aus. Dies führt dazu, Vordergrund gestellt werden. Daten über soziale Zusammen- dass viele Menschen, insbesondere im Globalen Süden, benach- hänge und kulturelle Traditionen werden als integraler Bestand- teiligt sind oder von der Nutzung dieser digitalen Werkzeuge teil der Gemeinschaft angesehen (vgl. Irura et al. 2021:16). Das ausgeschlossen werden. auf Individuen ausgerichtete internationale Recht zum Schutz
58 FIfF-Kommunikation 1/24 von Immaterialgütern bietet hierfür keine Mechanismen. Arte- vielen Autokraten in Afrika ein Gefühl der Bedrohung ausgelöst. fakte wie die Shona-Skulpturen und die Benin-Bronzen können Obwohl sich die Bewegung letztendlich als fragil erwies (vgl. Tu- mithilfe generativer Künstlicher Intelligenz einfach nachgeahmt fekci 2017), fand die Nutzung des Internets zur Organisation so- werden. Angehörigen der jeweiligen Gemeinschaft würden die zialer Bewegungen viele Nachahmer. Verdienstmöglichkeiten in der immer größer werdenden globa- len Kulturindustrie genommen. Anfangs reagierten autoritäre Staaten auf die mit Hilfe sozialer
#FIfFKon2023 Medien organisierten Bewegungen mit einer Abschaltung des Internets oder des Mobilfunknetzes. Da digitale Kommunika- Handeln wie ein Staat tionstechnologien mittlerweile auch in Afrika eine bedeutende Rolle im täglichen Leben spielen, besteht bei langanhaltenden Tech-Konzerne versuchen im Globalen Süden, sich Funktionen Abschaltungen allerdings die Gefahr, dass die Bewegungen an anzueignen, die normalerweise Staaten vorbehalten sind. Breite gewinnen und sich radikalisieren.
Facebook hatte mit Libra (später Diem) eine inzwischen einge- Die Mächtigen haben ihr Repertoire dennoch erweitert, wohl stellte Kryptowährung angekündigt. Libra wurde als Mittel zur wissend um dieses Risiko. Desinformation, Hacking von Gerä- finanziellen Inklusion im Globalen Süden beworben, einschließ- ten, Zensur und der Einsatz von Überwachungstechnologien lich kostengünstiger Geldtransfers über Ländergrenzen hinweg. wurden seit dem Arabischen Frühling kontinuierlich ausgebaut Facebook hatte dabei vermutlich die milliardenschweren Geld- und zu einem Gesamtsystem integriert. transfers von Arbeitsmigrant:innen in ihre Heimatländer im Blick. Digitale Überwachungstechnologien werden aus verschiedenen Die Idee einer Kryptowährung in den Händen von Tech-Kon- Quellen bezogen. Dabei spielen chinesische Technologien eine zernen wurde 2019 mit WorldCoin aufgegriffen. Dieses Projekt immer größere Rolle (vgl. Jili 2022). Die in China gut entwi- wird unter anderem von Sam Altman vorangetrieben, dem CEO ckelte Überwachungs- und Zensur-Technologie wird von chine- der ChatGPT-Firma OpenAI. WorldCoin soll mit einer Identitäts- sischen Unternehmen als Sprungbrett genutzt, um weitere di- prüfung per Iris-Scan und der Ausstellung eines global gültigen gitale Dienste anzubieten und die Marktdominanz westlicher digitalen Identitätsmerkmals verbunden werden. Tech-Konzerne zurückzudrängen.
Staaten klassifizieren und machen Menschen und ihre sozialen Viele afrikanische Staaten und die Afrikanische Union arbeiten Beziehungen transparent, um sich ihre Aufgaben zu erleichtern. derzeit an Strategien zur Künstlichen Intelligenz. Es gibt nur sehr Auch Tech-Konzerne sind bestrebt, digitale Zwillinge von ihren wenige Daten über die Lebenswelten und Wirtschaft der Men- Benutzer:innen zu erstellen. Darüber hinaus wird auch versucht schen in Afrika, die eine Nutzung von Künstlicher Intelligenz zur soziale Netzwerke zu erfassen sowie lokales Wissen, Kunst und Verbesserung der sozialen und wirtschaftlichen Situation ermög- Kultur. Fortschritte im Bereich der Künstlichen Intelligenz eröff- lichen würden. Gleichzeitig besteht jedoch ein erhebliches staat- nen neue Möglichkeiten zur Datenerhebung, z. B. durch Analyse liches Interesse an digitalen Technologien wie der Gesichtser- der Gesprächsinhalte von Videotelefonaten. kennung z. B. in Äthiopien und Kenia.
Die zahlreichen Datensammlungen erfolgen nicht ausschließlich für Werbezwecke. Mehr und bessere Daten sollen den Plattfor- Die deutsche Entwicklungszusammenarbeit men ermöglichen, zukünftige Geschäftsmodelle zu entwickeln, insbesondere in Ländern des Globalen Südens mit ihren großen Die deutsche Entwicklungszusammenarbeit sieht die Digitalisie- Wachstumschancen. rung seit einigen Jahren als wichtiges Thema an, hat aber noch nicht zu einer konsistenten Vorgehensweise gefunden. Ähn- Es liegt nicht im Interesse der Tech-Konzerne, die von ihnen er- lich wie in anderen Bereichen schwankt die Digitalisierungspoli- hobenen Daten vollständig einem Staat zur Verfügung zu stel- tik zwischen den Zielen Gutes tun und Interessenvertretung der len, da dies die zukünftige Monetarisierung der Daten ein- deutschen Wirtschaft. schränken würde. Dies schließt jedoch eine Zusammenarbeit in Einzelfällen, wie beispielsweise bei polizeilichen Ermittlungen Die aktuelle Afrikastrategie des Entwicklungsministeriums (vgl. oder der Überwachung von Aktivist:innen, nicht aus. Bundesministerium für wirtschaftliche Zusammenarbeit 2023) beginnt mit dem Verweis auf die wirtschaftlichen Potenziale Af- Die Abhängigkeit der Benutzer:innen von den Plattformen gibt rikas. Die deutsche Entwicklungszusammenarbeit wird als Ak- den Tech-Konzernen eine starke Position in der Debatte über teur betrachtet, der zur Verbesserung der wirtschaftlichen und die gesammelten Daten, da sie die Benutzer:innen für ihre In- politischen Rahmenbedingungen der Staaten Afrikas beitragen teressen mobilisieren können. Eine Blockade einer Plattform kann. Ein zentrales Ziel ist die Verbesserung der Rahmenbedin- durch einen Staat kann zu massiven Gegenreaktionen der gungen für eine digitale Transformation, die Förderung digitaler Benutzer:innen führen. Märkte sowie digitaler Inklusion.
Schwerpunkte liegen dabei auf der Digitalisierung des Gesund- Ein kurzer Exkurs auf die dunkle Seite heitswesens und der Unterstützung der Verwaltung auf regiona- ler und lokaler Ebene. Darüber hinaus sollen digitale Technolo- Der „Arabische Frühling“, der manchmal auch als Twitter-Re- gien dazu beitragen, mehr Teilhabe, Austausch und Transparenz volution oder Facebook-Revolution bezeichnet wurde, hat bei im Gemeinwesen zu ermöglichen.
FIfF-Kommunikation 1/24 59 Im zweiten Teil des Artikels wird untersucht werden, wie diese Deck, Andrew (2023): AI moderation is no match for hate speech in Ethi- Ansprüche in die Realität umgesetzt werden können und wie opian languages, Rest of World, 27. Januar. URL: https://restofworld. sich die deutsche Entwicklungszusammenarbeit im Kontext von org/2023/ai-content-moderation-hate-speech/ [abgerufen am 5. Juli digitalem Kolonialismus, aufkommenden Überwachungsstaaten 2023]. und anderen Akteuren im Bereich der Informations- und Kom- Irura, Mark et al. (2021): Responsible Data Governance for Monitoring and munikationstechnologie behaupten kann. Evaluation in the African Context. Part 1 Overview of Data Governance, Faculty of Commerce, Law and Management | University of the Wit- #FIfFKon2023
watersrand. URL: https://merltech.org/wp-content/uploads/2022/01/ Responsible-Data-Governance-for-ME_part-1.pdf [abgerufen im Januar Referenzen 2022]. Alexander, Neville (2012): The centrality of the language question in post- Jili, Bulelani (2022): China’s surveillance ecosystem and the global spread of apartheid South Africa: Revisiting a perennial issue, in: South African its tools, Atlantic Council, 17 October. URL: https://www.atlanticcouncil. Journal of Science, 108(9/10). URL: https://doi.org/10.4102/sajs. org/in-depth-research-reports/issue-brief/chinese-surveillance-ecosystem- v108i9/10.1443. and-the-global-spread-of-its-tools/ [abgerufen am 6. November 2023]. Becker, Heike (2017): Talking Technologies of Transformation with my Okiche, Wilfred (2023): Taken, with a pinch of salt, The Continent, 7. Ok- Students, Writer at Ethnography, 23. November. URL: http://writer-at- tober. URL: https://www.thecontinent.org/_files/ugd/287178_2405f839 ethnography.com/social-media-students-2017.html [abgerufen am 30. fe3b45a2896076f65a5abdfb.pdf [abgerufen am 31. Januar 2024]. Januar 2024]. Trevino, Miguel Trancozo (2020): The many languages missing from the Bundesministerium für wirtschaftliche Zusammenarbeit (2023): Gemeinsam internet, BBC Future, 15. April. URL: https://www.bbc.com/future/ mit Afrika Zukunft gestalten. Die Afrika-Strategie des BMZ, Bundesmi- article/20200414-the-many-lanuages-still-missing-from-the-internet nisterium für wirtschaftliche Zusammenarbeit. URL: https://www.bmz. [abgerufen am 31. Januar 2024]. de/de/aktuelles/publikationen/publikation-bmz-afrika-strategie-137600 Tufekci, Zeynep (2017): Twitter and tear gas: the power and fragility of [abgerufen am 30. Januar 2024]. networked protest. New Haven London: Yale university press.
Erich Pawlik
Was man über die Ökonomie der generativen KI wissen sollte Generative Künstliche Intelligenz (KI) kann Inhalte wie Bilder, Videos, Musik und Texte produzieren, die die Kreativität und den Ein- fallsreichtum von Menschen nachahmen. Nach dem Marketing-Erfolg von ChatGPT wurde generative KI als eine disruptive Innova- tion wahrgenommen. Schnell verbreiteten sich Beispiele von großartigen Leistungen wie auch von bizarren Fehlern von generativen KI-Systemen.
Generative KI günstigen Repräsentanten des Unternehmens machen können. Dies hat zu einer Wiederbelebung des Narrativs „Daten sind das Der Hype um generative KI schoss durch die Decke. Sowohl neue Öl” aus der Zeit des Big-Data-Hypes geführt. große Tech-Konzerne, die viel Geld in die Entwicklung genera- tiver KI investiert haben, als auch die Politik sehen in KI einen Hoffnungsträger für wirtschaftliches Wachstum. Allerdings gibt Geld machen mit KI es auch Bedenken, dass unerfüllte Erwartungen zu einem neuen KI-Winter führen könnten. Die dominante wirtschaftliche Erzählung lautet, dass die (gene- rative) KI Unternehmen in die Lage versetzt, effizient und kos- Die dunklen Seiten der generativen KI, wie die Möglichkeit von tengünstig hochwertige, personalisierte Produkte und Inhalte erfundenen Fakten oder Anleitungen zum Bombenbau, sind in großem Umfang zu erstellen. In rascher Folge wurden eine mittlerweile bekannt. Diejenigen, die die Technologie vorantrei- ganze Reihe von Studien veröffentlicht, die versuchen, diese Po- ben, befürchten nun, dass Regulierungen oder eine negative öf- tentiale vorherzusagen und deren Größe betonen.1 fentliche Meinung vielversprechende Möglichkeiten zur Mone- tarisierung der Technologie einschränken. Die Unternehmensberatung McKinsey hat detailliert die Ge- schäftsprozesse von großen Unternehmen untersucht (vgl. Moderne KI-Systeme werden mit großen Datenmengen trai- Chui et al. 2023) und kommt zu erstaunlichen Zahlen (siehe Ta- niert, Muster zu erlernen und Texte sowie andere Medien zu er- belle 1). McKinsey geht von den folgenden Potenzialen in Billio- zeugen, die mit hoher Wahrscheinlichkeit zu Eingaben und Mus- nen US$/Jahr aus (Chui et al., 2023:10). tern passen. Die Kontrolle über die verwendeten Trainingsdaten bestimmt die Funktionalität des KI-Systems. In Unternehmens- Die Größe des Versprechens ist atemberaubend. Zum Vergleich: kreisen wird daher vermehrt die Frage diskutiert, ob die durch Der Internationale Währungsfonds (IWF) schätzt für das Jahr eifriges Datensammeln in den letzten Jahrzehnten gebildeten 2022 die weltweite Wirtschaftsleistung auf 100,1 Billionen US$. digitalen Zwillinge KI-Systeme zu überzeugenden und kosten-
60 FIfF-Kommunikation 1/24 Auch wenn die gewünschten Effekte sich nicht realisieren soll- Minimum Maximum ten, wird es in vielen Fällen Umbauten in Unternehmen mit oft Big Data und „klassische” KI 11,0 17,7 negativen Auswirkungen auf Arbeitsbedingungen und Lebens- welten von Kunden geben. Anwendung generativer KI in 6,1 7,9 bestehenden Arbeitsprozessen
#FIfFKon2023 Neue Anwendungsfälle der Die Anbieter:innen von generativer KI 2,8 4,4 generativen KI Generative KI-Systeme wie ChatGPT, Midjourney oder Google’s Gesamtwirkung (nicht Summe 17,1 26,6 Gemini sind durch das Training mit großen Datenmengen viel- wegen Überlappungen) seitig einsetzbar. Diese als Foundation Models bezeichneten KI- Tabelle 1: Wirtschaftliches Potenzial der KI (US $/Jahr) Systeme sind Plattformen, die erst dann einen konkreten Nut- zen liefern, wenn ihnen ein Kontext bereitgestellt wird. Ein oder Laut McKinsey werden die wirtschaftlichen Auswirkungen größ- mehrere Prompts (Aufträge) sind die einfachste Form, um einen tenteils durch Produktivitätssteigerungen erzielt. McKinsey er- solchen Kontext zu erzeugen. wartet, dass in nur wenigen Bereichen 75 % dieser Effekte erzielt werden: Software Engineering, Kundenbetreuung, Marketing, Die Entwicklung von Anwendungen auf Basis eines Foundation Vertrieb und Forschung/Entwicklung. In der Vergangenheit wur- Models ist für Unternehmen attraktiv, da dies die Möglichkeit den in den von McKinsey genannten Feldern bereits zahlreiche bietet, zusätzliche unternehmenseigene Trainingsdaten zu nut- Versuche zur Produktivitätssteigerung unternommen. Im Software zen. Solche Anwendungen können die von Menschen einge- Engineering wurden Codegenerierung, Software Lifecycle Ma- gebenen Prompts verändern oder sogar umgehen, indem sie nagement, Low-Code-Plattformen und anderes versucht. Ähnli- Antworten aus anderen Quellen liefern, anstatt sie an das Foun- che Versuche gab es auch in anderen Feldern der Wissensarbeit dation Model weiterzuleiten. wie Marketing und Produktentwicklung. Im Kundenservice und Vertrieb wurde häufig versucht, die Kosten durch den Einsatz von In KI-Firmen und ihre Systeme werden zurzeit zweistellige Milli- Contact-Centre-Technologie und günstigen Arbeitskräften etwa ardenbeträge investiert. Trainings-Läufe können hohe zweistel- im Globalen Süden niedrig zu halten. Die Tendenz, den Kontakt lige Millionenbeträge kosten.3 Um die Kosten für die Entwick- mit Menschen etwa durch Chatbots, Hilfesysteme, Voice Res- lung und den Betrieb wieder einzuspielen, wird der Zugang zu ponse Units zu vermeiden, hat oft zu Qualitätsproblemen und zur den Foundation Models als Cloud-Service über das Internet an- Kundenunzufriedenheit geführt. Gerade Unternehmen mit einem geboten. Im Massenmarkt geschieht dies entweder als Premium- schlechten Ruf im Kundenservice erhoffen sich durch generative Angebot meist im Rahmen eines Abonnements oder kostenlos KI eine Verbesserung ihrer Kundenbeziehung und ihres Images. mit integrierter Werbung oder zur Datensammlung. Darüber hinaus stellen Cloud-Anbieter:innen maschinelle Schnittstellen Das ökonomische Versprechen der generativen KI baut auf dem (APIs) bereit, über die spezialisierte KI-Anwendungen auf Basis seit mehreren Jahrzehnten selten hinterfragten Argument auf, dass der Foundation Models entwickelt und genutzt werden können. Digitalisierung produktivitätssteigernd ist. Produktivität bezieht sich auf das Verhältnis zwischen den Ergebnissen einer wirtschaft- Die Anbieter:innen der Foundation Models unterstützen auch lichen Tätigkeit und den dafür eingesetzten Produktionsfaktoren. die Schaffung eines Ökosystems von Startups rund um die Es ist diskussionswürdig, welchen Anteil die Digitalisierung etwa Foundation Models. Dies schafft Umsatzpotentiale, die Mög- am Produktivitätsgewinn durch die Aufteilung der Produktionspro- lichkeit künftiger Investitionen in erfolgreiche Startups und Un- zesse in weltweit verstreute kleine Arbeitsschritte hat, die oft in terstützung bei der Diskussion über KI-Regulierungen. Ländern mit schlechten Umwelt- und Sozialstandards durchgeführt werden. Der im Dezember verstorbene Wirtschaftsnobelpreisträ- Eine weitere Strategie besteht darin, KI-Systeme in bestehende ger Robert Solow, der sich intensiv mit Produktivitätsstatistiken be- Angebote zu integrieren. Sowohl Google als auch Microsoft in- fasst hat, ist für seine Aussage „You can see the computer age eve- tegrieren beispielsweise ihre KI-Chatbots in ihre Suchmaschinen. rywhere but in the productivity statistics” (Solow 1987) bekannt. Meta integriert in WhatsApp, Instagram und Facebook eine per- sönliche Assistenz sowie eine Reihe von spezialisierten Chatbots, Erik Brynjolfsson, ein prominenter Vertreter der Theorie einer die entweder bekannte Persönlichkeiten imitieren oder spezi- neuen industriellen Revolution durch Digitalisierung, argumen- elle Funktionen wie die von Reisebüro-Angestellten erfüllen. tiert in einem 2021 veröffentlichten Aufsatz, dass das Produk- Des Weiteren wurden KI-Werkzeuge entwickelt, um Inhalte auf tivitätswachstum über längere Zeiträume ausbleibe, wenn sich YouTube und den Diensten von Meta zu modifizieren. neue Allzwecktechnologien durchsetzen (vgl. Brynjolfsson/ Rock/Syverson 2021). Der Grund sind die notwendigen Inves- Es ist absehbar, dass die Tech-Konzerne in Zukunft versuchen titionen in immaterielle Güter wie Mitarbeiterqualifikation, die werden, die Daten ihrer Nutzer:innen für das Training von KI-Sys- sich erst verzögert in Produktivitätsgewinnen niederschlagen.2 temen zu nutzen. In den letzten Jahren haben sie begonnen, ihre Erfahrungen in der Entwicklung und dem Betrieb von Plattformen Trotz dieser Zweifel muss man davon ausgehen, dass Unternehmen sowie beim Verkauf digitaler Güter auf Sektoren wie Bildung, Ge- nach Wegen suchen, das Versprechen der generativen KI Wirklich- sundheit und Landwirtschaft zu übertragen.4 Die hier anfallenden keit werden zu lassen. In einer durch Marktkapitalisierung und fi- Daten können verwendet werden, um spezialisierte KI-Systeme nanzielles Controlling beherrschten Denkwelt wird jedem glaub- zu trainieren. Dadurch gewinnen die Konzerne zunehmend Ein- würdig vorgetragenen Versprechen nach mehr Profit nachgejagt. fluss auf die Entwicklung von gesellschaftlich wichtigen Sektoren.
FIfF-Kommunikation 1/24 61 Neben Kooperationen mit Organisationen aus diesen Bereichen über verantwortliche KI, die jedoch auch dazu dient, dass statt wie z. B. Krankenhäuser oder Universitäten spielt auch das Öko- wirkungsvoller staatlicher Regulierungen ein System von Freiwil- system der Startups eine Rolle, die über APIs mit den Plattformen ligkeit aufgebaut wird. In welchem Umfang sich das durchset- der großen Technologieunternehmen verbunden sind. zen kann, ist noch absolut unklar.
Neben den Foundation Models der Tech-Konzerne existiert eine Um den vollen Nutzen aus generativer KI ziehen zu können, Reihe von Systemen, die ganz oder teilweise Open Source sind. müssen Unternehmen neue Geschäftsprozesse einführen, spe- #FIfFKon2023
Dazu gehören Systeme von Startups wie Mistral, die Systeme zifische Fähigkeiten entwickeln, Wissen aufbauen und ihre Ma- auf der Hugging-Face-Plattform sowie das von Meta entwickelte nagementprozesse sowie ihre Unternehmenskultur anpassen. Foundation Model Llama2. Die Open-Source-Systeme ermögli- Viele Unternehmen zögern, in immaterielle, nicht sofort profita- chen eine von den Strategien der Anbieter großer Foundation Mo- ble Vermögenswerte wie die Qualifikation von Mitarbeiter:innen dels unabhängige KI-Entwicklung, wobei der Fokus zurzeit auf ge- zu investieren. Insbesondere börsennotierte Unternehmen ste- ringem Ressourcenbedarf, Optimierung von Trainingsprozessen hen unter erheblichem Druck von großen Investoren, nur kurz- und Spezialanwendungen liegt. Gleichzeitig laufen Forschungspro- fristig rentable Maßnahmen umzusetzen. jekte, um die Funktionsweise generativer KI-Systeme besser zu ver- stehen und das Risiko schwerwiegender Fehler zu verringern. Diese Viele Unternehmen setzen nach wie vor darauf, geeignetes Per- Projekte werden allerdings auch von den Tech-Konzernen geför- sonal aus dem globalisierten Arbeitsmarkt und dem Bildungs- dert, da die hohen Kosten für das Training und den Betrieb gro- system zu rekrutieren. Dabei wird oft die interne Qualifizierung ßer Foundation Models ein ernstzunehmendes Risiko für die Wirt- vernachlässigt, da sie einen hohen Zeit- und Ressourcenbedarf schaftlichkeit der Investitionen in die Modelle darstellt und aus der mit sich bringt. Unternehmen erschweren interne Qualifikation Open-Source-Welt kostensenkende Erkenntnisse erwartet werden. auch, indem sie Tätigkeiten, die Anfänger:innen für erste Praxi- serfahrungen nutzen könnten, durch KI automatisieren.7 Ein weiterer Kostenfaktor resultiert übrigens aus dem erhebli- chen Energie- und Wasserbedarf durch den Betrieb der Rechen- Es ist weitgehend anerkannt, dass neue Technologien am bes- zentren für Foundation Models.5 Die Möglichkeiten zur Verbes- ten durch praktische Anwendung erlernt werden.8 Es genügt je- serung der Energieeffizienz von Rechenzentren sind weitgehend doch nicht, das eigene Personal zu schulen. Unternehmen müs- ausgeschöpft. Aufgrund der steigenden Kosten für Energie ha- sen auch dazu beitragen, dass die Gesellschaft als Ganzes die ben Cloud-Betreiber:innen begonnen, Standorte mit kaltem Nutzung von KI-Systemen erlernt und versteht. Klima zu nutzen, um den Kühlungsbedarf zu reduzieren. Darü- ber hinaus erwägen sie den Bau eigener Kraftwerke in der Nähe Unternehmen sind sich durchaus bewusst, dass Lernprozesse ih- ihrer Rechenzentren. rer Kunden wichtig sind. Allerdings stoßen sie bei der belieb- ten Strategie, mit kostengünstigen „Minimum Viable Products” schnell auf den Markt zu kommen und durch Interaktion mit Die Anwender:innen von generativer KI Kunden zu lernen, auf erhebliche Schwierigkeiten. Ein Beispiel dafür ist die Entwicklung eines KI-basierten Chatbots, der das Eine Flut von KI-Anwendungen durch Unternehmen ist in naher Kontaktzentrum eines Großunternehmens ersetzen oder ver- Zukunft trotz des versprochenen Nutzens unwahrscheinlich. Die kleinern soll. Hierfür wird eine erhebliche Menge sorgfältig aus- erste Reaktion auf die Verfügbarkeit von ChatGPT war sogar, gewählter und damit teurer Trainingsdaten benötigt, um uner- die Verwendung für die Arbeit im Unternehmen zu untersagen.6 wünschte Interaktionen mit Kunden sicher zu verhindern.9
Das Verhalten eines Modells wie ChatGPT ist in vielen Fällen nicht in dem für einen Einsatz in einem Unternehmen notwen- Gesellschaftliches Lernen digen Maß vorhersagbar. Es ist nicht klar, wie ein KI-System ver- läßlich daran gehindert werden kann, Ausgaben zu erzeugen, Die Digitalisierung, insbesondere der verstärkte Einsatz von KI, die dem Unternehmen oder seinem Ruf schaden könnten und ist in unseren wirtschaftlichen und sozialen Strukturen integriert. vielfältige Haftungsrisiken beinhalten, wenn sie in die Öffent- Eine Entfernung digitaler Technologien würde daher erhebliche lichkeit gelangen. Schäden verursachen.
Foundation Models sind Allzweckwerkzeuge, die durch zusätz- Die Nutzung von KI erfordert breit angelegtes gesellschaftliches liche Komponenten sowie ein Training mit unternehmensinter- Lernen. Menschen müssen lernen, mit KI-Systemen umzuge- nen Daten an den konkreten Anwendungsfall des Unterneh- hen, die mit einem unvollständigen und verzerrten Abbild der mens angepasst werden müssen. Die Sicherheitsforschung hat Welt trainiert wurden, auf Eingaben nach Gesetzen der Wahr- demonstriert, dass das Training mit unternehmenseigenen Da- scheinlichkeitsrechnung reagieren, auf unberechenbare Weise ten dazu führen kann, dass Geschäftsgeheimnisse oder andere Fehler machen, auch von ihren Entwickler:innen nur in Ansätzen Informationen bekannt werden könnten, die das Unternehmen verstanden werden und mächtige Mechanismen zur Konstruk- lieber für sich behalten möchte. tion von Realität sind.
Ein weiteres Hindernis sind Unsicherheiten über künftige KI-Re- Die aktuelle Diskussion über die Digitalisierung des Lernens gulierungen und den Umfang der sich daraus ergebenden Sorg- konzentriert sich hauptsächlich auf Schulen und vernachlässigt faltspflichten für Anbieter:innen und Nutzer:innen von KI-Syste- dabei den eigentlichen Kern des Problems. Es ist zunächst wich- men. Zwar gibt es gerade von der Angebotsseite eine Diskussion tig, dass Erwachsene den Umgang mit KI erlernen. Sie sollten
62 FIfF-Kommunikation 1/24 in der Lage sein, KI-basierte Produkte und Dienstleistungen zu Floyd, C. et al. (Hrsg.) (1992): Software Development and Reality Const- nutzen und mitzugestalten sowie an öffentlichen Diskussionen ruction, Berlin, Heidelberg: Springer Berlin Heidelberg. URL: https://doi. über deren Nutzung und Grenzen teilzunehmen. Das erwor- org/10.1007/978-3-642-76817-0. bene Wissen kann dann in den schulischen Lernprozess integ- Gupta, A. (2023): Beware the Emergence of Shadow AI, Tech Policy Press. riert werden. URL: https://techpolicy.press/beware-the-emergence-of-shadow-ai [abgerufen am: 23. Dezember 2023].
#FIfFKon2023 Wie jedes IT-System konstruieren KI-Systeme Realität.10 Beim Ma- Sharon, T. and Gellert, R. (2023): Regulating Big Tech expansionism? Sphere schinenlernen wird dies gesteuert durch die Auswahl der Trai- transgressions and the limits of Europe’s digital regulatory strategy, Infor- ningsdaten. Bei moderner generativer KI, die weitgehend über mation, Communication & Society [Preprint]. URL: https://doi.org/10.10 Unsupervised Learning trainiert wird, sind dies die in den Trainings- 80/1369118X.2023.2246526. daten enthaltenen Stereotypen und Fakten. Diese Daten sind aber Smith, G. et al. (2023): Environmental Impact of Large Language Models, zwangsläufig vergangenheitsbezogen und änderungsfeindlich. Amplify, 36(8). Solow, R. (1987): We’d better watch out, New York Times Book Review. Einen wichtigen Beitrag können die Open-Source-Initiativen auf URL: http://digamo.free.fr/solow87.pdf [abgerufen am: 29. Oktober dem Gebiet der Künstlichen Intelligenz leisten. Die hohen wirt- 2023]. schaftlichen Hürden für die Entwicklung eines neuen Foundation Models machen es praktisch unmöglich, in den von einem Oligo- pol beherrschten Markt einzudringen, ohne offene Modelle und Anmerkungen Daten zu nutzen. Dies betrifft auch nicht-profitorientierte Initiati- 1 Die meisten der öffentlich zugänglichen Studien sind entweder von ven. Obwohl die zurzeit verfügbaren Open-Source-Systeme mög- Produktanbietern finanziert oder dienen zum Kompetenz-Marketing licherweise am Ende primär wirtschaftlichen Interessen dienen, ist von Unternehmensberatungen. Kompetenz-Marketing demonstriert es nur über offene Modelle und Daten möglich, digitale Souveräni- durchaus Kompetenz und setzt meist auf die für die eigenen Interessen tät für Anwender:innen, Gesellschaften und Staaten zu erreichen. förderliche Präsentation von Fakten. 2 Es kann sich laut Brynjolfsson um eine Wartezeit von mehreren Jahr- In diesem Prozess gesellschaftlichen Lernens haben verschie- zehnten handeln. dene Beteiligte unterschiedliche Bedarfe. Die Dominanz einer 3 Die Kosten eines einzigen Trainings-Laufs für GPT-4, dem Foundation Gruppe wie z. B. der Tech-Konzerne kann zu Fehlentwicklungen Model hinter der neuesten Version von ChatGPT, wurden für 2023 auf führen. Zivilgesellschaftliche Organisationen können bei der Ge- 63 Mrd. US$ geschätzt. staltung dieser Multi-Stakeholder-Prozesse eine wichtige Rolle 4 Diese Entwicklung und die damit verbundenen Herausforderungen an spielen. Sie müssen sich aber neu erfinden und von der notwen- die Regulierung von Tech-Konzernen werden in (Sharon/Gellert 2023) digen Kritik zur Gestaltung kommen. diskutiert. 5 Mehr Details zu den ökologischen Auswirkungen der KI findet man bei (Smith et al. 2023). 6 Viele Mitarbeiter:innen griffen allerdings auf generative KI zurück, Referenzen um ihre persönliche Produktivität zu steigern, auch im Geheimen Arrow, K. J. (1962): The Economic Implications of Learning by Doing, in: auf eigenen Geräten. Die Nutzung geschieht oft ohne ausreichendes The Review of Economic Studies, 29(3), S. 155-173. URL: https://doi. Verständnis der Werkzeuge sowie an Governance und Risikomanage- org/df2ggr. ment vorbei. Dies kann nicht nur zu Problemen für das Unternehmen, Beane, M. (2019): Learning to Work with Intelligent Machines, in: Harvard sondern auch zu erheblichen gesellschaftlichen Risiken führen (Gupta Business Review, 2019 (September – Oktober). 2023). Brynjolfsson, E., Rock, D. and Syverson, C. (2021): The Productivity J- 7 Siehe z. B. (Beane 2019). Curve: How Intangibles Complement General Purpose Technologies, in: 8 Der klassische wirtschaftswissenschaftliche Aufsatz dazu ist (Arrow American Economic Journal: Macroeconomics, 13(1), S. 333-372. URL: 1962). https://doi.org/ghrhpw. 9 Das Minimum-Viable-Product-Modell könnte bei der Unterhaltung Chui, M. et al. (2023): The economic potential of generative AI. McKinsey. dienenden ChatBots und anderen Domänen mit geringem Fehlerrisiko URL: https://www.mckinsey.com/capabilities/mckinsey-digital/our- durchaus funktionieren. insights/the-economic-potential-of-generative-ai-the-next-productivity- 10 Siehe z. B. (Floyd et al. 1992). frontier [abgerufen am: 1. Juli 2023].
Erich Pawlik
Erich Pawlik ist Software-Ingenieur mit 20 mal zwei Jahren Berufserfahrung. Er befindet sich in der Grauzone zwischen dem Beginn des Rentenalters und dem Ruhestand. Beruflich hat er auf allen Kontinenten der Welt gearbeitet, mit Ausnahme der Antarktis, und zwei Jahre als mitausreisender Ehemann im südlichen Afrika gelebt. Den größten Teil seiner beruflichen Laufbahn verbrachte er damit, im Dreieck von Sozialpsychologie, Betriebswirtschaft und Techno- logie konzeptionell zu arbeiten und Organisationen und Projekte zu managen. Aktuell ist er als Berater und Lehrbeauftragter an der Fakultät für Wirtschaftsinformatik der Hochschule Furtwan- gen tätig.
FIfF-Kommunikation 1/24 63 Weizenbaum-Studienpreis
Verleihung des Weizenbaum-Studienpreises 2023 – Einleitung Liebe Mitglieder des FIfF, matiker, technische Systeme auch liebe Freundinnen und Freunde, von ihren ethischen, sozialen und liebe Gäste, rechtsstaatlichen Anforderungen studienpreis
liebe Preisträgerinnen des Weizenbaum-Studienpreises 2023, her zu denken, um eine Technik zu verhindern, die zum Selbst- ich beginne mit einem Zitat von Joseph Weizenbaum, das sich zweck wird und schädliche Nut- als Leitbild unseres Weizenbaum-Studienpreises eignet. Es be- zung als „Sachzwang“ etabliert. tont die Verantwortung, der wir uns stellen müssen: Mit unserem Studienpreis wollen wir Arbeiten auszeichnen, die die- „Naturwissenschaftler und Techniker tragen aufgrund ser Aufgabe gerecht werden. ihrer Macht eine besonders schwere Verantwortung, vor der sie sich nicht hinter einer Fassade von Schlagwör- Wir bedanken uns herzlich für alle Arbeiten, die in diesem Jahr tern wie dem der technischen Zwangsläufigkeit drücken bei uns eingereicht wurden. Die dieses Mal prämierten Arbei- können.“ ten befassen sich aus unterschiedlichem Blickwinkel mit Da- tenschutz und Privatheit, im Internet und auch im öffentlichen Auch in diesem Jahr verleihen wir wieder den Weizenbaum- Raum. Dazu gleich mehr. Studienpreis, gewidmet Professor Joseph Weizenbaum, der die Gründung des FIfF gefördert hat, dem wir 1998 einen Ehren- Für ihre Mitarbeit in der diesjährigen Jury bedanke ich mich preis des FIfF für seinen Einsatz für Verantwortung in der Infor- herzlich bei: matik verliehen haben und der dessen langjähriges Vorstands- mitglied war. 1. Professorin Christina Claß aus Jena, 2. Professor Jochen Koubek aus Bayreuth, Der Unternehmensgründer und Investor Azeem Azhar, mögli- 3. Professor Dietrich Meyer-Ebrecht aus Aachen, cherweise kein FIfF-Mitglied, sagte vor einiger Zeit in einem In- 4. Frieder Strauß aus München, terview: „Technology is too important to be left to technolo- gists.“ Dieser Aussage können wir nur zustimmen. Für uns ist die mit mir gemeinsam in der Jury die Arbeiten ausgewählt ha- die gesellschaftliche Aufgabe der Informatikerinnen und Infor- ben, die wir jetzt prämieren werden.
Weizenbaum-Studienpreis – Laudatio für den dritten Preis von Frieder Strauß
Lelia Friederike Hanslik: Infringements of Bystanders’ Privacy through IoT Devices Masterarbeit an der Technischen Universität Berlin Für den Kontext und die Zielrichtung des 3. Preises darf ich kurz Bzgl. der Erfassung „über Ihr Tesla-Fahrzeug“ erhebt die in das Jahr 2020 zurückgehen: Firma den Anspruch, „Wartungshistorie“ sowie „Infor- mationen über Ladestationen“, als „erweiterte Funkti- Im Jahr 2020 wurde der BigBrotherAward, der, so die Eigendar- onen“ „Navigationsdaten“ sowie „kurze Videoaufnah- stellung, an „Firmen, Organisationen und Personen verliehen men von den Außenkameras des Fahrzeugs“ zu erfassen. [wird], die in besonderer Weise und nachhaltig die Privatsphäre von Menschen beeinträchtigen sowie persönliche Daten verkau- Die Videoaufnahmen der Außenkameras werden in der Regel fen oder gegen ursprüngliche Interessen verwenden“, in der Ka- zum einen die Nutzer:innen erfassen, die – so sollte man ide- tegorie Mobilität an den Elektrofahrzeughersteller Tesla verliehen. alerweise annehmen – sich der mit der Nutzung verbundenen Risiken bewusst sind. Doch Außenkameras können auch Bewe- In der Laudatio des Datenschützers Thilo Weichert heißt es dazu: gungen in der Umgebung des Fahrzeugs aufzeichnen und ge- fährden so auch die Privatsphäre Unbeteiligter. Die Firma Tesla erhält den BigBrotherAward dafür, dass sie Autos verkauft, die ihre Insassen und die Umgebung Durch die umfassende Durchdringung der digitalen Gesellschaft des Autos umfassend und langfristig überwachen. Die mit elektronischen vernetzten Geräten setzen wir uns so Risiken erhobenen Daten werden permanent ausgewertet und für Privatheit und Datenschutz aus. Diese Risiken sind nicht auf können für beliebige Zwecke weiter genutzt werden. die primären Nutzer:innen der Geräte beschränkt, sondern kön- nen auch weitere Personen betreffen. … und weiter, zitiert aus der Datenschutzerklärung von Tesla: „Telematikprotokolldaten“, „Fernanalysedaten“, „weitere Mit diesen Risiken für Umstehende, Unbeteiligte (engl. Bystan- Fahrzeugdaten“: ders), also Risiken für die Privatsphäre für Personen, die nicht
64 FIfF-Kommunikation 1/24 selbst Nutzer:innen der vernetzten Geräte sind, setzt sich die Ar- • Ihre Präferenzen zu identifizieren sowie Ihr Erlebnis mit beit von Lelia Friederike Hanslik auseinander, die wir heute mit Amazon Services zu personalisieren einem Weizenbaum-Studienpreis auszeichnen. Fr. Hanslik konnte keine von Amazon veröffentlichte Daten- Fr. Hanslik ist leider aus gesundheitlichen Gründern verhindert, schutzfolgeabschätzung auffinden, die in dem dargestellten den Preis entgegenzunehmen. Umfeld sicher zwingend nötig ist, was sie auch explizit und de- tailliert herleitet. Sehr schön findet die Jury, dass Fr. Hanslik in Die Autorin untersucht die Risiken für Bystanders detailliert an- der Arbeit auch skizziert, welche Möglichkeiten es für eine da-
studienpreis hand von drei beispielhaften Anwendungsfällen, wie Daten von tenschutzfreundlichere Umsetzung der Alexa-Services gibt. „zufällig anwesenden“ Dritten in Systemen verarbeitet werden, so Datenschutzgesetze verletzen bzw. verletzen können und in Die Grundidee basiert auf einer initialen Verarbeitung der Daten denen dadurch Datenschutz und Privatheit potenziell gefährdet nur auf dem Alexa-Gerät im Haushalt. Nur wenn hier erkannt sind. wird, dass es eine Aufforderung an Alexa gibt, sollen die Da- ten an die Server zur umfassenden Verarbeitung weitergegeben Die Anwendungsfälle sind: werden. Dies setzt natürlich eine deutlich teurere Hardware vo- raus und – was vielleicht noch wichtiger ist – würde wohl auch • die Nutzung intelligenter persönlicher Voice Assistants am den Datensammelinteressen von Amazon widersprechen. Beispiel von Amazons Alexa, Der zweite Anwendungsfall – die Corona-Warn-App – kommt • die Corona-Warn-App und ihre Infrastruktur, bzgl. Einhaltung des Datenschutzes für Bystanders deutlich bes- ser weg. Sie ist hinsichtlich der Risiken für Umstehende als unkri- • im Bereich des Straßenverkehrs der Sentry Mode und auto- tisch einzustufen – Risiken können sich aber aus der genutzten matisiertes Fahren bei Fahrzeugen von Tesla. Infrastruktur von Apple und Google ergeben.
Dabei orientiert sie sich an zwei Forschungsfragen: Der dritte Anwendungsfall des Tesla Sentry-Mode möchte ich hier aus Zeitgründen nicht weiter erläutern, wenn Kameraaufnahmen
Dabei werden ggf. auch Gesprächsinhalte von Besuchern über- Im Anschluss an die Arbeit ergeben sich Folgefragen, die die Au- mittelt. Wenn der Server kein Triggerwort erkennt, wird die Auf- torin benennt, aber in diesem Rahmen ebenfalls nicht mehr be- nahme des Gesprächs auf dem Alexa-Endgerät wieder gestoppt. handeln kann: unter anderem: Wie können Bystanders besser Diese Sprech-Schnipsel stellen biometrische Daten dar, die in der über die Risiken, denen sie ausgesetzt sind, informiert werden? DSGVO besonders geschützt werden. Wir haben uns entschieden, hier den dritten Preis zu verleihen. Amazon speichert diese Schnipsel standardmäßig, bis der Be- Für einen zweiten Preis würden wir uns eine noch weiterge- nutzer sie löscht. Zur Bewertung ist es relevant, dass Alexa die hende informatik-spezifischere Betrachtung wünschen. Dies tut Sprachaufnahmen den Personen eines Haushalts zuordnen der grundsätzlichen Preiswürdigkeit der Arbeit keinen Abbruch. kann, was die Kritikalität der Datensammlung ggf. weiter er- Das datenschutzfreundliche Design der Corona-Warn-App ist höht. erst entstanden, nachdem Google und Apple (und weitere) ei- nen dezentralen Ansatz präferiert haben und der offene Brief Frau Hanslik hat die Verwendung dieser Daten durch Amazon vom Chaos Computer Club, der Gesellschaft für Informatik so- untersucht, laut Amazon werden die persönlichen Daten ge- wie weiteren Organisationen die anstehende Entscheidung für nutzt, um ein zentrales Speichern der Kontaktdaten kritisiert haben.
• Funktionen, Produkte und Dienstleistungen, die für Sie von Ausgehend nicht nur von dieser Arbeit wäre auch eine Diskus- Interesse sein könnten, zu empfehlen, und sion spannend, ob die derzeitigen Gesetze nicht eigentlich schon ausreichen, um diese Datenschutzverletzungen durch den Staat
FIfF-Kommunikation 1/24 65 verfolgen zu müssen. Zugestehen müssen wir aber, dass die im- zeigt einerseits großes Verständnis der untersuchten technischen mer stärkere Verlagerung der Durchsetzung der Gesetze vom Systeme, andererseits einen breiten Horizont, der auch ethische, Staat auf das Individium ein insgesamt ungelöstes Problem ist, rechtliche und gesellschaftliche Fragen einbezieht. Der Arbeit insbesondere wenn es um internationale Wirtschaftskonzerne gelingt eine sachliche und unaufgeregte Diskussion möglicher geht. Risiken beim Einsatz vernetzter, datenverwertender Technolo- gien. Mit sowohl quellenreicher als auch kompakter Darstellung bie- studienpreis
tet die Arbeit eine überzeugende Dokumentation möglicher Be- Herzlichen Glückwunsch, Lelia Friederike Hanslik, zum Wei- drohungsszenarien durch mobile Anwendungen. Die Verfasserin zenbaum-Studienpreis 2023.
Lelia Friederike Hanslik
Infringements of Bystanders’ Privacy through IoT Devices Zusammenfassung Die Verbindung von immer mehr Geräten mit dem Internet der sozialen Online-Netzwerke untersucht wer- 3. Preis (allgemein als Internet der Dinge, IoT, bezeichnet) birgt neue den. In dieser Arbeit wurden Anwendungsfälle Gefahren für die Privatheit von Menschen, besonders in Bezug rund um drei IoT-Geräte und -Anwendungen untersucht und auf die Verarbeitung und Speicherung personenbezogener Da- im Hinblick auf die technische und rechtliche Möglichkeit von ten. Diese potentiellen Bedrohungen der Privatheit können so- Datenschutzverletzungen für unbeteiligte Bystanders bewer- wohl die Nutzer:innen dieser Geräte als auch andere Personen tet. Bei diesen Anwendungsfällen handelt es sich um intelligente betreffen, die von den Entscheidungen dieser Nutzer:innen be- persönliche Sprachassistenten, die deutsche Corona-Warn-App troffen sind (hier wird der Begriff Bystanders verwendet). Die und den Wächtermodus (Sentry Mode) des Elektrofahrzeugher- zunehmende Menge an Informationen, die über Einzelperso- stellers Tesla. Die Analyse der Anwendungsfälle erfolgte auf der nen zur Verfügung stehen, hat auch zu einem weiteren Phä- Grundlage von Szenarien, die erstellt wurden, um eine ganzheit- nomen geführt, der algorithmischen Gruppierung zum Zweck liche Sicht auf die Interaktion von Nutzer:innen und Unbeteilig- der gezielten kommerziellen Werbung und des (Gruppen-) ten mit dem Gerät zu ermöglichen. Profilings (Taylor et al., 2017). Obwohl dies nicht der Schwer- punkt dieser Arbeit war, wurde das Konzept der Group Privacy Die Forschungsfragen, die die Analyse leiteten, lauten: (1) Sind und Gruppierung bei der Erörterung der Verletzung der Privat- Verletzungen der Privatheit von Bystanders in den ausgewählten heit von Bystanders berücksichtigt. Eine Unterscheidung von Anwendungsfällen technisch möglich? und (2) Wenn ja, in wel- Nutzer:in, Bystander und Gruppe ist in der nachfolgenden Gra- cher Weise kann die Privatheit der Bystanders in den drei gege- fik dargestellt. benen Anwendungsfällen verletzt werden und verstößt dies ge- gen geltendes Datenschutzrecht?
Die Auswahl der Anwendungsfälle
Die drei IoT-Anwendungsfälle, die für die Untersuchung der Verletzung der Privatheit von Bystanders ausgewählt wurden, weisen mehrere Unterschiede aber auch Ähnlichkeiten auf. In allen Anwendungsfällen spielt die Gefahr der Überwachung eine zentrale Rolle und alle drei IoT-Anwendungsfälle sind all- tägliche Systeme, die einen bedeutenden Einfluss auf die Gesell- schaft haben, da sie von Millionen von Nutzern weltweit, auch in Deutschland, verwendet werden. So besitzen beispielsweise 33 % der deutschen Haushalte einen intelligenten Lautsprecher, der im Jahr 2021 in ihrem Haushalt installiert ist (Statista, 2021), In der aktuellen Forschung liegt der Schwerpunkt im Zusammen- während auch andere Geräte wie Mobilgeräte die technologi- hang mit IoT-Geräten auf dem/der Nutzer:in. Wenn hingegen schen Funktionen eines intelligenten persönlichen Sprachassis- die Abhängigkeit der Privatheit von Menschen untereinander tenten tragen, wobei Schätzungen zufolge bis 2024 weltweit anhand eines konkreten Beispiels untersucht wird, dann ge- mehr als 8 Milliarden digitale Sprachassistenten im Einsatz sein schieht dies hauptsächlich im Bereich der sozialen Online-Netz- werden (Thormundsson, 2022). Amazon gab im Jahr 2019 be- werke. Es besteht daher eine Forschungslücke, in der die Gefah- kannt, dass das Unternehmen über 100 Millionen Alexa-fä- ren für die (voneinander abhängige) Privatheit von Individuen, hige Geräte verkauft hat (Bohn, 2019). Im Szenario rund um die nicht selbst Nutzer:in sind, anhand von Beispielen außerhalb den Anwendungsfall intelligenter persönlicher Sprachassistenten
66 FIfF-Kommunikation 1/24 wurde daher der Sprachassistent Alexa als spezifisches Beispiel Wächtermodus von Tesla bieten nach den Analysen dieser Ar- gewählt, da er der am häufigsten verwendete intelligente per- beit technisch realistisches Potential für die Verletzung der Pri- sönliche Sprachassistent in der Kategorie der Smart Speaker ist vatheit von Unbeteiligten sowie Potenzial für die Verletzung der (im Gegensatz zu Smartphones, wo Apples Siri am häufigsten geltenden Datenschutzgrundverordnung und sollten weiter er- verwendet wird) (Vixen Labs. Open Voice Network, 2021). Die forscht werden. In beiden Anwendungsfällen können die Ver- Corona-Warn-App wurde in Deutschland im Zeitraum zwischen letzungen der Privatheit für Unbeteiligte sowohl vom/von der der Erstveröffentlichung am 15. Mai 2020 und Ende Juni 2022 Nutzer:in als auch von der Systemarchitektur selbst ausgehen. 45.992.847-mal heruntergeladen (Robert Koch Institut, 2022a). Die Evaluierung dieser Anwendungsbeispiele bezüglich der Pri-
studienpreis Während die meisten in Deutschland zugelassenen Fahrzeuge vatheit von Unbeteiligten hat einen wichtigen Beitrag zur aktu- von Volkswagen und Mercedes hergestellt werden (Kraftfahrt- ellen Forschung geleistet, da sie eine Grundlage für weiterge- Bundesamt, 2022a), hatte Tesla den höchsten Zuwachs an Fahr- hende Forschung bietet. zeugen in Deutschland (Kraftfahrt-Bundesamt, 2022c). Neben der gesellschaftlichen Relevanz, der Überwachungsgefahr und der hohen Nutzerakzeptanz in Deutschland gibt es Konzepte, die alle drei Anwendungsfälle in gleicher Weise beeinflussen, Referenzen wie z. B. das Privacy Paradoxon (Kokolakis, 2017), bei dem das [Statista 2021] Anteil der Haushalte in Deutschland mit Smart Speaker bis tatsächliche Verhalten der Nutzer von der theoretischen Sicht- 2021. In: Statista, 2021. – https://de.statista.com/statistik/daten/ weise abweicht. Darüber hinaus stehen alle drei Anwendungs- studie/1271603/umfrage/anteil-der-haushalte-in-deutschland-mit- fälle in demselben Spannungsfeld gegensätzlicher Prioritäten, smart-speaker/ nämlich der Verbesserung der Privatsphäre für einzelne Nutzer [Thormundsson 2022] Thormundsson, Bergur: Virtual Assistant Techno- einerseits und der Verbesserung der Dienstqualität insgesamt logy – Statistics Facts. In: Statista, 2022. – https://www.statista.com/ andererseits. Diese Sichtweise wird jedoch meist von den Un- topics/5572/virtual-assistants [Accessed: 25th May 2022] ternehmen vertreten, die diese Geräte entwickeln. In der For- [Bohn 2019] Bohn, Dieter: Amazon says 100 million Alexa devices have schungsgemeinschaft gibt es zahlreiche Stimmen, die diese An- been sold – what’s next? In: The Verge (2019). – https://www.theverge. sicht widerlegen und Ansätze vorlegen, wie Datenschutz und com/2019/1/4/18168565/ amazon-alexa-devices-how-many-sold- Effizienz tatsächlich Hand in Hand gehen können (Hoepman, number-100-million-dave-limp [Accessed: 1st June 2022] 2012). Während der obige Absatz einige der Gemeinsamkeiten [Vixen Labs. Open Voice Network 2021] Voice assistant usage in Germa- der Anwendungsfälle zusammenfasst, gibt es auch Achsen, ent- ny in 2021, by provider and device. In: Statista, 2021. – https://www. lang derer sich Unterschiede ausmachen lassen. Das wichtigste statista.com/statistics/1274452/voice-assistant-use-by-device-germany/ Beispiel ist der Raum, in dem das Gerät verwendet wird. Intelli- [Accessed: 25th May 2022] gente persönliche Sprachassistenten werden in den eigenen vier [Robert Koch Institut 2022a] Corona-Warn-App (CWA): Kennzahlen – Wänden, also im privaten Bereich, eingesetzt. Ein Tesla-Fahr- Downloads. 2022. – https://www.coronawarn.app/de/analysis/ [Ac- zeug bewegt sich meist auf öffentlichen Straßen und ist Teil des cessed: 28th June 2022] öffentlichen Lebens, und das Gerät, das die Corona-Warn-App [Kraftfahrt-Bundesamt 2022a] Anzahl der Personenkraftwagen in Deutsch- beherbergt, wird die meiste Zeit mit sich herumgetragen und land nach Marken von 2020 bis 2022. In: Statista, April 2022. – https:// misst, wie oft und mit wem sich die Nutzer treffen, daher kann de.statista. com/statistik/daten/studie/159344/umfrage/pkw-bestand- es im sozialen Raum verortet werden. Diese Unterschiede zei- in-deutschland-nach-marken/ [Accessed: 25th May 2022] gen, dass kaum ein Raum, ob privat oder öffentlich, von Syste- [Kraftfahrt-Bundesamt 2022c] Prozentuale Veränderung der Anzahl der men unberührt bleibt, die wissentlich oder unwissentlich Daten Personenkraftwagen in Deutschland nach Marken im Vergleich der Jahre über uns sammeln. 2021 und 2022. In: Statista, March 2022. – https://de.statista.com/ statistik/daten/studie/4964/ umfrage/veraenderung-des-pkw- bestandes-nach-marken/ [Accessed: 25th May 2022] Ergebnisse der Arbeit [Kokolakis 2017] Kokolakis, Spyros: Privacy attitudes and privacy behaviour: A review of current research on the privacy paradox phenomenon. In: Während die Corona-Warn-App kein realistisches Potential für Computers & Security 64 (2017), p. 122–134. – die Verletzung der Privatheit von Umstehenden bietet und so- https://doi.org/10.1016/j.cose.2015.07.002 mit keine weitere Forschung diesbezüglich erfordert, kam die [Hoepman 2012] Hoepman, Jaap-Henk: Privacy Design Strategies. In: IFIP Analyse der weiteren beiden Fälle zu einem gegenteiligen Er- TC11 Int. Information Security Conference 2014, October 2012. – gebnis. Intelligente persönliche Sprachassistenten und der https://doi.org/10.1007/978-3-642-55415-5_38
Lelia Friederike Hanslik
Lelia Hanslik studierte Mathematik (B.Sc.) und Wirtschaftsinformatik (M.Sc.) in Berlin und setzt sich seitdem kritisch mit den Machtverhältnissen zwischen Unternehmen, Po- litik, der Zivilgesellschaft und einzelnen Konsument:innen in der Software-Industrie aus- einander. Sie engagiert sich außerdem für mehr (Sichtbarkeit von) FLINTA* Personen in MINT Berufen.
FIfF-Kommunikation 1/24 67 Weizenbaum-Studienpreis – Laudatio für den ersten Preis von Stefan Hügel
Anne Mareike Lisker: Von der (Un-)Möglichkeit, digital mündig zu sein. Tracking- Infrastrukturen und die Responsibilisierung des Individuums im Internet Masterarbeit an der Technischen Universität Berlin studienpreis
Wenn wir uns im Internet bewegen, setzen wir uns vielfältigen Ausgangspunkt ist Digitale Mündigkeit. Mündigkeit impliziert Risiken für den Datenschutz aus. Die Geschäftsmodelle gro- eine Eigenverantwortung, bei der die Menschen „sich um be- ßer Internet-Konzerne fußen darauf, unser Verhalten im Netz stimmte Dinge selbst kümmern müssen“. und unsere Daten zu nutzen, als Gegenleistung dafür, dass viele Dienste unentgeltlich zur Verfügung gestellt werden. In der zentralen These der Arbeit stellt die Autorin dar:
Die Daten, die über uns gesammelt werden, werden für unter- Die als individuelle Datenflusskontrolle verstandene schiedliche Zwecke verwendet. Dies erfolgt hauptsächlich durch Forderung nach digitaler Mündigkeit stellt demnach un- die Werbewirtschaft, die die Daten dafür nutzt, unser Konsum- einlösbare Ansprüche an Individuen und ist deshalb un- verhalten zu untersuchen und Werbebotschaften individuell angemessen. … Die resultierende Dynamik – die Über- platzieren zu können. Gleichzeitig wird der Internetverkehr in tragung von Verantwortung auf Individuen, ohne dass zunehmendem Maß durch (Sicherheits-) Behörden überwacht, sie dieser Verantwortung gerecht werden können – [ent- mit dem Argument der Strafverfolgung und Terrorismusbe- spricht] der neoliberalen Regierungslogik der Responsi- kämpfung – wir erinnern uns an die Vorratsdatenspeicherung bilisierung. und die inzwischen auch schon wieder zehn Jahre zurückliegen- den Enthüllungen von Edward Snowden. Auch Verfahren der Psychologische Methoden der Beeinflussung legen die Grund- Künstlichen Intelligenz spielen dabei eine Rolle – sie nutzen un- lage für die weitergehende Datenanalyse, die unsichtbar im Hin- sere Inhalte und lassen sie in häufig intransparenter Weise in tergrund stattfindet: Tracking und Auswertung des Verhaltens entsprechende Anwendungen einfließen; sie können aber auch der Benutzer:innen durch zunehmend für die Analyse der gesammelten Daten genutzt werden, um neue Erkenntnisse über uns zu gewinnen. • Cookies und Marktinfrastruktur, • weitere Trackingtechnologien, wie URL-Tracking, Finger- Um sich vor übermäßigem Datensammeln zu schützen, wird die printing etc., Forderung nach Digitaler Mündigkeit bei der Internetnutzung • prädiktive Analytik, erhoben, also sich bei der Netznutzung des eigenen Verstandes • Modellierung des Verbraucherverhaltens und Personalisierung. zu bedienen – Nutzer:innen sollen sich der Risiken im Netz be- wusst sein und sich entsprechend verhalten: beispielsweise in- Aus der Analyse dieser Techniken leitet die Autorin vier Zwi- dem sie datenschutzfreundliche Werkzeuge nutzen und bei der schenfazits zum Datensammeln ab, die in der Summe ihre These Konfiguration dieser Werkzeuge auf datenschutz-wahrende Ein- der allumfassenden, unausweichlichen Datensammlung stützen: stellungen achten. • das Datensammeln ist kontinuierlich, komplex und unsichtbar, Doch solche Forderungen wälzen Verantwortung auf die • überall und unausweichlich, Nutzer:innen ab, die sie in der Praxis des weltweiten unkon- • prädiktiv, trollierbaren Netzes nicht wahrnehmen können; sie implizieren, • das Datensammeln ist dividuierend. dass sie in der digitalen Welt individuell für den Fluss und die Kontrolle ihrer eigenen Daten verantwortlich sind. Nicht mehr Sicher wird die Autorin gleich in ihrem Vortrag im Detail auf die Anbieter im Netz sind für die datenschutzfreundliche, si- diese Konzepte eingehen, die im Mittelpunkt der Arbeit stehen. chere Abwicklung verantwortlich, sondern die Nutzer:innen sollen gefälligst selbst für ihre Sicherheit sorgen. Natürlich gibt Aus den so hergeleiteten Eigenschaften ergibt sich, dass Indivi- es Regeln, die die Sicherheit im Netz sicherstellen sollen. Doch duen keine Kontrolle über Datenspuren im Netz haben können. können wir immer auf die Einhaltung von Regeln wie der Daten- Die Forderung nach digitaler Mündigkeit kann nicht erfüllt wer- schutz-Grundverordnung vertrauen – im weltweiten Netz? Sind den und wälzt lediglich die Verantwortung auf die Nutzenden die Regeln immer angemessen und ausreichend? Und können ab, führt also zu einer Responsiblisierung des Individuums, so solche Regelungen alle Risiken umfassend abdecken? Können die Autorin. wir erwarten, dass wir uns darauf verlassen dürfen – wie wir uns im Alltag darauf verlassen, dass Hygienebedingungen in der Le- Die Arbeit behandelt mit der immer weiter anwachsenden Über- bensmittelindustrie oder die technische Sicherheit von Automo- wachung und Datensammlung – gerade auch im Kontext der bilen sichergestellt sind? Entwicklung der künstlichen Intelligenz – ein wichtiges, aktuelles Thema. Die Kernthese der neoliberalen Responsibilisierung als Mit der Forderung nach Digitaler Mündigkeit und ihrer Erfüll- Folge der Erwartung, stets digital mündig zu sein, wird deutlich barkeit setzt sich die Arbeit von Anne Mareike Lisker auseinan- dargelegt und überzeugend und schlüssig aus den tatsächlich der, die wir heute mit dem Weizenbaum-Studienpreis auszeich- vorhandenen Technologien hergeleitet und begründet. Auch nen. die technische Basis des Datensammelns – die Technologien des
68 FIfF-Kommunikation 1/24 Datentracking – werden umfassend und verständlich beschrie- Herzlichen Glückwunsch, Anne Mareike Lisker, zum Weizen- ben und legen so eine solide Grundlage für die weiterführenden baum-Studienpreis 2023. Überlegungen.
Anne Mareike Lisker
studienpreis Von der (Un-)Möglichkeit, digital mündig zu sein Seit 25 Jahren kursiert die Forderung nach digitaler Mündigkeit durch den netzpolitischen Diskurs. Durch die For- derung werden wir als individuelle Nutzer:innen des Internets unter anderem dazu angehalten, Kontrolle über unsere eigenen Daten auszuüben. Die Kontrolle von Daten ist wesentlich, denn automatisierte Diskriminierung durch datenbasierte Machine-Learning-Systeme ist ein drängendes Problem. Doch ‚unsere‘ Daten sind Teil einer hochkomplexen Marktinfrastruktur, die das Internet durchzieht und die Profitinteressen großer Plattformen be- friedigt. Ich argumentiere in diesem Beitrag deshalb dafür, dass wir nicht in der Lage dazu sind, der Verantwortung, Kontrolle über unsere eigenen Daten zu haben, gerecht zu werden. Dass wir dennoch dafür verantwortlich gemacht 1. Preis werden, ist ein Fall von Responsibilisierung: einem Regierungswerkzeug des Neoliberalismus.
Digitale Mündigkeit als Universalmittel
Seit fast 25 Jahren kursiert die Forderung nach digitaler Mündig- keit durch den netzpolitischen Diskurs. Dabei wird das Konzept als Universalmittel gehandelt, um den problematischen Entwick- lungen und Herausforderungen zu begegnen, die durch digitale Technologien entstehen. Im Kontext von digitaler Mündigkeit wird häufig gefordert, dass Nutzer:innen dieser Technologien – insbesondere des Internets – die Kontrolle über ihre eigenen Da- ten haben sollen.
Automatisierte Diskriminierung, oder: Anne Mareike Lisker bei der Präsentation ihrer Masterarbeit Warum Daten kontrolliert werden müssen Quelle: https://media.ccc.de/b/conferences/fiffkon#t=4
Seit wiederum fast 10 Jahren wird eine rege öffentliche De- batte über Systeme geführt, die mithilfe von Methoden der Bemerkenswerterweise ‚kannte‘ keines dieser Systeme die Ka- künstlichen Intelligenz und des maschinellen Lernens automa- tegorien, auf Basis derer Menschen durch das System diskrimi- tisierte Entscheidungen treffen und dabei historisch bedingte niert wurden. COMPAS ‚wusste‘ nicht, welcher Race die Ange- Diskriminierungsstrukturen reproduzieren und verstärken [1], klagten angehören; die Entwickler:innen des Algorithmus von [2], [3], [4]. Solche Systeme werden unter anderem im Mar- Amazon hatten die Kategorie ‚Geschlecht‘ ausgespart und auch keting, in Einstellungsprozessen, bei der Vergabe von Krediten Facebook schließt – theoretisch, und als Reaktion auf mehrere oder in der Strafverfolgung eingesetzt und haben somit Ein- Strafverfahren – explizit sensible Kategorien in den Targeting- fluss auf den Lebensverlauf. Besonders prominent war der Fall Mechanismen seines Werbesystems aus. Dass in den Systemen der Software COMPAS, die in einigen Staaten der USA vor Ge- dennoch historisch bedingte strukturelle Ungleichverteilungen richt verwendet wird, um Vorhersagen über das Rückfallrisiko reproduziert werden, liegt an sogenannten Proxy-Merkmalen. von Angeklagten bzw. Gefängnisinsass:innen zu treffen – und Proxy-Merkmale sind zunächst scheinbar harmlose Attribute – dabei Menschen aufgrund ihrer Race [5] systematisch diskrimi- wie beispielsweise eine Postleitzahl – die mit sensiblen Katego- nierte. So wurden zum einen fast doppelt so häufig schwarze rien korrelieren und somit als Stellvertreter für diese sensiblen Menschen fälschlicherweise als rückfällig bewertet und zugleich Kategorien dienen [10]. So wurde bei COMPAS unter anderem weiße Menschen häufiger fälschlicherweise als risikoarm einge- eben die Postleitzahl der Angeklagten erfragt. Da Stadtviertel stuft [6]. Ein System von Amazon, das automatisiert über die in den USA häufig homogen sind in Bezug auf die Race ihrer Geeignetheit von Bewerber:innen für einen Job entscheidet, Bewohner:innen, korrelierte die Postleitzahl also mit der Kate- stufte Frauen bei gleicher Qualifikation systematisch als weniger gorie Race und fungierte als deren Proxy. Durch Proxy-Merk- geeignet ein als männliche Bewerber [7]. Werbeanzeigen auf male lassen sich also aus vermeintlich harmlosen Daten sensible Facebook zeigten Frauen weniger häufig Anzeigen für Stellen Merkmale wie das Geschlecht, die Race oder die Sexualität ab- als Softwareentwickler:innen an als Männern; und Häuser wur- leiten auf Basis derer Menschen automatisiert und kollektiv dis- den vorwiegend weißen Personen zum Kauf angeboten, wäh- kriminiert werden. Es gilt also, Daten zu schützen und zu kon- rend BIPoC-Personen [8] vor allem Mietshäuser angezeigt wur- trollieren. den [9].
FIfF-Kommunikation 1/24 69 Ok, stimmt! Die Daten müssen kontrolliert Medien wie Print oder Fernsehen orientiert und die Zielgrup- werden. Aber … penansprache basierte auf groben Kategorien wie Alter, Ge- schlecht oder Einkommen. Werbung für Sportschuhe wurde auf Die Kontrolle von Daten obliegt den Nutzer:innen, die durch einer Website mit Sportartikeln angezeigt. Erstanbieter-Ana- die Forderung nach digitaler Mündigkeit dafür verantwortlich lysecookies ermöglichten, in einem Onlineshop auch Werbung gemacht werden, den Fluss ihrer eigenen Daten zu kontrollie- für Sportschuhe in der Technikrubrik anzuzeigen, weil die Nut- ren. Der Kontrollmechanismus, der darin impliziert wird, ist ein zerin sich zuvor Sportschuhe angesehen hatte. Mit Drittanbie- studienpreis
individueller: Einzelpersonen sollen für die Kontrolle ihrer ver- tercookies lässt sich einer Nutzerin Werbung für Sportschuhe meintlich eigenen Daten zuständig sein. Das ist ein naheliegen- auf der Website eines Nachrichtendienstes anzeigen, weil dem des Vorgehen, wenn Daten als ein ‚Rohstoff‘ inszeniert werden, Drittanbieter bekannt ist, dass die Nutzerin vor Tagen in ei- der auf ganz ‚natürliche‘ Art und Weise von uns als Nutzer:innen nem Onlineshop Sportschuhe angeschaut hatte. Der Verkauf erzeugt und besessen wird. Wenn etwas in meinem Besitz ist – der Werbeflächen passiert inzwischen algorithmisch automati- so die Annahme – kann ich selbstverständlich auch kontrollieren, siert an Werbebörsen und innerhalb von Millisekunden in Echt- wie viel ich davon abgeben und wie viel ich zu meinem eigenen zeit. Durch diese Entwicklung ist um Cookies herum eine riesige Vergnügen behalten möchte. Marktinfrastruktur entstanden, die darauf basiert, mithilfe von Tracking Daten zu generieren, mit diesen Daten Wissen zu pro- Fakt ist jedoch, dass Daten hauptsächlich von den großen Un- duzieren und dieses Wissen zu kapitalisieren [12]. ternehmen und Plattformen generiert werden, deren Services die Nutzer:innen meist mit einer ganz anderen Absicht in An- Allein auf den 1.000.000 meistbesuchten Websites werden spruch nehmen, und dass diese Unternehmen so viele Daten ge- 30.000.000 Trackingtechnologien eingesetzt [13]. Das heißt im nerieren und sammeln, wie sie nur kriegen können. Ich plädiere Umkehrschluss für die allermeisten von uns Nutzer:innen, dass daher auch dafür, {D|d}aten nicht mehr als ein Substantiv zu ver- im Prinzip jede von uns von Trackingtechnologien betroffen ist. wenden, sondern als ein Verb, einen Prozess, einen Vorgang zu Im Gegensatz dazu wird der Werbemarkt nur von einer Hand- denken. Das ermöglicht eine Abwendung von der Idee des Roh- voll Akteuren beherrscht, welche zwar augenscheinlich keine stoffes und verdeutlicht zugleich die praxeologische Ebene des reinen Marketingunternehmen sind – allen voran Google –, de- Datenflussprozesses: Daten werden immer situativ erzeugt, ag- ren Geschäftsmodell im Kern jedoch weiterhin auf Daten basiert. gregiert, ausgewertet, angewendet.
Aber was ist denn mit Schutzmaßnahmen Ein Blick in die Entstehungsgeschichte der wie Privacy-Add-Ons? cookifizierten Marktinfrastruktur Es existieren zahlreiche Maßnahmen, die die Privatsphäre der In den letzten 30 Jahren ist eine datenbasierte Marktinfrastruk- Nutzer:innen im Netz stärken oder schützen sollen, indem sie tur entstanden, deren Grundstein Warenkorb- und Sitzungscoo- Tracking beispielsweise durch Cookies blockieren, erschweren kies legten, die im Jahr 1994 von Software-Entwicklern des Un- oder kontrollieren. Dazu gehören zum einen die durch die ePri- ternehmens Netscape entwickelt wurden. Cookies waren die vacy verpflichtend gewordenen Cookie-Banner, aber auch das Lösung für das aus der Zustandslosigkeit des Hypertext Transfer schlichte Deaktivieren von Cookies im Browser, Privacy-Add- Protocols resultierende Problem, dass Nutzer:innen bereits durch Ons oder individuelle Browsereinstellungen. Der Wirtschaftswis- einen Subdomänenaufruf nicht wiedererkannt werden konnten, senschaftlerin Shoshana Zuboff zufolge schützen solche indivi- was insbesondere kommerzielle Vorhaben wie beispielsweise ei- duellen Maßnahmen allerdings immer nur einige Menschen vor nen Warenkorb verunmöglichte. Vor der Einführung von Coo- bestimmten Tracking-Mechanismen [14]. In diesen Einzelfällen kies war das Browsen im Internet im Grunde genommen ein sind sie zwar wirksam, doch sorgt ihre schiere Existenz dafür, privater Akt. Neben Cookies wurden auch andere Lösungsvor- den Status Quo des Tracking paradoxerweise aufrecht zu erhal- schläge diskutiert, unter anderem die Idee, jedem Browser eine ten. Denn sie erscheinen als vermeintliche Lösung für das durch eindeutige Identifikationsnummer zuzuteilen. Der Entwickler Trackingtechnologien ausgelöste Datenschutzproblem, weshalb Lou Montulli sah damals in Browser-IDs jedoch die Gefahr eines von einer gesamtheitlichen Lösung abgesehen wird. websiteübergreifenden Trackings und lehnte diesen Vorschlag ab [11]. Es entbehrt nicht einer gewissen Ironie, dass das Tra- cking eine Eigenschaft ist, die Cookies zum Zeitpunkt ihrer Er- Prädiktive Analytik, oder: Wieso ich eigentlich findung keinesfalls erfüllen sollten. Die Lösung für das aus der nicht nur meine Daten kontrollieren müsste Zustandslosigkeit resultierende Problem führte also ein neues Problem mit sich: den Verlust der Privatsphäre. Selbst, wenn wir einräumen, dass individuelle Datenschutzmaß- nahmen bestimmte Menschen vor bestimmten Trackingtech- Nach den Warenkorb- und Sitzungscookies entstanden Erstan- nologien schützen können, so können sie auch in den Fällen bieter-Analysecookies, mit denen Besucher:innen über eine regelrecht unwirksam werden. In der Werbebranche werden Seite hinweg von den Anbietern verfolgt werden konnten. Dar- statistische Verfahren wie prädiktive Analytik eingesetzt, die auf folgten Drittanbietercookies, die websiteübergreifendes Tra- es ermöglichen, aus einer riesigen Menge von Daten auch In- cking durch einen außenstehenden Akteur ermöglichten. Diese formationen über eine mehr oder weniger unbekannte Per- Entwicklung geschah in koerziver Wechselwirkung mit der Wer- son abzuleiten bzw. vorherzusagen. Wir können uns das fol- beindustrie, welche sich Cookies als Marketingwerkzeug an- gendermaßen vorstellen: Wenn 7 von 10 Menschen, die weiße eignete. Zu Beginn war Onlinewerbung noch an traditionellen Turnschuhe tragen, auch mitteilen, dass sie am liebsten Vanille-
70 FIfF-Kommunikation 1/24 eis mögen, so sagt ein prädiktives Modell voraus, dass eine un- sind für die Unternehmen kaum von Relevanz, weshalb auch bekannte Person mit weißen Schuhen mit einer Wahrscheinlich- eine Anonymisierung von Daten vor einer Identifikation durch keit von 70 % Vanilleeis mag. Diese Wahrscheinlichkeit reicht prädiktive Analytik nicht schützt. Vielmehr geht es den Unter- einem Lebensmittelhersteller aus, um die unbekannte Person nehmen darum, die Wünsche und Bedürfnisse des Individuums als Vanilleeisliebhaberin zu klassifizieren. Nun sind Schuhfarbe zu erkennen und sie profitmaximierend zu nutzen – oder die und Speiseeispräferenz zumindest im globalen Norden und ver- Wünsche und Bedürfnisse des Individuums überhaupt erst zu mutlich auch weltweit keine politischen Kategorien, sondern erzeugen und zu formen. Auf der anderen Seite stehen die ‚da- unbedenkliche Vorlieben. In der Realität werden jedoch mit- tenfreigiebigen‘ Individuen, über die absichtlich oder unabsicht-
studienpreis tels prädiktiver Analytik aus vermeintlich unverfänglichen, frei lich eine große Menge an Daten generiert werden kann – bei- verfügbaren und zum Teil anonymen Daten wie Facebook- spielsweise, weil sie überzeugt davon sind, ‚nichts zu verbergen Likes oder dem Browserverlauf Rückschlüsse auf sensible At- zu haben. Deren Datenschutzeinstellungen haben einen umso tribute wie die Sexualität, Race, Persönlichkeitseigenschaften, stärkeren Effekt. Sie bedingen, was über andere Nutzer:innen den Suchtmittelkonsum oder die mentale Gesundheit der Per- vorhergesagt werden kann und wie identifizierbar sie selbst und son gezogen [15]. Dass das möglich ist, liegt daran, dass über andere Individuen sind. Einige Wissenschaftler plädieren daher einige wenige Nutzer:innen sehr viele – zum Teil auch sensible dafür, die Validität des Rechtsmechanismus der Einwilligung, – Daten generiert werden konnten, welche zusammen mit zahl- mit welcher heutzutage vorwiegend das Sammeln von Daten reichen anderen, scheinbar unverfänglichen Hilfsdaten in das rechtlich abgesichert wird, in Frage zu stellen [17, 18]. Denn die prädiktive Modell geflossen sind. Diese Daten haben einen un- Konsequenzen der Einwilligungsentscheidung betreffen nicht mittelbaren Einfluss darauf, welche Vorhersagen über alle mög- nur das einwilligende Individuum selbst, sondern auch andere lichen anderen Personen getroffen werden können. In Abbil- Nutzer:innen. dung 1 hat der Philosoph Rainer Mühlhoff den Zusammenhang veranschaulicht [16]. Das bedeutet für die Forderung nach digitaler Mündigkeit, dass Kontrolle über die eigenen Daten haben zu sollen, impli- Dass aus dem Zusammenspiel der sensiblen Daten einzelner we- ziert, Kontrolle über die Daten aller Nutzer:innen haben zu müs- niger Nutzer:innen mit der enormen Menge vermeintlich un- sen. Denn wenn eine Nutzerin ihre Daten insofern kontrollieren verfänglicher Daten aller Nutzer:innen über eine beliebige an- möchte, dass keinerlei sensible Informationen über sie bekannt dere Nutzerin Informationen abgeschätzt werden können, hat sind, sensible Informationen über sie jedoch mittels prädiktiver zur Folge, dass individuelle Datenschutzeinstellungen an Wirk- Analytik ableitbar sind, dann reicht es nicht, nur die eigenen Da- samkeit verlieren. Denn die strengen Datenschutzeinstellungen ten zu kontrollieren – sie müsste auch die Daten aller anderen eines datensparsamen Individuums schützen dieses nur bedingt Nutzer:innen kontrollieren. ‚Alle anderen‘ bezieht sich nicht nur davor, identifiziert zu werden. Wohlgemerkt bezieht sich die auf die zum Datenerhebungszeitpunkt aktiven Nutzer:innen, ‚Identifikation‘ in diesem Kontext nicht darauf, ein Individuum sondern auch auf Nutzer:innen aus der Vergangenheit sowie auf als eine bestimmte Person mit einem bestimmten Namen, Ge- alle zukünftigen Nutzer:innen, da deren Daten ebenfalls in das burtsdatum oder Wohnort zu lokalisieren. Solche Informationen prädiktive Modell geflossen sind und fließen werden.
Abbildung 1: Die Funktionsweise von prädiktiver Analytik anhand von Social-Media-Daten nach [15]
FIfF-Kommunikation 1/24 71 Uff! Ist digitale Mündigkeit und individuelle lich auf den falschen Link geklickt und Schadsoftware weiter- Datenflusskontrolle da überhaupt noch möglich? verbreitet haben [19]. Ein Scheitern an dieser Verantwortung ist in der Responsibilisierung programmiert, da strukturelle Aufga- Wie sollen wir es also als Nutzer:innen im Angesicht dieser hoch- ben und Probleme nicht individuell gelöst werden können, und komplexen Marktinfrastruktur schaffen, digital mündig zu sein das Scheitern wird stets auf Seiten des Individuums verortet: das und unsere Daten zu kontrollieren? Im Angesicht einer Infrastruk- neoliberale Blaming-the-victim [20]. tur, die das gesamte Internet durchdringt und hauptsächlich dazu studienpreis
dient, Profitinteressen mächtiger Plattformen zu befriedigen? Ei- Dass Responsibilisierung auch dann so gut funktioniert, wenn In- ner Infrastruktur, deren ‚Treibstoff‘ die über uns generierten Daten dividuen strukturell nicht in der Lage sind, der Verantwortung ge- sind und die die Macht hat, auch Informationen über uns vorher- recht zu werden, liegt daran, dass die Responsibilisierung unter zusagen, die wir gar nicht preisgeben möchten? Offenkundig sind dem Deckmantel des positiv konnotierten Empowerments wirkt diese Fragen rein rhetorischer Natur, und die Antwort „gar nicht!“ [21]. Ein empowertes Subjekt ist selbstbestimmt, eigenständig, sollte Ihnen auf der Zunge liegen. Denn im Kontext dieser gigan- und nicht auf fremde Unterstützung, beispielsweise durch den tischen, trackingbasierten Marktinfrastruktur von Nutzer:innen zu Staat, angewiesen. Das klingt auf den ersten Blick erstrebenswert, fordern, ihre eigenen Daten mündig zu kontrollieren, gleicht einer doch werden dabei die historisch gewachsenen sozialen Struktu- Forderung an eine Person in einem Raum voller Überwachungs- ren, in die Menschen hineingeboren werden und aufgrund derer kameras, zu kontrollieren, wie sie gefilmt wird. In der Analogie sie sich in Abhängigkeit von anderen Menschen oder Institutionen sind die Kameras in dem Raum zum Teil versteckt. Wenn sie et- befinden, völlig negiert. Beispielsweise sind Personen, die Sorge- was nicht gut erkennen können, werden die Bilder mit Material arbeit leisten wie beispielsweise Kinderbetreuung oder Pflege und aus anderen Räumen von anderen Personen überlagert, um das Unterstützung von Angehörigen und Freunden – was aufgrund aktuelle Bild zu vervollständigen. Und eigentlich ist die Person mit von hegemonialen Geschlechtervorstellungen vorrangig Frauen etwas völlig anderem beschäftigt, als zu überlegen, wie sie gefilmt machen – oder Menschen, die in einem Umfeld mit wenig Geld werden möchte, beispielsweise damit, ihren Toaster zu reparieren. aufwachsen, häufig ebenfalls auf kollektive Unterstützung ange- wiesen. Denn sie haben nicht die finanziellen, zeitlichen und men- Mal ganz abgesehen davon, dass Verfahren wie Dark Patterns talen Kapazitäten, von anderen Institutionen unabhängig zu sein. und Nudging es uns als Nutzer:innen auf der Ebene des ober- flächlichen Interfaces erschweren, die Kontrolle über unsere Da- Womöglich ist die Forderung nach digitaler Mündigkeit also nur Em- ten zu haben: Es ist uns bereits auf der zugrundeliegenden, inf- powerment im neuen Gewande. Dadurch würde sie eine Responsi- rastrukturellen Ebene unmöglich. bilisierung legitimieren in der uns als individuelle Nutzer:innen eine Verantwortung übertragen wird, die wir gar nicht leisten können.
Wo kommt diese trügerische Verantwortung eigentlich her? Die neoliberale Responsibilisierung Der Artikel ist aus der Masterarbeit der Autorin hervorgegangen und ergänzter Nachdruck des Beitrags aus dem Magazin Frauen Doch wieso werden wir eigentlich durch die Forderung danach, machen Informatik, Bd. 47 zu Digitale Souveränität der Gesell- digital mündig zu sein und unsere eigenen Daten zu kontrollie- schaft für Informatik e. V. ren, für etwas verantwortlich gemacht, das zu leisten wir über- haupt nicht in der Lage sind? Dieses Ungleichverhältnis – als Individuum für etwas verantwortlich gemacht zu werden, was wir strukturell nicht leisten können – ist charakteristisch für den Referenzen Neoliberalismus. Im Rahmen des Prozesses der sogenannten Re- [1] O’Neil, C.: Weapons of Math Destruction: How Big Data Increases sponsibilisierung überträgt der Staat Verantwortung für Aufga- Inequality and Threatens Democracy. Crown, New York 2016. ben, die er vormals selbst innehatte oder die bis dahin keinem [2] Benjamin, R.: Race After Technology: Abolitionist Tools for the New Jim Akteur zugeordnet waren, auf seine Bürger:innen oder auf an- Code. 1. Ausgabe. Polity, Medford 2019. dere nicht-staatliche Akteure. Responsibilisierung lässt sich un- [3] Eubanks, V.: Automating Inequality: How High-tech Tools Profile, Police, ter anderem im Diskurs um die Klimakrise wiederfinden, wenn and Punish the Poor. St Martin’s Press, New York 2018. die Verantwortung für mehr Nachhaltigkeit bei den individuel- [4] Noble, S. U.: Algorithms of Oppression: How Search Engines Reinforce len Konsument:innen gesehen wird. Im Digitalen werden Indivi- Racism.Combined Academic Publ., New York 2018. duen für die Sicherheit ihres eigenen Computers verantwortlich [5] Weil der Begriff der Race als Beschreibung einer sozialen Kategorie nicht gemacht und sind dann eben selbst schuld, wenn sie unwissent- verlustlos ins Deutsche übersetzt werden kann und noch keine zufrie-
Mareike Lisker
Mareike Lisker ist Doktorandin an der Hochschule für Technik und Wirtschaft Berlin. Dort forscht und lehrt sie im Spannungsfeld von Informatik und Gesellschaft. Sie promoviert mit einer Arbeit zu automatisierten Content-Moderation-Verfahren abseits von zentralisierten Diensten und führt hierbei ihre Perspektiven aus der Informatik, der Philosophie und der Linguistik zusammen. Sie interessiert sich außerdem für Machtverhältnisse in der digitalen Welt, Datenethik und Ethik der KI.
72 FIfF-Kommunikation 1/24 denstellende Entsprechung existiert, übernehme ich den Begriff aus dem [13] builtwith.com (25.11.2022): „Analytics technologies Web Usage Distri- englischsprachigen Diskurs um Rassismus, vgl. dazu MissyRedaktion. bution“ https://trends.builtwith.com/analytics 2020. “Hä, was heißt denn Race?” Missy Magazine (blog). September [14] Zuboff, S.: The Age of Surveillance Capitalism: The Fight for a Human 21, 2020. https://missy-magazine.de/blog/2020/09/21/hae-was-heisst- Future at the New Frontier of Power. 1. Aufl. PublicAffairs, New York denn-race/. Die Begriffe weiß und schwarz schreibe ich kursiv, um zu 2019, S. 344. markieren, dass sie ebenfalls eine soziale Kategorie beschreiben und [15] Kosinski, M., D. Stillwell, und T. Graepel: „Private traits and attributes keinesfalls eine Farbe. are predictable from digital records of human behavior“, in: Proceedings [6] Angwin, J., J. Larson, S. Mattu, und L. Kirchner: „Machine Bias“, ProPu- of the National Academy of Sciences, Bd. 110, Nr. 15, Apr. 2013, S.
studienpreis blica 02.03.2023. (Quelle: ProPublica 23.05.2016), https://www. 5802–5805. propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing [16] Mühlhoff, R.: „Predictive privacy: Collective data protection in the [7] Meyer, D.: „Amazon Killed an AI Recruitment System Because context of artificial intelligence and big data“, in Big Data & Society, Bd. It Couldn’t Stop the Tool from Discriminating Against Women“, 10, Nr. 1, Jan. 2023, S. 3. Fortune 07.12.2022 (Quelle: Fortune 10.2018), https://fortune. [17] Mühlhoff, R.: „Prädiktive Privatheit: Kollektiver Datenschutz im Kon- com/2018/10/10/amazon-ai-recruitment-bias-women-sexist/ text von Big Data und KI“, in: M. Friedewald, A. Roßnagel, J. Heesen, N. [8] Das Akronym BIPoC steht für “Black, Indigenous, People of Colour” Krämer, und J. Lamla, (Hrsg.): Künstliche Intelligenz, Demokratie und Pri- und ist eine positiv besetzte, politische Selbstbezeichnung rassistisch vatheit. Nomos Verlagsgesellschaft mbH & Co. KG, 2022, S. 31–58: 53. diskriminierter Personen. [18] Engeler, M.: „Der Konflikt Zwischen Datenmarkt Und Datenschutz.”, [9] Hao, K.: „Facebook’s ad algorithms are still excluding women from in Neue Juristische Wochenschrift, Bd. 47, 2022. S. 3398–3405. seeing jobs“, MIT Technology Review 07.12.2022 (Quelle MIT [19] Renaud, K., S. Flowerday, M. Warkentin, P. Cockshott, und C. Orge- Technology Review 09.04.2021), https://www.technologyreview. ron, „Is the responsibilization of the cyber security risk reasonable and com/2021/04/09/1022217/facebook-ad-algorithm-sex-discrimination/ judicious?“, in: Computers & Security, Bd. 78, Sep. 2018, S. 198–211: [10] Johnson, G. M.: „Algorithmic Bias: On the Implicit Biases of Social 204. Technology“, in: Synthese, Bd. 198, Nr. 10, 2020, S. 9941–9961: 9942. [20] Gray, Garry C.: “The Responsibilization Strategy of Health and Safety: [11] Montulli, L.: „The irregular musings of Lou Montulli: The reasoning Neo-Liberalism and the Reconfiguration of Individual Responsibility for behind Web Cookies“, 05.10.2022 (Quelle The irregular musings of Lou Risk.”, in: The British Journal of Criminology, Bd. 49, Nr. 3, 2009. S. Montulli 14.05.2013), https://montulli.blogspot.com/2013/05/the- 326–42. reasoning-behind-web-cookies.html [21] Hache, É.: „La responsabilité, une technique de gouvernementalité [12] Mellet, K. und T. Beauvisage, „Cookie monsters. Anatomy of a digital néolibérale? [Is responsibility a tool of neo-liberal governmentality?]“, in: market infrastructure“, in: Consumption Markets & Culture, Bd. 23, Nr. Raisons politiques, Bd. 28, Nr. 4, 2007, S. 49–65. 2, März 2020, S. 110–129.
Wissenschaft & Frieden 1/24 Konflikte im „ewigen“ Eis Das „ewige“ Eis – die kalten, weit entlegen scheinenden Pole Weitere Beiträge: Wintersteiner – 60 Jahre „Thirring-Plan“ | der Welt, oft genug ein Bild für Einklang, Harmonie und Frieden. Vogl – Chinas „Global Civilization Initiative“ | Lipp – Der Anti- Die Polarregionen zeichnen sich durch ihre ökologische Fragili- militarist Heinrich Mann tät und globale Bedeutung aus. Sie sind die Dreh- und Angel- punkte, um die sich die Erde dreht. Und trotz ihrer Kälte sind sie doch Brennpunkte der Weltpolitik, an denen sich geopolitische Interessen, Ressourcengewinnung und Umweltschutz über- schneiden. Auch wenn sie gegenüber den Bevölkerungszent- ren als abgelegene und unberührte Landschaften erscheinen, ist hier eine gut koordinierte kooperative Regierungsführung mehr als dringlich, um eine Ausweitung territorialer Streitigkeiten und Ressourcenkämpfe in die Polarkreise zu vermeiden. W & F 1/24 thematisiert die unterschiedlichen Konfliktdimensionen in Ark- tis und Antarktis und legt vorsichtige erste Impulse für künftige Friedenssicherung in den Polarregionen.
Die Januarausgabe des Podcast Fokus Frieden der Mitherausge- berorganisation Friedensakademie Rheinland-Pfalz mit Patrick Flamm ergänzt das Heft mit einem einstündigen Gespräch zu den spezifischen Konflikten in der Antarktis.
Mit Beiträgen von Jürgen Scheffran und Verena Mühlberger, Henry Lesmann, Rene Urueña, Cornelia Lüdecke und Patrick W & F 1/24 | Februar | 64 Seiten | 12 € (Druck) / 9 € (ePUB + PDF) Flamm. www.wissenschaft-und-frieden.de
FIfF-Kommunikation 1/24 73 Daniel Leisegang, Chris Köver, Sebastian Meineck
Die sieben quälendsten Fragen zur KI-Verordnung 26. Januar 2024 – Wieso hagelt es jetzt so viel Kritik? Wie schlimm wird das mit der Gesichtserkennung? Und was lässt sich jetzt überhaupt noch machen? Wir liefern die wichtigsten Updates zur fast fertigen KI-Verordnung.
Fast ist die KI-Verordnung1 (auf Englisch: AI Act) beschlossene Misstrauen an der Daumen-hoch-Stimmung gab es schon da- Sache. Sie soll das weltweit erste Gesetz werden, das soge- mals: Es sei „zu früh zum Feiern“, schrieb etwa EDRi6, der Dach- nannte Künstliche Intelligenz umfassend reguliert. Doch auf den verband von Organisationen für digitale Freiheitsrechte in Eu- letzten Metern gibt es Streit. Erst jetzt kursiert nämlich der Text ropa. Noch immer ist der Text nicht final. Es ist üblich, dass auch zur vorweihnachtlichen Einigung zwischen Kommission, Parla- nach einer Einigung im Trilog an juristischen und technischen ment und Rat. Und der ist deutlich weniger besinnlich als zu- Details gefeilt wird. nächst angenommen. Weniger üblich ist jedoch, dass Verhandler:innen dabei aus allen Fachleute warnen vor Massenüberwachung durch unerwartet Wolken fallen. Genau das ist bei der KI-Verordnung aber pas- große Lücken für Grundrechte. Manche Politiker:innen versu- siert: Manche Abgeordnete des EU-Parlaments erkannten die chen nun, doch noch an der Einigung zu rütteln. Der Weg zu angeblich getroffene Trilog-Einigung7 nicht wieder, als sie später Europas grundlegender KI-Gesetzgebung ist mühsam – und die den dazu gehörigen Kompromisstext vor Augen hatten, verfasst quälendsten Fragen beantworten wir hier. von der spanischen Ratspräsidentschaft. „Wir wurden über den Tisch gezogen“, hieß es aus dem Umfeld der Verhandlungsdele- 1. Die Einigung war doch vor Weihnachten, wieso hagelt es gation8. Der Ärger bezieht sich vor allem auf die Regeln zur bio- jetzt Kritik? metrischen Überwachung, bei denen von der einst starken Par- 2. Gesichtserkennung: Wie schlimm wird es? lamentsposition kaum etwas übrig geblieben ist. 3. Emotionserkennung: Was droht hier? 4. Migrationskontrolle: Wie schlimm ist es? 5. Nationale Sicherheit: Was dürfen Staaten alles machen? 2. Gesichtserkennung: Wie schlimm wird es? 6. Ist an dem Gesetz auch irgendetwas gut? 7. Lässt sich jetzt überhaupt noch etwas ändern? Bei diesem Thema kann es sehr ernst werden. Auch wenn es zeitweise anders lautende Hoffnungen gab9: Die KI-Verordnung bringt weder ein Verbot noch eine strenge Einschränkung von 1. Die Einigung war doch vor Weihnachten, biometrischer Überwachung. Das heißt, EU-Staaten dürfen aus wieso hagelt es jetzt Kritik? sehr vielen Gründen viele Menschen überwachen und anhand ihrer körperlichen Merkmale identifizieren, zum Beispiel mit Das liegt vor allem daran, dass nach den Trilog-Verhandlun- Hilfe öffentlicher Kameras. Gesichtserkennung ist dabei bloß die gen wochenlang nicht klar war, worauf sich Kommission, Par- bekannteste Methode; man kann Menschen etwa auch durch lament und Rat genau geeinigt haben. Wenn drei Organe mit ihre Art zu gehen, eindeutig voneinander unterscheiden10. Vertreter:innen aus 27 EU-Ländern gemeinsam Gesetze schmie- den, wird es schnell unübersichtlich – im Fall der KI-Verordnung Die KI-Verordnung erlaubt biometrische Echtzeit-Identifikation war es geradezu chaotisch. auch dann, wenn nur die Annahme besteht, dass etwas Schlim- mes passieren könnte. In der Verordnung steht hierzu: um eine Bereits der Gesetzentwurf der EU-Kommission war lang und „spezifische, erhebliche und unmittelbare“ Bedrohung für die verwinkelt. Die Verhandler:innen haben das nicht einfacher physische Sicherheit einer Person zu verhindern (Artikel 5(1), gemacht, sondern vor allem Schnörkel und Klauseln hinzu- (d)). Auch die Suche nach Verdächtigen bestimmter Strafta- gezimmert, wie das inzwischen öffentliche, knapp 900-sei- ten ist demnach ein legitimer Grund für biometrische Echtzeit- tige PDF2 anschaulich zeigt. Dort lassen sich die Versionen von Überwachung. Dazu zählen laut Kompromisstext etwa Mord, Kommission, Parlament, Rat und Trilog nebeneinander nach- schwere Körperverletzung oder „Kinderpornografie“. Zuvor lesen. müsse allerdings eine zuständige Behörde den Einsatz der Tech- nologie erlauben, das nennt man Richtervorbehalt. Als beson- Die vorläufige Einigung am 9. Dezember geschah nach „drei- ders hohe Hürde gilt dieser Schritt in der Praxis aber nicht. tägigen Marathonverhandlungen“, schrieb der Rat3, mitunter wurde 22 Stunden am Stück4 verhandelt. Sichtlich müde, aber Noch laxer ist die KI-Verordnung, wenn die Überwachung nicht mit gerecktem Daumen ließen sich die Verhandler:innen danach in Echtzeit passiert, sondern nachträglich („retrograd“). Denk- für die Presse fotografieren5. bar wäre etwa, hierfür archivierte Aufnahmen von Überwa- chungskameras zu durchleuchten. In solchen Fällen dürfen Men-
74 FIfF-Kommunikation 1/24 schen biometrisch identifiziert werden, sobald sie einer Straftat gilt Emotionserkennung laut dem Kompromisstext als „hochris- verdächtigt sind. Für die erstmalige Identifizierung braucht es kant“ und ist damit vielen Auflagen unterworfen, doch verbo- dem Text zufolge keine besondere Genehmigung. Erst wenn ten ist sie nicht. Ermittler:innen eine bereits bekannte, gesuchte Person identifi- zieren möchten, sollen sie dafür eine behördliche Erlaubnis ein- Technologien zur Emotionserkennung versprechen eine Menge: holen. Das geht allerdings auch nachträglich, dafür dürfen sie Studierende vor dem Bildschirm überwachen, mutmaßlich ag- sich 48 Stunden Zeit lassen (Artikel 29(6a)). gressive Personen aus einer großen Menschenmenge fischen oder Menschen vor der Einreise beim angeblichen Lügen ertap- Die Kritik daran ist harsch. „Die retrograde biometrische Iden- pen. Doch aus wissenschaftlicher Sicht hat Emotionserkennung tifizierung von Personen ist nahezu ohne rechtsstaatliche Hür- einen ziemlich miesen Ruf22, um es vorsichtig zu formulieren. den wie eine vorherige richterliche Genehmigung und bereits Viele Fachleute sagen, es gebe schlicht keinen Nachweis dafür, für kleinste Bagatelldelikte möglich“, warnt die Europa-Ab- dass man aus Regungen des Gesichtes auf tatsächliche Gefühle geordnete Svenja Hahn (FDP) gegenüber heise online11. Das einer Person wie Wut oder Angst schließen kann. Zu diesem von mehreren zivilgesellschaftlichen Organisationen getragene Schluss kam auch eine groß angelegte Meta-Studie23 aus dem Bündnis „Reclaim Your Face“ spricht von beispielloser dystopi- Jahr 2019, die alle bis dahin durchgeführten Untersuchungen scher Massenüberwachung12 in der EU. miteinander verglich. Kritiker:innen sprechen bei der Emotions- erkennung von „Junk Science“, wissenschaftlichem Müll. Der Bundesdatenschutzbeauftragte Ulrich Kelber (SPD) schreibt auf Anfrage von netzpolitik.org: „Dies könnte gravierende Aus- Noch dazu greifen die Technologien tief in eine Reihe von Grund- wirkungen auf die Erwartung der Bevölkerung haben, im öf- rechten ein, wie das Recht auf Privatsphäre oder auch das Recht, fentlichen Raum anonym zu bleiben, womit wiederum direkte die Aussage zu verweigern. Erlaubt wäre mit dem jetzigen Text negative Auswirkungen auf die Ausübung der Meinungs-, Ver- etwa weiterhin, sogenannte „Lügendetektoren“ an den EU-Au- sammlungs- und Vereinigungsfreiheit sowie der Freizügigkeit ßengrenzen zu platzieren, wie die EU das bereits von 2016 an mit einhergehen.“ einem Pilotprojekt in Ungarn, Litauen und Griechenland erprobt hat24. Das „Täuschungserkennungsystem“ sollte die kaum wahr- Der Europa-Abgeordnete Patrick Breyer (Piraten) befürchtet, die nehmbare Gesichtsausdrücke von Einreisenden analysieren, um zu Verordnung führe Europa „in eine dystopische Zukunft eines überprüfen, ob sie bei der Frage nach ihrem biografischen Hinter- misstrauischen High-Tech-Überwachungsstaats“, und nennt grund die Wahrheit sagen. Das Forschungsprojekt wurde 2019 be- konkrete Beispiele13: „So wird es Städten möglich, unter dem endet und ist nie in den Normalbetrieb gegangen. Sollte eine sol- Schlagwort ‚Hausfriedensbruch‘ Obdachlose zu verdrängen, wie che Technologie jedoch in Zukunft wieder zum Einsatz kommen, im italienischen Como geschehen14, oder Sprayer wegen ‚Sach- müssten Betroffene lediglich darauf hingewiesen werden, dass sie beschädigung‘ zu verfolgen.“ Anderes Beispiel: In Großbritan- hier einem System zur Emotionserkennung gegenübersitzen. nien machen Supermärkte schon jetzt mit Gesichtserkennung Jagd auf Ladendiebe15. Ella Jakubowska vom Dachverband EDRi kritisiert außerdem, dass selbst für die Bereiche Bildung und Arbeit Ausnahmen ge- Die Polizei in Deutschland setzt seit langem Gesichtserkennung schaffen wurden, um die Technologie dennoch einzusetzen – ein, jährlich werden damit Tausende Personen identifiziert16. Es laut Kompromisstext aus „medizinischen oder Sicherheitsgrün- gibt jedoch Streit darüber, in welchem Umfang das legitim ist. den“. Auf Anfrage schreibt uns Jakubowska: „Da diese Gründe Ein prominenter Fall war die biometrische Datenbank mit den die häufigste Rechtfertigung für den Einsatz von Emotionser- Gesichtern tausender Menschen17, die Hamburg während der kennungssystemen sind, befürchten wir, dass das KI-Gesetz der Proteste zum G20-Gipfel im Jahr 2017 angelegt hatte. Der dor- EU die KI-gestützte Emotionserkennung nicht verbietet, sondern tige Datenschutzbeauftragte setzte sich dafür ein, dass diese vielmehr legitimiert und einen Markt für ihren Einsatz schafft.“ Datenbank gelöscht18 wird; passiert ist das erst im Jahr 202019.
Breyer warnt außerdem, dass Gesichtserkennung immer wieder 4. Migrationskontrolle: Wie schlimm ist es? zu falschen Festnahmen führt – dafür gibt es inzwischen meh- rere Beispiele20 aus den USA. Den einst erhofften Schutz vor sol- Der Trend, der sich schon in der Emotionserkennung abzeich- chen Problemen bietet die KI-Verordnung nicht. net, setzt sich auch bei der Migrationskontrolle fort: Menschen auf der Flucht können von der KI-Verordnung kaum Schutz er- warten. Die zumindest grundlegenden Einschränkungen für Ge- 3. Emotionserkennung: Was droht hier? sichtserkennung im öffentlichen Raum gelten ausdrücklich nicht für Grenzkontrollen, da Grenzen laut Kompromisstext nicht Teil Das EU-Parlament wollte unbedingt ein weitreichendes Verbot des „öffentlichen Raums“ seien (Erwägungsgrund 9). Handeln von Systemen zur Emotionserkennung in der EU. Sie sollten an mindestens zwei Menschen, die vor einer Entscheidung die Pro- Schulen und Universitäten, am Arbeitsplatz, bei Sicherheitsbe- gnose eines KI-Systems überprüfen? Das schreibt die Verord- hörden und auch in der Grenzkontrolle auf die Verbotsliste ge- nung zwar für alle als hochriskant geltenden Bereiche vor – nicht setzt werden21. Übrig geblieben ist jetzt nur noch ein Verbot im aber bei „Strafverfolgung, Migration, Grenzkontrolle oder Asyl“ Bildungsbereich und bei der Arbeit (Artikel 5(1), (d)(iiic)). Für (Erwägungsgrund 48). den Einsatz der wissenschaftlich geächteten Technologie in der Polizeiarbeit und bei Grenzkontrollen gibt die Verordnung da- Es gibt noch mehr Regeln, die ausdrücklich nicht für Migrati- gegen grünes Licht, ebenso wie in anderen Bereichen. Zwar onskontrolle gelten. Wer riskante KI-Systeme einsetzt, ist laut
FIfF-Kommunikation 1/24 75 KI-Verordnung eigentlich zu Transparenz verpflichtet und muss Autokratische EU-Regierungen wie jene in Ungarn könnten sich in einer öffentlichen Datenbank registrieren – kritische dann nach Belieben selbst gefährlichste KI-Systeme einsetzen, Beobachter:innen hatten das gefordert25. Für „Strafverfolgung, etwa anlasslose biometrische Massenüberwachung oder Social Migration, Asyl und Grenzkontrollmanagement“ gibt es jedoch Scoring für EU-Bürger:innen. diese Transparenz nicht: Hier sollen „die Registrierungspflichten in einem sicheren, nicht-öffentlichen Bereich der Datenbank er- Dass dem Einsatz gefährlichster KI-Technologien damit keine füllt werden.“ Einblick in diese Hochsicherheitszone des Trans- Schranken gesetzt sind, zeigt auch die staatliche Spionagesoft- parenzregisters haben dann weder Öffentlichkeit noch Presse, ware Pegasus27, angeboten von der israelischen NSO Group. nur noch die Kommission und die nationale Aufsichtsbehörde. Diese Technologie wurde laut Herstellerangaben ausschließlich für Zwecke der nationalen Sicherheit entwickelt. Längst aber ist So lässt die EU am Ende gerade dort eine bemerkenswerte Lü- bekannt, dass damit auch Oppositionelle, Journalist:innen und cke, wo Menschen ganz besonders auf gesetzlichen Schutz an- Dissident:innen in der EU ins Visier genommen28 werden. Nicht gewiesen wären. Insgesamt sei das Gesetz in Bezug auf die Mi- nur in Ungarn und Polen, sondern auch in Griechenland und gration „sehr enttäuschend“, sagt Ella Jakubowska von EDRi. Spanien. „Die Tatsache, dass das Gesetz den Einsatz vieler strafbarer KI-Instrumente gegen Menschen auf der Flucht legitimiert, ist Der urprüngliche Verordnungsentwurf der EU-Kommission zur wirklich besorgniserregend.“ Die Ausnahmen an diesen Stellen KI-Verordnung sah keine Ausnahme für die nationale Sicherheit suggerierten, „dass Menschen auf der Flucht nicht die gleichen vor. Und auch das EU-Parlament hatte die Gefahr erkannt und Rechte verdienen wie alle anderen“. in seiner Position nur Ausnahmen für militärische Nutzung vor- gesehen. Der Rat hat sich aber offenbar auch in dieser Frage In den einleitenden Worten zum Gesetz, den sogenannten Ab- durchgesetzt und die „nationale Sicherheit“ als Ausnahmegrund wägungsgründen, klingt das noch ganz anders. Dort steht: „KI- in den Kompromisstext gehievt. Systeme, die bei der Migrations-, Asyl- und Grenzkontrolle ein- gesetzt werden, betreffen Menschen, die sich häufig in einer Noch im September vergangenen Jahres hatten sich 150 Or- besonders verletzlichen Lage befinden und vom Ergebnis der ganisationen der deutschen und europäischen Zivilgesellschaft Maßnahmen der zuständigen Behörden abhängig sind“ (Erwä- in einem offenen Brief29 an Bundesjustizminister Marco Busch- gungsgrund 39). Dementsprechend sollten zumindest einige mann (FDP) und Bundeswirtschaftsminister Robert Habeck dieser Systeme als hochriskant eingestuft werden. Doch auf (Grüne) gewandt und gefordert: „KI für Zwecke der nationalen diese wohlklingenden Sätze folgt im Gesetzestext selbst eher Ei- Sicherheit darf nicht pauschal von der Verordnung ausgenom- seskälte. men werden“. Sie haben sich nicht durchgesetzt.
5. Nationale Sicherheit: 6. Ist an dem Gesetz auch irgendetwas gut? Was dürfen Staaten alles machen? Ja, in der KI-Verordnung stecken neue Rechte für Nutzer:innen Ein besonders großes Schlupfloch bietet die KI-Verordnung in und Pflichten für Anbieter von KI-Systemen. So soll sich jede Fällen der „nationalen Sicherheit“. Diese schwammige Formel Person bei ihrer nationalen KI-Aufsichtsbehörde30 beschweren kann herangezogen werden, um Ausnahmen zu definieren, bei dürfen, wenn sie ihre Rechte verletzt sieht. Anbieter von be- denen der Einsatz von Künstlicher Intelligenz dennoch erlaubt sonders riskanten KI-Systemen müssen ihre Technologien auf ist. Konkret heißt es in Artikel 2: Risiken prüfen, ausreichend transparent gestalten und unter menschliche Aufsicht stellen. „Diese Verordnung gilt nicht für KI-Systeme, die entwi- ckelt oder verwendet werden, wenn und soweit sie aus- Der Bundesdatenschutzbeaufragte Ulrich Kelber schreibt, die KI- schließlich für militärische, verteidigungspolitische oder Verordnung stärke auch den Schutz der Grundrechte, insbeson- die nationale Sicherheit betreffende Zwecke in Verkehr dere den Datenschutz im Zusammenspiel mit der Datenschutz- gebracht, in Betrieb genommen oder mit oder ohne Än- Grundverordnung (DSGVO). derung solcher Systeme verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten aus- Das Verbot von öffentlich zugänglichen Gesichtersuchmaschi- übt.“ nen hat es auch in den Kompromisstext geschafft (Artikel 5(1), (d)(iiib)). Über den Vorstoß des Parlaments haben wir vergange- Die KI-Verordnung verweist hier auf den Gründungsvertrag der nen Sommer berichtet31. Nicht erlaubt ist demnach „das unge- EU26 (Vertrag über die Europäische Union, EUV), wonach aus- zielte Auslesen von Gesichtsbildern aus dem Internet“, um dar- schließlich die Mitgliedstaaten für ihre nationale Sicherheit zu- aus Datenbanken zur Gesichtserkennung zu erstellen. ständig sind (Erwägungsgrund 12a). Erfreulich ist außerdem, dass der Kompromisstext ein Verbot Die Sache hat jedoch einen großen Haken: Der Begriff der nati- von Predictive Policing vorsieht. Predictive Policing beschreibt onalen Sicherheit ist europaweit nicht klar definiert. Die einzel- den Versuch, aus polizeilichen Daten Vorhersagen abzuleiten. nen Mitgliedstaaten können daher solche Fälle mit Verweis da- In Deutschland32 ist die Technologie bereits seit längerem im rauf weitgehend eigenmächtig bestimmen und sich damit den Einsatz33. In den vergangenen Jahren hatte unter anderem die Einsatz von laut KI-Verordnung eigentlich verbotenen Systemen Menschenrechtsorganisation Amnesty International gezeigt, selbst genehmigen. dass Predictive Policing in Großbritannien34 und in den Nieder-
76 FIfF-Kommunikation 1/24 landen35 zu Massenüberwachung, Fehlentscheidungen und Dis- gesetzt41. Jetzt tüftele die französische Regierung daran, das Ge- kriminierung führt. setz auf den letzten Metern im Rat zu stoppen, dafür bräuchte es aber mindestens vier Mitgliedstaaten42. Die Trilog-Einigung im Dezember sah noch vor, solche Sys- teme als Hochrisiko-Technologie zu kategorisieren und damit ih- Unmut gibt es auch aus Deutschland. So erwarte der digitalpoli- ren Einsatz unter Einschränkungen zu erlauben36. Nun steht im tische Sprecher der FDP-Fraktion, Maximilian Funke-Kaiser, laut Kompromisstext ein Verbot von Predictive Policing (Artikel 5(1), Tagesspiegel Background „von der Bundesregierung eine Ableh- (d)(iiia)). nung“, sollte es nicht zu Änderungen kommen. Aus den Reihen von SPD und Grünen gibt es dagegen Signale für eine Zustim- Konkret geht es dabei um die „Verwendung eines KI-Systems mung zur KI-Verordnung, etwa vom digitalpolitischen Sprecher zur Risikobewertung natürlicher Personen, um das Risiko einer der Grünen-Bundestagsfraktion, Maik Außendorf. Viele scheint natürlichen Person, eine Straftat zu begehen, zu bewerten oder die Aussicht abzuschrecken, mitten im KI-Hype plötzlich ohne vorherzusagen, und zwar ausschließlich auf Grundlage der Er- ein entsprechendes Gesetz dazustehen. stellung eines Profils einer natürlichen Person oder der Bewer- tung ihrer Persönlichkeitsmerkmale und Eigenschaften“. Geduld ist auf jeden Fall gefragt: Selbst wenn die KI-Verord- nung beschlossene Sache ist, vergehen dann noch zwei wei- Ungeachtet dieses Verbots ist jedoch damit zu rechnen, dass tere Jahre, bis die neuen Regeln vollständig angewandt wer- einzelne EU-Staaten diese Technologie mit Verweis auf die „na- den. tionale Sicherheit“ künftig dennoch einsetzen werden.
Nach wie vor hat die EU die Hoffnung, mit der KI-Verordnung ei- Quelle: https://netzpolitik.org/2024/grundrechte-in-gefahr- nen großen Wurf zu landen, immerhin arbeiten weltweit gerade die-sieben-quaelendsten-fragen-zur-ki-verordnung/ mehrere Staaten37 an ihren eigenen KI-Gesetzen. Die KI-Ver- ordnung sei „wegweisend“, schreibt etwa Europa-Abgeordnete Alexandra Geese (Grüne), sie enthalte wichtige Bestimmungen zum Schutz von Grundrechten. Anmerkungen 1 https://oeil.secure.europarl.europa.eu/oeil/popups/ficheprocedure.do Dahinter steckt auch die Annahme, dass die EU mit ihren Geset- ?reference=2021/0106(COD)&l=en zen andere Länder beeinflussen kann, der sogenannte Brüssel- 2 https://drive.google.com/file/d/1xfN5T8VChK8fSh3wUiYtRVOKIi9oIc Effekt38. „Die EU schreibt Geschichte“, heißt es auch vom Bünd- AF/view nis „Reclaim Your Face“ – allerdings mit dem bitteren Zusatz: 3 https://www.consilium.europa.eu/de/press/press-releases/ „aus den falschen Gründen“. 2023/12/09/artificial-intelligence-act-council-and-parliament-strike- a-deal-on-the-first-worldwide-rules-for-ai/ 4 https://www.spiegel.de/netzwelt/netzpolitik/matthias-spielkamp- 7. Lässt sich jetzt überhaupt noch etwas ändern? zum-ki-gesetz-riesenschritt-in-eine-ueberwachungsgesellschaft-a- 4802b72c-dcfa-4c83-80f0-81111bf7891b Ja, einiges. Sobald die KI-Verordnung verabschiedet sein wird, 5 https://germany.representation.ec.europa.eu/news/historischer- sind die Mitgliedstaaten wieder am Zug. Und die können man- moment-politische-einigung-zwischen-eu-parlament-und-rat-auf-ki- che Lücken zumindest innerhalb ihrer eigenen Grenzen stopfen. gesetz-2023-12-09_de Zur biometrischen Identifizierung heißt es in der Verordnung 6 https://edri.org/our-work/eu-ai-act-deal-reached-but-too-soon-to- ausdrücklich, Mitgliedstaaten können strengere Gesetze erlas- celebrate/ sen. Der Bundesdatenschutzbeaufragte schreibt: Die Bundesre- 7 https://netzpolitik.org/2023/ki-verordnung-schraffierte-rote-linien- gierung sollte diese Klausel nutzen. als-kompromiss/ 8 https://netzpolitik.org/2024/ki-verordnung-biometrische- Passend dazu steht im Koalitionsvertrag der Ampel-Regierung39: massenueberwachung-ohne-wenn-und-aber/ „Flächendeckende Videoüberwachung und den Einsatz von bio- 9 https://netzpolitik.org/2023/kw-19-die-woche-als-das-eu-parlament- metrischer Erfassung zu Überwachungszwecken lehnen wir ab. beim-ai-act-hoffnung-machte/ Das Recht auf Anonymität sowohl im öffentlichen Raum als 10 https://arxiv.org/abs/2204.07855 auch im Internet ist zu gewährleisten.“ 11 https://www.heise.de/news/Flaechenbrand-fuer-Buergerrechte- Liberale-kritisieren-KI-Verordnung-scharf-9606490.html Zunächst richtet sich der Blick aber auf die EU. Denn trotz der 12 https://twitter.com/ReclaimYourFace/status/1747970712525037623 Einigung im Trilog ist die KI-Verordnung noch nicht beschlos- 13 https://www.patrick-breyer.de/ki-gesetz-ai-act-droht- sen. Die Mitgliedstaaten im Rat und das Parlament müssen sie gesichtsueberwachung-zum-europaeischen-alltag-zu-machen/ noch verabschieden. In der Regel gibt es bei diesen Abstimmun- 14 https://privacyinternational.org/case-study/4166/how-facial- gen grünes Licht, da sich Parlament und Rat bereits zuvor geei- recognition-spreading-italy-case-como nigt haben. 15 https://netzpolitik.org/2023/vereinigtes-koenigreich-mit- gesichtserkennung-auf-jagd-nach-ladendieben/ In diesem Fall wollen zumindest manche nochmal an der Eini- 16 https://netzpolitik.org/2021/gesichtserkennung-polizei-verdoppelt- gung rütteln. Wie etwa Euractiv und Tagesspiegel Background zahl-identifizierter-personen-jaehrlich/ berichten40, ist Frankreich mit der Einigung nicht zufrieden. Das 17 https://netzpolitik.org/2018/kritik-an-g20-gesichtserkennung-als- Land hatte sich vehement für industriefreundlichere Regeln ein- neue-dimension-staatlicher-ermittlungs-und-kontrolloptionen/
FIfF-Kommunikation 1/24 77 18 https://netzpolitik.org/2019/datenschuetzer-scheitert-an-loeschung- 35 https://www.amnesty.org/en/documents/eur35/2971/2020/en/ biometrischer-g20-datenbank/ 36 https://netzpolitik.org/2023/ki-verordnung-schraffierte-rote-linien- 19 https://www.golem.de/news/gesichtserkennung-hamburger-polizei- als-kompromiss loescht-gesichtsdatenbank-2005-148780.html 37 https://www.bloomberg.com/news/articles/2023-10-30/ai- 20 https://web.archive.org/web/20240102105321/https://www.nytimes. regulation-what-biden-s-new-rules-might-mean-in-the-us com/2023/08/06/business/facial-recognition-false-arrest.html 38 https://www.stiftung-nv.de/en/publication/transcript-policy-debate- 21 https://netzpolitik.org/2023/ki-verordnung-die-wunschliste-der- brussels-effect-will-europes-ai-regulation-achieve-global mitgliedstaaten/ 39 https://www.bundesregierung.de/breg-de/service/gesetzesvorhaben/ 22 https://www.ft.com/content/c0b03d1d-f72f-48a8-b342- koalitionsvertrag-2021-1990800 b4a926109452 40 https://background.tagesspiegel.de/digitalisierung/ai-act-wer- 23 https://journals.sagepub.com/stoken/default+domain/10.1177% uebernimmt-in-deutschland-die-kontrolle 2F1529100619832930-FREE/pdf 41 https://www.euractiv.com/section/artificial-intelligence/news/behind- 24 https://netzpolitik.org/2021/eu-projekt-iborderctrl-kommt-der-lue- frances-stance-against-regulating-powerful-ai-models/ gendetektor-oder-kommt-er-nicht/ 42 https://www.consilium.europa.eu/de/council-eu/voting-system/ 25 https://algorithmwatch.org/de/transparenzregister-oeffentliche- qualified-majority/ verwaltung-2023/ 43 https://www.blaetter.de/ 26 https://eur-lex.europa.eu/resource.html?uri=cellar:2bf140bf-a3f8- 44 http://www.schmetterling-verlag.de/page-5_isbn-3-89657-068-4.htm 4ab2-b506-fd71826e6da6.0020.02/DOC_1&format=PDF 45 https://www.alternativer-medienpreis.de/preistraeger-2016/daniel- 27 https://netzpolitik.org/pega/ leisegang/ 28 https://netzpolitik.org/2023/pegasus-skandal-zieht-die- 46 https://www.eurozine.com/ samthandschuhe-aus/ 47 mailto:daniel@netzpolitik.org 29 https://algorithmwatch.org/de/wp-content/uploads/2023/09/ 48 https://keys.openpgp.org/search?q=daniel@netzpolitik.org Offener-Brief_28.09.23.pdf 49 https://mastodon.social/@dleisegang 30 https://background.tagesspiegel.de/digitalisierung/ai-act-wer- 50 https://bsky.app/profile/dleisegang.bsky.social uebernimmt-in-deutschland-die-kontrolle 51 https://missy-magazine.de/online-magazin/ 31 https://netzpolitik.org/2023/pimeyes-eu-koennte-gesichter- 52 https://keys.openpgp.org/search?q=0x5E598DD0D37B9F71A88DD92 suchmaschinen-verbieten/ 233D38859243016F9 32 https://netzpolitik.org/2024/automatisierte-datenanalyse-bei-der- 53 https://sebmeineck.substack.com/ polizei-bundeslaender-nicht-scharf-auf-palantir/ 54 mailto:sebastian%5Bat%5Dnetzpolitik.org 33 https://netzpolitik.org/2023/palantir-software-bayerische-polizei- 55 https://keys.openpgp.org/search?q=sebastian[at]netzpolitik.org testet-datamining-mit-echten-personendaten/ 56 https://sebastianmeineck.wordpress.com/kontakt/ 34 https://www.amnesty.org.uk/files/reports/Trapped in the Matrix 57 https://sebastianmeineck.wordpress.com/presse-kontakt/ Amnesty report.pdf 58 https://mastodon.social/@sebmeineck
Daniel Leisegang, Chris Köver und Sebastian Meineck
Daniel Leisegang ist Politikwissenschaftler und Co-Chefredakteur bei netzpolitik.org. Zuvor war er Redakteur bei den Blättern für deutsche und internationale Politik43. 2014 erschien von ihm das Buch Amazon – Das Buch als Beute44; 2016 erhielt er für seinen Beitrag Facebook rettet die Welt den Alternativen Medienpreis45 in der Rubrik Medienkritik. Daniel gehört dem Board of Trustees von Eurozine46 an. Kontakt: E-Mail47 (OpenPGP48), Mastodon49, Bluesky50, Threema ENU3SC7K, Telefon: +49-030-577148228 (Montag bis Freitag, jeweils 8 bis 18 Uhr).
Chris Köver ist seit 2018 Redakteurin von netzpolitik.org. Sie recherchiert unter anderem zu Digitaler Gewalt, so genannter Künstlicher Intelligenz und zur Migrationskontrolle. Bis 2014 war sie Chefredakteurin des Missy Magazine51. Kontakt: Mail chris@netzpolitik.org (PGP-Schlüssel52).
Sebastian Meineck ist Journalist und seit 2021 Redakteur bei netzpolitik.org. Zu seinen aktuellen Schwerpunk- ten gehören digitale Gewalt, Pornoseiten und Künstliche Intelligenz. Er interessiert sich besonders für Metho- den der Online-Recherche; darüber schreibt er einen monatlichen Newsletter53 und gibt Workshops an Univer- sitäten. Zu seinen vorigen Stationen gehören VICE (Senior Editor), Motherboard (Editor-in-chief), der SPIEGEL (Autor) und die Deutsche Journalistenschule München. Das Medium Magazin hat ihn 2020 zu einem der Top 30 unter 30 im Journalismus gekürt. Kontakt: E-Mail54 (OpenPGP55), Sebastian Hinweise schicken56 | Sebastian für O-Töne anfragen57 | Mastodon58.
78 FIfF-Kommunikation 1/24 Daniel Leisegang
KI-Verordnung erhält grünes Licht 2. Februar 2024 – Die EU-Mitgliedstaaten haben heute den Kompromisstext der KI-Verordnung bestätigt. Das größte Regelwerk der Welt für Künstliche Intelligenz wird damit wahrscheinlich noch vor den EU-Wahlen in Kraft treten – ungeachtet der breiten Kritik am gesetzgeberischen Prozess und an der drohenden Massenüberwachung.
Die Entscheidung war mit Spannung erwartet worden: Der Aus- schuss der stellvertretenden ständigen Vertreter der einzelnen EU-Mitgliedstaaten (AStV I1) hat heute mehrheitlich den end- gültigen Kompromisstext der KI-Verordnung bestätigt2. Damit wird die Verordnung nach drei Jahren Verhandlung sehr wahr- scheinlich noch vor den EU-Wahlen im Juni in Kraft treten.
Die Ausschussabstimmung geht dem Beschluss des EU-Rats vo- raus. Er setzt sich aus den zuständigen Minister:innen aller EU- Regierungen zusammen und hat die offizielle Entscheidungsbe- fugnis. Aller Voraussicht nach wird sich der Rat dem heutigen Wahlergebnis anschließen.
Deutsche und französische Regierung zögerten
Noch vor wenigen Tagen war ungewiss, ob der Ausschuss der Aber es gibt auch weiterhin deutliche Kritik. So beschreibt Kai Zen- Trilog-Einigung zustimmen wird. Erst am Dienstag gaben Bun- ner den gesetzgeberischen Prozess als „intransparent“ und „cha- desdigitalminister Volker Wissing (FDP) sowie das Justizministe- otisch“. Im Ergebnis sei die Verordnung „an vielen Stellen extrem rium unter Marco Buschmann (FDP) und das von Robert Habeck vage geworden, zum Teil auch fehlerhaft“, so der Büroleiter des (Grüne) geführte Wirtschaftsministerium die Entscheidung be- Europaabgeordneten Axel Voss (EVP) gegenüber heise online7. kannt: Die Bundesregierung werde der Verordnung zustimmen. Das Justiz- und das Wirtschaftsministerium sind bei der KI-Ver- Zum anderen warnen Fachleute davor8, dass die KI-Verordnung ordnung im Kabinett federführend. Das Digitalministerium ist in europaweit Massenüberwachung ermögliche. So kritisiert EDRi9, den Beratungen lediglich mit eingebunden. der Dachverband von Organisationen für digitale Freiheitsrechte in Europa, dass die Verordnung „das Ergebnis eines großen Wissing hatte sich zuvor für „innovationsfreundlichere“ Regeln ein- Machtungleichgewichts zwischen den EU-Institutionen“ sei. Die gesetzt und Verbesserungen für kleine und mittlere Unternehmen nationalen Regierungen und die Lobbys der Strafverfolgungsbe- gefordert. Der Minister kritisierte3 vor allem die unzureichende Re- hörden hätten sich gegen jene Kräfte durchgesetzt, „die das öf- gulierung kleinerer KI-Basismodelle und die aus seiner Sicht zu nied- fentliche Interesse und die Menschenrechte vertreten“. rigen Hürden für die nachgelagerte biometrische Überwachung. Auch AlgorithmWatch sieht die Einigung kritisch10. Der Kom- Auch die französische Regierung zeigte sich unzufrieden mit promiss offenbare „einen systemischen Fehler“ bei der EU-Ge- dem vorliegenden Entwurf. Sie strebte einen Aufschub der heu- setzgebung: „Die nationalen Regierungen und die Strafverfol- tigen Abstimmung um mindestens eine Woche an. Präsident gungslobby haben einen unverhältnismäßig großen Einfluss“, so Emmanuel Macron befürchtet – anders als Wissing – eine Über- Angela Müller, Policy- & Advocacy-Leiterin bei der Nichtregie- regulierung der Basismodelle und fordert laxere Regeln bei der rungsorganisation. Im Ergebnis lege die Verordnung zwar „wich- biometrischen Überwachung. tige grundlegende Transparenzpflichten fest“, ergänzt Müllers Stellvertreter Kilian Vieth-Ditlmann. Sie biete „aber keinen aus- Hätte sich die Bundesregierung im Vorfeld auf die Seite Frank- reichenden Schutz vor biometrischer Massenüberwachung“. reichs, Italiens und anderer kleiner EU-Länder wie Ungarn ge- schlagen, wäre das Gesetz wahrscheinlich gescheitert. Das Bündnis Reclaim your Face kritisiert ebenfalls11 den „ver- wässerten Schutz gegen die rückwirkende Gesichtserkennung“. Sie sei „eine weitere Enttäuschung in unserem Kampf gegen „Intransparenter“ und „chaotischer“ Prozess eine biometrische Überwachungsgesellschaft“.
Die Entscheidung für den KI-Entwurf wird von vielen Seiten be- grüßt. Bereits im Vorfeld hatte der Startup-Verband dafür ge- Nationalstaaten können Überwachung worben, die Verordnung anzunehmen4. Auch ein „Bündnis aus noch beschränken Wissenschaft, Thinktanks, Wirtschaft und Zivilgesellschaft“ sprach sich in einem von der Mercator-Stiftung initiierten offe- Auch Alexandra Geese, Digitalexpertin der Fraktion Greens/EFA nen Brief5 dafür aus. Ebenso befürwortete die Kultur-, Kreativ- und stellvertretende Fraktionsvorsitzende, ist nicht ganz zufrie- und Medienwirtschaft ein zustimmendes Votum6. den. Zwar setze die EU mit der KI-Verordnung „einen globalen
FIfF-Kommunikation 1/24 79 Standard für Künstliche Intelligenz, auf den auch die USA mit Anmerkungen großer Aufmerksamkeit schauen“. Zugleich sagte die EU-Abge- 1 https://www.consilium.europa.eu/de/council-eu/preparatory-bodies/ ordnete gegenüber netzpolitik.org, dass es nicht gelungen sei, coreper-i/ besonders grundrechtswidrige Anwendungen wie die biomet- 2 https://x.com/EU2024BE/status/1753428600542384290 rische Massenüberwachung „zu zähmen“. Dies müsse nun auf 3 https://www.handelsblatt.com/politik/international/ai-act-fdp- Ebene der Mitgliedstaaten geschehen. bremst-bei-deutscher-zustimmung-zum-europaeischen-ki- gesetz/100007879.html Diesen Plan verfolgt offenbar auch die FDP. Deren digitalpoliti- 4 https://startupverband.de/presse/pressemitteilungen/startup-verband- scher Sprecher Maximilian Funke-Kaiser fordert die Bundesre- appelliert-zur-annahme-des-eu-ai-acts-|-buettner-startups-wollen- gierung auf12, den Einsatz biometrischer Überwachung nun „so loslegen-und-loesungen-entwickeln”-29-01-2024/ weit wie möglich“ auf nationaler Ebene einzuschränken. 5 https://www.ai-act-verabschieden.de/ 6 https://urheber.info/diskurs/offener-brief-an-bundesregierung Nachdem der EU-Rat über die Verordnung abgestimmt hat, 7 https://www.heise.de/news/Interview-zum-AI-Act-Zustimmung-trotz- muss voraussichtlich bis April noch das Parlament in den zu- teils-chaotischer-Zustaende-9613817.html ständigen Ausschüssen und im Plenum abschließend den fina- 8 https://netzpolitik.org/2024/grundrechte-in-gefahr-die-sieben-quae- len Gesetzestext verabschieden. Erst dann wird dieser im Amts- lendsten-fragen-zur-ki-verordnung/ blatt der EU veröffentlicht, womit er in Kraft tritt. Bis die neuen 9 https://edri.org/our-work/council-to-vote-on-eu-ai-act-whats-at- Regeln vollständig angewandt werden, vergehen zwei weitere stake/ Jahre. 10 https://algorithmwatch.org/de/pressemitteiling-tritt-die-ki- verordnung-jetzt-endlich-bald-in-kraft/ 11 https://reclaimyourface.eu/eu-ai-act-will-fail-commitment-to-ban- Quelle: https://netzpolitik.org/2024/eu-rat-ki-verordnung- biometric-mass-surveillance/ erhaelt-gruenes-licht/ 70 https://www.handelsblatt.com/politik/international/ai-act-fdp- bremst-bei-deutscher-zustimmung-zum-europaeischen-ki- gesetz/100007879.html
Autoreninfo siehe Seite 78
Constanze Kurz
Kompetent, aber trotzdem abserviert 26. Januar 2024 – Seine Diskussionsbeiträge fanden im politischen Berlin kein Gehör: Der außerhalb der Ampel weithin angesehene Bundesdatenschutzbeauftragte wird keine zweite Amtszeit bekommen. Ein Kommentar.
Schon bevor seine reguläre Amtszeit am 7. Januar endete, war Mussten sie vielleicht auch gar nicht: Allein das Pochen auf die klar: Der aktuell noch amtierende Bundesdatenschutzbeauf- Durchsetzung geltenden Rechts und die Ermahnung zur Einhal- tragte Ulrich Kelber wird keine zweite Runde laufen. Eine Wie- tung höchstrichterlicher Vorgaben gilt so mancher Innenminis- derwahl hat die SPD-Fraktion ihrem Parteigenossen nicht er- terin und manchem Gesundheitspolitiker offenbar schon als Zu- möglicht. mutung. Das Bundesinnenministerium entblödete sich in Fragen der Informationsfreiheit nicht einmal, Kelber zu verklagen2. Kelber ist seit 2019 Behördenchef, er und seine Leute füllen wichtige Kontrollfunktionen aus und sind auch der Anlauf- punkt für die anderen europäischen Datenschützer. Sie sind in Techniker an der Spitze Deutschland zugleich eine vernehmbare Stimme der datenpoliti- schen Vernunft, die öffentlich für den Datenschutz und auch die Dass Kelber als Informatiker auch technisch durchblickt, hat Informationsfreiheit spricht, die Expertise in politische Prozesse er vielen seiner Jura- und Politkollegen voraus. Für das Daten- einbringt und die nicht selten einfach nur auf das gern ignorierte schutzfeld ist eine starke Verrechtlichung typisch, die sich aus geltende Recht pocht und es erläutert. der Geschichte der Entstehung des Grundrechts auf informati- onelle Selbstbestimmung erklärt. Kelbers Haus ist entsprechend Natürlich nervt das die Regierenden ab und an, aber als allzu aufgestellt. Doch ein Techniker an der Spitze hat offenkundig anstrengend gilt Kelber nicht. Als früherer Profi-Politiker mehr genutzt als geschadet, wenn man Kelbers Wortmeldun- wusste er recht gut, bei welchen politischen Schmerzpunkten gen zur Chatkontrolle („muss unbedingt unterbleiben“3) oder er besser nur leise poltert, auch mal strategisch verschleppt1 generell zur Digitalisierung betrachtet, die auch technisch gut oder aber schweigt. Er saß für die SPD fast zwei Jahrzehnte im begründet sind. Bundestag. Allzu radikale Forderungen kamen ihm nicht über die Lippen. Doch der außerhalb der Ampel angesehene Bundesdatenschutz- beauftragte redete oft gegen eine Wand: Auf datenschutzpoliti-
80 FIfF-Kommunikation 1/24 sche Debatten reagierte die Bundesregierung – und Olaf Scholz Kompetenz scheint kein bedeutsames Kriterium mehr zu sein, sowieso – mit viel Schweigen, ansonsten häufig mit sich wider- zumindest nicht für die Datenschutz-Ignoranten in der SPD- sprechenden Positionen: Justizminister Marco Buschmann (FDP) Fraktion. Falls die Ampel bei der obersten Datenschutz-Auf- ist gegen die Vorratsdatenspeicherung, Innenministerin Nancy sichtsbehörde für die nächste fünfjährige Amtszeit nun jeman- Faeser (SPD) möchte sie mindestens teilweise wieder einführen. den ins Auge fassen sollte, der wegen politischen Kuhhandels Das Bild der Ampel-Regierung, die sich in nichts einig ist, war versorgt werden muss, dann würde sie dem Amt enorm scha- auch beim Datenschutz stimmig. Nur bei der Ökonomisierung den. Die Frage könnte aber sein, ob sich überhaupt noch jemand der Gesundheitsdaten und beim E-Rezept4 war man sich in der von datenschutzpolitischem Format für die Neubesetzung des Ampel weitgehend einig, dass Datenschutzfragen und IT-Risi- Postens findet. Denn der unrühmliche Abgang und die unan- ken gemeinschaftlich kleingeredet oder ignoriert gehören. gemessene Behandlung von Kelber muss ohne Zweifel jene ab- schrecken, die für solch ein Amt qualifiziert wären. Nach seinem Amtsantritt setzte Kelber neben der politischen Rechtsberatung in allen datenrelevanten Feldern auch ganz praktische Akzente, indem er sich von den von der Bundesre- Quelle: https://netzpolitik.org/2024/ulrich-kelber-kompetent- gierung hofierten kommerziellen sozialen Netzwerken ablöste aber-trotzdem-abserviert/ und auf Mastodon einließ. Schon 2020 eröffnete der Bundes- datenschutzbeauftragte die Mastodon-Instanz bund.social5, wo interessierte Behörden Accounts bekommen können. Der Da- Anmerkungen tenschutzbeauftragte rieb der Bundesregierung zugleich gern 1 https://netzpolitik.org/2022/die-software-ist-███████-███████-██████/ unter die Nase, dass es nicht mit der Datenschutzgrundverord- 2 https://netzpolitik.org/2020/bundesrepublik-vs-bundesrepublik- nung vereinbar sei, wenn Bundesbehörden weiterhin Fanpages innenministerium-verklagt-bundesdatenschutzbeauftragten/ auf Facebook betreiben würden6. 3 https://www.heise.de/news/Bundesdatenschuetzer-Kelber-mahnt- Bundesregierung-und-kritisiert-EU-Kommission-7547153.html Seine Diskussionsbeiträge wurden auch ohne Kommerzplattfor- 4 https://www.bfdi.bund.de/SharedDocs/Pressemitteilungen/ men zweifelsohne gelesen – auch im politischen Berlin. Er zeigte DE/2022/12_E-Rezept.html sich bei Mastodon als klares Gegenmodell zu seiner desaströsen 5 https://social.bund.de/ Vorgängerin Andrea Voßhoff (CDU)7: kompetent, diskussions- 6 https://netzpolitik.org/2021/druck-vom-bundesdatenschutzbeauftragten- freudig, sich aktuell zielsicher positionierend, manchmal nerdig, facebook-seiten-der-bundesbehoerden-sollen-in-die-tonne/ auch humorvoll. 7 https://www.faz.net/aktuell/feuilleton/aus-dem-maschinenraum/ andrea-vosshoff-versagt-als-datenschutzbeauftragte-13269359.html? printPagedArticle=true#pageIndex_2 Postengefeilsche 8 https://www.bfdi.bund.de/SharedDocs/Downloads/DE/ Taetigkeitsberichte/31TB_22.pdf?__blob=publicationFile&v=7 Völlig zu Recht kritisierte Kelber in seinem letzten Tätigkeitsbe- 9 https://netzpolitik.org/2023/digitalisierung-und-datenschutz-schluss- richt8, dass „der Datenschutz bei vielen Projekten erst sehr spät mit-ausreden/ mitbedacht und eingebunden wird“. Insbesondere das Innen- 10 https://de.wikipedia.org/wiki/Constanze_Kurz ministerium dürfte sein Haus nur ungern und spät einbezogen 11 https://nowyouknow.eu/ haben. Das aber führe zu „unnötigen Verzögerungen und Ver- 12 http://gewissensbits.gi.de/constanze-kurz/ teuerungen im Größenbereich von Jahren und Millionen Euro“. 13 https://www.randomhouse.de/Buch/Cyberwar-Die-Gefahr-aus-dem- Jeder, der sich in dem Bereich Datenschutz auskennt, kann dafür Netz/Constanze-Kurz/C.-Bertelsmann/e537921.rhd Beispiele nennen9, die erstaunlich oft auch mit IT-Sicherheitsri- 14 http://www.faz.net/aktuell/feuilleton/aus-dem-maschinenraum/ siken einhergehen. 15 https://wirsindderosten.de/menschen/constanze-kurz/ 16 https://www.youtube.com/watch?v=hj3gAsqrB18 In der Ampel aber wird die Wichtigkeit des Datenschutzes er- 17 http://www.ev-akademie-tutzing.de/toleranz-preis-fuer-christian- neut dem Postengefeilsche und Ämterkarussell untergeordnet. wulff-und-constanze-kurz/ Der erfolgreiche Amtsinhaber ist abserviert. 18 https://keys.openpgp.org/vks/v1/by-fingerprint/58ACBDA9D67D462 D249605444A13B8EE269F8A45
Constanze Kurz
Constanze Kurz10 ist promovierte Informatikerin, Autorin und Herausgeberin11 von Büchern12, zuletzt Cyberwar13. Ihre Kolumne Aus dem Maschinenraum14 erschien von 2010 bis 2019 im Feuilleton der FAZ. Sie lebt in Berlin15 und ist ehrenamtlich Sprecherin16 des Chaos Computer Clubs. Sie war Sachverständige der Enquête-Kommission Internet und digitale Gesellschaft des Bundestags. Sie erhielt den Toleranz-Preis17 für Zivilcourage und die Theodor-Heuss-Medaille. Kontakt: constanze(at)netzpolitik.org (PGP18). Foto: Heike Huslage-Koch, CC BY-SA 4.0
FIfF-Kommunikation 1/24 81 Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung
Im FIfF haben sich rund 700 engagierte Frauen und Männer aus Entwicklungen und innovativen Konzepten für eine verträgliche Lehre, Forschung, Entwicklung und Anwendung der Informatik Informationstechnik. In vielen Städten gibt es regionale An- und Informationstechnik zusammengeschlossen, die sich nicht nur sprechpartnerInnen oder Regionalgruppen, die dezentral The- für die technischen Aspekte, sondern auch für die gesellschaft- men bearbeiten und Veranstaltungen durchführen. Jährlich lichen Auswirkungen und Bezüge des Fachgebietes verantwortlich findet an wechselndem Ort eine Fachtagung statt, zu der Teil- fühlen. Wir wollen, dass Informationstechnik im Dienst einer le- nehmerInnen und ReferentInnen aus dem ganzen Bundesgebiet FIfF e.V.
benswerten Welt steht. Das FIfF bietet ein Forum für eine kritische und darüber hinaus anreisen. Außerdem beteiligt sich das FIfF und lebendige Auseinandersetzung – offen für alle, die daran mit- regelmäßig an weiteren Veranstaltungen, Publikationen, vermit- arbeiten wollen oder auch einfach nur informiert bleiben wollen. telt bei Presse- oder Vortragsanfragen ExpertInnen, führt Stu- dien durch und gibt Stellungnahmen ab etc. Das FIfF koope- Vierteljährlich erhalten Mitglieder die Fachzeitschrift FIfF-Kom- riert mit zahlreichen Initiativen und Organisationen im In- und munikation mit Artikeln zu aktuellen Themen, problematischen Ausland.
FIfF online FIfF-Mailinglisten
Das ganze FIfF FIfF-Mailingliste www.fiff.de An- und Abmeldungen an: Twitter FIfF e.V. – @FIfF_de https://lists.fiff.de Beiträge an: fiff-L@lists.fiff.de Cyberpeace cyberpeace.fiff.de FIfF-Mitgliederliste Twitter Cyberpeace – @FIfF_AK_RUIN An- und Abmeldungen an: https://lists.fiff.de Faire Computer blog.faire-computer.de Twitter Faire Computer – @FaireComputer
Mitglieder-Wiki https://wiki.fiff.de
FIfF-Beirat FIfF-Vorstand Ute Bernhardt (Berlin); Peter Bittner (†); Dagmar Boedicker Stefan Hügel (Vorsitzender) – Frankfurt am Main (München); Dr. Phillip W. Brunst (Köln); Prof. Dr. Christina Rainer Rehak (stellv. Vorsitzender) – Berlin Claß (Jena); Prof. Dr. Wolfgang Coy (Berlin); Prof. Dr. Wolf- Michael Ahlmann – Kiel / Blumenthal gang Däubler (Bremen); Prof. Dr. Christiane Floyd (Berlin); Gilbert Assaf – Berlin Prof. Dr. Klaus Fuchs-Kittowski (Berlin); Prof. Dr. Michael Grütz Alexander Heim – Berlin (München); Prof. Dr. Thomas Herrmann (Bochum); Prof. Dr. Sylvia Johnigk – München Wolfgang Hesse (München); Prof. Dr. Wolfgang Hofkirch- Prof. Dr. Hans-Jörg Kreowski – Bremen ner (Wien); Prof. Dr. Eva Hornecker (Weimar); Werner Hüls- Kai Nothdurft – München mann (München); Ulrich Klotz (Frankfurt am Main); Prof. Dr. Prof. Dr. Britta Schinzel – Freiburg im Breisgau Klaus Köhler (Mannheim); Prof. Dr. Jochen Koubek (Bayreuth); Dr. Friedrich Strauß – München Dr. Constanze Kurz (Berlin); Prof. Dr. Klaus-Peter Löhr (Ber- Prof. Dr. Werner Winzerling – Fulda lin); Prof. Dr. Dietrich Meyer-Ebrecht (Aachen); Werner Mühl- Margita Zallmann – Bremen mann (Calau); Prof. Dr. Frieder Nake (Bremen); Prof. Dr. Rolf Oberliesen (Paderborn); Prof. Dr. Arno Rolf (Hamburg); Prof. Dr. Alexander Rossnagel (Kassel); Ingo Ruhmann (Berlin); Prof. FIfF-Geschäftsstelle Dr. Gerhard Sagerer (Bielefeld); Prof. Dr. Gabriele Schade (Er- furt); Ralf E. Streibl (Bremen); Prof. Dr. Marie-Theres Tinnefeld Ingrid Schlagheck (Geschäftsführung) – Bremen (München); Dr. Gerhard Wohland (Mainz); Prof. Dr. Eberhard Anne Schnerrer – Berlin Zehendner (Jena) Benjamin Kees – Berlin
82 FIfF-Kommunikation 1/24 Impressum Aktuelle Ankündigungen (mehr Termine unter www.fiff.de) Herausgeber Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung e. V. (FIfF) FIfF-Konferenz 2024 – „Nachhaltigkeit in der IT Verlagsadresse FIfF-Geschäftsstelle green coding – open source – green by IT“ Goetheplatz 4 25.–27. Oktober 2024 Hochschule Bremerhaven D-28203 Bremen FIfF-Kommunikation
impressum Tel. (0421) 33 65 92 55 fiff@fiff.de 2/2024 „40 Jahre FIfF – Denkwürdige Zeiten“ Michael Ahlmann, Stefan Hügel, Hans-Jörg Kreowski und Erscheinungsweise vierteljährlich Ralf E. Streibl Erscheinungsort Bremen Redaktionsschluss: 3. Mai 2024 ISSN 0938-3476 3/2024 „Datenschutz“ Auflage 1 300 Stück Jörg Pohle, Stefan Hügel Redaktionsschluss: 2. August 2024 Heftpreis 7 Euro. Der Bezugspreis für die FIfF-Kommu- nikation ist für FIfF-Mitglieder im Mitglieds- Zuletzt erschienen: beitrag enthalten. Nichtmitglieder können 1/2023 #FIfFKon22 die FIfF-Kommunikation für 28 Euro pro Jahr 2/2023 Mensch – Gesellschaft – Umwelt ... und Informatik (inkl. Versand) abonnieren. 3/2023 IT-Gestaltung für Gute Arbeit Hauptredaktion Dagmar Boedicker, Stefan Hügel (Koordina- 4/2023 Wissenschaft für den Frieden tion), Sylvia Johnigk, Hans-Jörg Kreowski, Dietrich Meyer-Ebrecht, Ingrid Schlagheck W&F – Wissenschaft & Frieden Schwerpunktredaktion Hans-Jörg Kreowski und Margita Zallmann 1/23 Jenseits der Eskalation V.i.S.d.P. Stefan Hügel 2/23 Klimakrise 3/23 Gesellschaft in Konflikt Retrospektive Beiträge für diese Rubrik bitte per E-Mail an 4/23 40 Jahre Wissenschaft & Frieden redaktion@fiff.de 1/24 Konflikte im „ewigen“ Eis Lesen, SchlussFIfF Beiträge für diese Rubriken bitte per E-Mail an redaktion@fiff.de vorgänge – Zeitschrift für Bürgerrechte und Gesellschaftspolitik Layout Berthold Schroeder, München #241 Demokratie und Rechtsstaat verteidigen Cover Bildmaterial: Depositphotos #242 Künstliche Intelligenz Autor abidal, ID 275369004 #243 Kritische Kriminalpolitik Druck Girzig+Gottschalk GmbH, Bremen #244 Identitätspolitik Heftinhalt auf 100 % Altpapier gedruckt.
DANA – Datenschutz-Nachrichten 1/23 Europäische Entwicklungen 2/23 Europäische Entwicklungen, Teil 2 3/23 Whistleblowing 4/23 Internet der Dinge 1/24 DSGVO und BDSG und Datenschutzaufsicht 2/24 Gesundheitsdaten
Die FIfF-Kommunikation ist die Zeitschrift des „Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung e. V.“ (FIfF). Die Bei- Das FIfF-Büro träge sollen die Diskussionen unter Fachleuten anregen und die inter- Geschäftsstelle FIfF e. V. essierte Öffentlichkeit informieren. Namentlich gekennzeichnete Artikel Ingrid Schlagheck (Geschäftsführung) geben die jeweilige Autor:innen-Meinung wieder. Goetheplatz 4, D-28203 Bremen Tel.: (0421) 33 65 92 55, Fax: (0421) 33 65 92 56 Die FIfF-Kommunikation ist das Organ des FIfF und den politischen E-Mail: fiff@fiff.de Zielen und Werten des FIfF verpflichtet. Die Redaktion behält sich vor, in Die Bürozeiten finden Sie unter www.fiff.de Ausnahmefällen Beiträge abzulehnen. Bankverbindung Nachdruckgenehmigung wird nach Rücksprache mit der Redaktion in Bank für Sozialwirtschaft (BFS) Köln der Regel gern erteilt. Voraussetzung hierfür sind die Quellenangabe Spendenkonto: und die Zusendung von zwei Belegexemplaren. Für unverlangt einge- IBAN: DE79 3702 0500 0001 3828 03 sandte Artikel übernimmt die Redaktion keine Haftung. BIC: BFSWDE33XXX
Wichtiger Hinweis: Wir bitten alle Mitglieder und Abonnent:innen, Kontakt zur Redaktion der FIfF-Kommunikation: Adressänderungen dem FIfF-Büro möglichst umgehend mitzuteilen. redaktion@fiff.de
FIfF-Kommunikation 1/24 83 Schluss
Hans-Jörg Kreowski
FIfFKon23 poetisch – Kostprobe Das Programm von FIfFKon23 poetisch bestand aus Gedichten von Ernst Jandl und Kurt Schwitters sowie drei eigenen. Zu einem davon hat mich das 1-Satz-Statement inspiriert, das Ende Mai 2023 veröffentlicht wurde und von einer langen Reihe bekannter Vertreter:innen der einschlägigen IT-Konzerne und teils be- rühmter KI-Fachleute unterzeichnet ist. In meiner Übersetzung lautet es:
„Das Risiko der Ausrottung (der Menschheit) durch KI zu mindern, sollte eine globale Priorität sein neben anderen weltweiten gesellschaftlichen Risiken wie Pandemien und Atomkrieg.“
Ob diese Warnung vor den Gefahren der KI berechtigt ist oder nicht, wird das FIfF wie schon in der Ver- gangenheit sicherlich noch lange beschäftigen. Sie muss auf jeden Fall ernst genommen werden. Ich habe mich beim Lesen allerdings gleich gefragt, was diese Leute zu ihrer Mahnung bewogen hat: Ein- sicht? Ernste Sorge? Kenntnisse, die sich noch nicht herumgesprochen? Langeweile? Wenn sie recht da- mit haben, dass die aufkommenden und absehbaren KI-Systeme die Existenz der Menschheit bedrohen, dann könnten all die vielen Verantwortlichen aus den großen IT-Konzernen, die unterschrieben haben, die Entwicklungen stoppen, die Milliardeninvestitionen in gesellschaftlich nützliche Anwendungen um- lenken, die existierenden, als gefährlich eingestuften Systeme abschalten und die gigantischen Daten- sammlungen, ohne die die inkriminierten Anwendungen gar nicht möglich wären, löschen oder unzu- gänglich machen. Was hindert sie? Das Gedicht thematisiert die Möglichkeit der aktiven Verweigerung:
Informatiker:innen, Ihr müsst nicht mitdrehen an der Rüstungsspirale, beitragen zur Optimierung des Kriegsgeschäfts, soziale Überwachungstechnik entwickeln, Profit- und Machtgier befördern, mithelfen bei Natur- und Umweltzerstörung – Ihr müsst nicht.
Geeignete Texte für den SchlussFIfF bitte mit Quellenangabe an redaktion@fiff.de senden.