Wissen
International

Wie aus Online-Trollen Massenmörder werden

Internet-Troll, Online-Troll (Symbolbild)
Vom Meme zum Hass: Erstaunlich unspektakuläre Radikalisierungskarriere im Internet. Bild: Shutterstock

Aus den Tiefen des Internets – wie aus Online-Trollen Massenmörder werden

08.08.2019, 09:2009.08.2019, 06:32
marko kovic
Mehr «Wissen»

Terrorismus im Allgemeinen, rechtsextremistisch motivierte Terroranschläge im Besonderen, sind leider altbekannte Phänomene. In den letzten Jahren ist aber eine ungewöhnliche neue Form des rechtsextremistischen Terrors in Erscheinung getreten: Einzel-Attentäter, die nicht in eine Neonazi-Terrorzelle oder dergleichen eingebunden sind, sondern ihren extremistischen Ansichten in den Alt-Right-Ecken des Internets frönen und irgendwann beschliessen, auf eigene Faust einen Anschlag durchzuführen.

Einige Beispiele für diese neue Form rechtsextremistischer Terroranschläge sind die Anschläge in El Paso, USA, im August 2019; in Gilroy, USA, im Juli 2019; in Dallas, USA, im Juni 2019; in Poway, USA, im April 2018; in Christchurch, Neuseeland, im März 2019; oder in Pittsburgh, USA, im Oktober 2018.

Wie kommt es dazu? Im Einzelfall dürften zahlreiche Faktoren eine Rolle spielen, und eine lückenlose Kausalkette ist für Einzelfälle nur schwer rekonstruierbar. Es gibt aber zunehmend Evidenz, dass diese neuen rechtsextremen Terroristen eine fast erstaunlich unspektakuläre Radikalisierungskarriere im Internet durchmachen: Von schweigenden Beobachtern über Meme-verbreitende Trolle bis hin zu hasserfüllten Extremisten.

Hintergrund zu den Anschlägen:

Marko Kovic
Bild: zVg
Dr. phil. Marko Kovic ist Präsident von ZIPAR – Zurich Institute of Public Affairs Research. Zudem ist er CEO der Beraterfirma ars cognitionis.

Die Radikalisierungspipeline und die doppelte Filterblase

Der Start der Radikalisierungskarriere im Internet sind oft «normale» Mainstream-Plattformen wie zum Beispiel YouTube. YouTube und andere quasi-öffentliche Plattformen machen es einerseits möglich, unsere eigenen Ideen und Meinungen öffentlich kundzutun, und sie machen es handkehrum auch möglich, mit Meinungen und Ideen in Kontakt zu kommen, mit denen wir ohne das Internet nicht in Kontakt kämen. Das ist im Grunde durchaus positiv, denn der öffentliche Diskurs wird damit bereichert. Das Problem an der Sache ist aber die doppelte Filterblase; der Boden der Realität, auf dem das naive Ideal einer breiten Internet-Öffentlichkeit knallhart aufschlägt.

Bei YouTube führen verhältnismässig harmlose Inhalte über wenige Umwege zu extremistischen Inhalten – und zwar ganz ohne dass der Nutzer aktiv nach diesen extremistischen Inhalten sucht.

Die erste wichtige Filterblase ist algorithmischer Natur. YouTube und ähnliche Plattformen sind keine journalistischen Medien, die Inhalte sorgfältig herstellen oder kuratieren. Die Inhalte stellen andere her und YouTube und Co. verdienen Geld, wenn die Inhalte konsumiert werden. Bei YouTube und Co. fehlen also einerseits ganz grundsätzlich jegliche Qualitätsstandards, und andererseits ist das kommerzielle Ziel von YouTube und Co., dass möglichst viele Menschen auf möglichst viele Inhalte wie zum Beispiel Videos klicken.

YouTube und Co. überlassen dabei wenig dem Zufall. Bei YouTube beispielsweise werden thematisch ähnliche Videos zu jenem, das man gerade schaut, automatisch vorgeschlagen, und nach dem Ende des aktuellen Videos beginnt das nächste automatisch abzuspielen. Diese algorithmische Filterblase hat durchaus etwas Positives für uns als Konsumentinnen und Konsumenten: Wenn wir etwas konsumieren, was uns gefällt, wollen wir mehr davon. Bei politischen Inhalten ist die Kehrseites dieser Filterblase aber, dass wir tendenziell nicht mit Gegenargumenten und anderen Sichtweisen konfrontiert werden, sondern stattdessen immer nur das Gleiche in immer zugespitzter Form zu sehen kriegen.

Das ist nicht nur Spekulation. Für YouTube haben die Forscher Jonas Kaiser und Adrian Rauchfleisch im Rahmen einer Studie festgestellt, dass verhältnismässig harmlose Inhalte über wenige Umwege zu extremistischen Inhalten führen – und zwar ganz ohne dass die Nutzerin oder der Nutzer aktiv nach diesen extremistischen Inhalten sucht. Auch die «New York Times» kam im Juni 2019 in einer vertieften Analyse einer einzelnen Radikalisierungs-Biografie zu einem ähnlichen Schluss.

«Red Pilling»: Die Radikalisierten glauben, die metaphorische rote Pille ausgewählt zu haben, dank derer sie die Welt nun endlich sehen, wie sie wirklich ist.

Die zweite wichtige Filterblase ist kognitiver Natur. Sobald wir von etwas angetan sind und daran glauben (wollen), suchen wir verstärkt nach Informationen, die das, was wir glauben, bestätigen, und wir ignorieren Informationen, die uns zum überdenken anregen könnten. Diese Tendenz ist der berühmte Confirmation Bias (Bestätigungsfehler).

Die Kombination der algorithmischen mit der kognitiven Filterblase kann zur Konsequenz haben, dass sich extremistische Ansichten verfestigen. Genau zu quantifizieren, ab wann das der Fall ist, ist schwierig. Betroffene Radikalisierte selber beschreiben diesen Moment aber stolz als «Red Pilling»: In Anspielung an Neo aus dem Film «The Matrix» glauben die Radikalisierten, die metaphorische rote Pille ausgewählt zu haben, dank derer sie die Welt nun endlich sehen, wie sie wirklich ist.

Pillenszene in «Matrix» (1999).Video: YouTube/Aviad Meshel

Im Zuge dieses «Red Pilling» strecken Betroffene tendenziell auch die Fühler auf andere Plattformen und Kanäle aus, wie zum Beispiel Subreddits auf Reddit, BitChute (eine beliebte YouTube-Alternative in rechtsextremistischen Kreisen), Gab (eine Art Twitter mit der Extraportion Hass), diverse Server auf dem Chat-Dienst Discord und nicht zuletzt Imageboards wie 4chan oder 8chan.

Enthemmung und Grenzüberschreitung als Kulturtechnik

Wer sich in das moderne rechtsextremistische Alt-Right-Ökosystem im Internet wagt, könnte erwarten, einfach eine Ansammlung von Neonazis anzutreffen, die Nazi-Parolen von sich geben. Weit gefehlt: Alt-Right-Plattformen sind voller Memes, Shitposting und Mal dummer, Mal lustiger Witze – keine organisierten Skinheads, die sich umfassend und detailliert austauschen, sondern eine Ansammlung von Trollen und Provokateuren, die Spass daran haben, zu provozieren. Alles trieft vor Sarkasmus, niemand nimmt sich vordergründig allzu ernst, und die Meme-Dichte ist enorm hoch.

Diese neue Online-Welt ist weit weg von «klassischem» Extremismus und wirkt fast schon einladend. Kein Wunder: Die allgemeine Meme-Kultur hat ihren Ursprung auf Plattformen wie 4chan, die heute zu den Dreh- und Angelpunkten der Online-Radikalisierung gehören. Die Bildsprache, die wir von Seiten wie 9gag und Bored Panda (und watson) kennen und lieben, wurde dort erfunden, wo sich heute radikalisierte Shitposter tummeln. Wer ein sarkastisches Meme auf 9gag «lesen» kann, versteht damit also automatisch die Sprache der rechtsextremistischen Online-Trolle auf 4chan und dergleichen.

Ein zentrales Merkmal der Alt-Right-Online-Sphäre ist die gezielte Grenzüberschreitung: Es geht darum, möglichst extreme Ansichten auf möglichst extreme Art zu vertreten.

Fast niemand hat Kontakt zu «altmodischen» Neonazis, egal, ob online oder offline, weil diese in mehrfacher Hinsicht eine ganz andere Sprache als Nicht-Nazis sprechen. Neonazis bleiben in der Regel unter sich. Auf Reddit und 4chan inmitten von Memes hingegen fühlen wir uns auf Anhieb wie zuhause, weil wir die sonderbaren Kommunikationsformen ganz intuitiv und mühelos decodieren können.

Washington, D.C., USA. 12 Aug 2018. White nationalist protestors headed to the Unite the Right protest are escorted through the streets of Washington, D.C. by police as counterprotestors look on.
Rechtsextreme Demonstranten 2018 in Washington D.C.; im Hintergrund Gegendemonstranten. Bild: Shutterstock

In ihrem Buch «Kill all Normies» beschreibt Angela Nagle, dass ein zentrales Merkmal der Alt-Right-Online-Sphäre die gezielte Grenzüberschreitung ist: Alle Gepflogenheiten des zivilisierten Diskurses werden über Bord geworfen, und stattdessen geht es darum, möglichst extreme Ansichten auf möglichst extreme Art zu vertreten. Rassismus wird zum Meme, Memes werden zu unhinterfragten «Fakten», und allfällige Gegenargumente werden mit noch mehr Memes (und derben Beleidigungen) weggespült.

Die Echokammer in unserem Kopf

Das alles mag halbwegs plausibel, aber gleichzeitig auch irgendwie absurd klingen: Glauben wir wirklich einfach so Dinge, denen wir online ausgesetzt sind? Sind wir nicht rational genug, um rassistische Videos und rassistische Memes als solche zu erkennen? Die Realität der menschlichen Kognition ist ernüchternd. Wir sind zwar alle in der Lage, kritisch zu denken und rational zu entscheiden – aber vor der kognitiven Zermürbung, welche die Radikalisierungs-Pipeline darstellt, kapituliert unser Denkapparat.

Ein zentraler Effekt der Radikalisierungs-Pipeline ist Habituation. Das, was im normalen gesellschaftlichen Diskurs geächtet und scharf kritisiert wird, ist in der Alt-Right-Welt nicht nur erlaubt, sondern der gewünschte Status Quo. Das erste Mal zu lesen, dass Schwarze keine richtigen Menschen seien, schockiert. Beim hundertsten Mal ist es nur noch trivial. Mehr noch: Es wird zum vermeintlichen Faktum. Unser Gehirn hat nämlich die Tendenz, Dinge als wahr zu erachten, denen wir wiederholt ausgesetzt sind – ganz egal, ob es für die Behauptung wirklich Evidenz gibt, und ganz egal, woher die Aussagen kommen. Das ist der berühmte «illusorische Wahrheitseffekt».

Der Massenmord wird zu einer regelrechten Banalität; mehr Spiel und Meme als das Zufügen von unermesslichem Leid.

Ein weiterer Mechanismus der Radikalisierungs-Pipeline ist eine Dynamik der Dehumanisierung oder Entmenschlichung. Entmenschlichung – der Prozess, Individuen oder Angehörigen anderer Gruppen als der eigenen menschliche Eigenschaften abzusprechen – ist weit verbreitet. Für subtile Formen der Entmenschlichung sind wir alle anfällig (Wenn du wählen müsstest: Würdest du lieber einem Familienmitglied einen Stromschlag verpassen, oder zwei unbekannten Leuten in China?). Die Entmenschlichung im Rahmen der Radikalisierungs-Pipeline ist aber eine explizite, unumwundene und krasse.

Und diese Form der Entmenschlichung ist der Nährboden nicht nur für entsprechend extremistische Einstellungen, sondern auch für die Akzeptanz von Gewalt gegenüber den Mitgliedern der entmenschlichten Gruppen. Bei der neuen Form der rechtsextremen Terroranschläge zeigt sich die Folge dieser Entmenschlichung ganz deutlich. Der Massenmord wird zu einer regelrechten Banalität; mehr Spiel und Meme als das Zufügen von unermesslichem Leid.

Reale Konsequenzen surrealer Weltbilder

Das Forscherduo William und Dorothy Thomas hat es bereits 1928 treffend festgehalten: Wenn Menschen sich ein (völlig wirres) subjektives Weltbild zusammenschustern, hat dieses Weltbild trotzdem reale Konsequenzen. Die Radikalisierungs-Karriere hin zum hasserfüllten Online-Extremisten mag in einem totalen Zerrbild der Realität münden, aber das ist für die Betroffenen die einzige Realität, die sie kennen. Jede Lebenserfahrung wird durch den Filter dieses Zerrbildes interpretiert, jeder persönliche Misserfolg und Schicksalsschlag als Folge dieses Zerrbildes gedeutet.

Längst nicht alle, die in die rechtsextreme Radikalisierungs-Schlaufe rutschen, werden zu terroristischen Massenmördern. Es verhält sich wie im Sport: Aus der Breite entsteht die Spitze. Die jüngste Flut der neuartigen Alt-Right-Terroranschläge dürfte darum lediglich die gewalttätigste und sichtbarste Konsequenz von Online-Extremismus sein.

Genauso besorgt müssen wir aber um all jene sein, die sich «unsichtbar» radikalisieren und trotzdem zutiefst anti-demokratische Werte verinnerlichen. Darin liegt nämlich die eigentliche Gefahr für Demokratie: Je mehr Menschen den Glauben an Demokratie verlieren, desto stärker wird sie von innen ausgehöhlt.

Pepe the Frog: Matt Furie, Schöpfer des Memes, zeichnet seinen Alt-Right-Präsidentschaftswahlen-Alptraum.

1 / 20
Pepe the Frog: To Sleep, Perchance to Meme
Bild: Matt Furie
quelle: thenib.com/matt furie
Auf Facebook teilenAuf X teilen

Und hier trägt er seine Froschfigur zu Grabe

1 / 8
Rest in Peace, Pepe
Bild: Matt Furie
quelle: thenib.com/matt furie
Auf Facebook teilenAuf X teilen

Was ist zu tun? Bisher gibt es keine wirklich erprobten Lösungen – das menschliche Gehirn ist der Reizüberflutung des Internets mehr oder weniger hilflos ausgeliefert. Ein Gegenmittel, das angesichts dieses fundamentalen Problems funktionieren könnte, ist, die Radikalisierungs-Pipeline zu «hacken». Und zwar mit Inhalten, die sowohl algorithmisch als auch kognitiv hängen bleiben.

Wie kann das aussehen? Die YouTuberin Natalie Wynn hat womöglich eine Formel entwickelt, die funktioniert. Mit dezidiert selbstironischen, aber fundierten und wohlwollenden Videos schaltet sie sich in den Radikalisierungs-Diskurs ein, indem sie Themen gezielt wählt und Schlagworte strategisch einsetzt, um auf den Radar jener zu gelangen, die angesichts der doppelten Filterblase mit der «anderen Seite» normalerweise nicht in Kontakt kommen.

Ein Beispiel: Natalie Wynn über Incels.Video: YouTube/ContraPoints

Es genügt nicht, bloss strengere Massnahmen zur Gewalt- und Terrorprävention einzuführen, weil damit letztlich nur Symptombekämpfung betrieben wird. Um das Problem an der Wurzel zu packen, müssen wir zusätzlich jenen, die Gefahr laufen, in der Spirale der Online-Radikalisierung lautlos unterzugehen, frühzeitig einen Rettungsring zuwerfen.

«Wahnsinn»: Reaktionen auf Trumps Verteidigung der «Alt Right»

Video: watson
DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet, um die Zahlung abzuschliessen.)
5 CHF
15 CHF
25 CHF
Anderer
twint icon
Oder unterstütze uns per Banküberweisung.
Amoklauf in El Paso, Texas
1 / 15
Amoklauf in El Paso, Texas
In El Paso, Texas ist es am Samstag zu einer Schiesserei gekommen. EPA/LARRY W. SMITH
quelle: epa / larry w. smith
Auf Facebook teilenAuf X teilen
Fake News - So einfach ist es heutzutage alle zu täuschen
Video: srf
Das könnte dich auch noch interessieren:
29 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
Matrixx
08.08.2019 10:11registriert März 2015
Erfahrungsgemäss kann ich sagen, dass es sehr leicht ist, schnell viele Menschen zu erreichen.
Auf der richtigen Plattform etwas posten, und es wird wie ein Lauffeuer eifrig verbreitet, wohl wegen unserer Share-Wut. Am anfälligsten sind übrigens Extremisten und weniger gebildete Menschen.
Gleich nach dem Alt-Right-Zeugs folgen übrigens Verschwörungstheorien.
12329
Melden
Zum Kommentar
avatar
Gipfeligeist
08.08.2019 13:36registriert Januar 2016
Das Internet ist ein guter Nährboden für Radikalisierung und Verschwörung. Aber das Internet könnte auch die Lösung gegen dieses Problem sein. Live Fact-Checking bei Präsidentschaftsdebatten, Umgehungen der Filterblase und Zugriff auf verschiedenste Meinungen sollte viel stärker unterstützt werden!
Schlussendlich muss sich jeder in seiner Informationsbeschaffung selber reflektieren. Stumpfes Konsumieren ist Dumm und zunehmend auch gefährlich...
282
Melden
Zum Kommentar
avatar
iggy pop
08.08.2019 13:52registriert Januar 2017
Ich erschrecke manchmal auch, wieviele Abos gewisse "rechts denkende" Youtuber haben. Noch erschreckender die Kommentare teilweise darunter.
Aber so lange wir diese kritischen Mitbürger pauschal als Trolle, Populisten, "ungebildete" denuzieren (und das geschieht leider viel zu schnell, denn aus meiner Erfahrung ist die Mehrheit darunter noch ganz vernünftig unterwegs, auch wenn es nicht meiner politischen Einstellung entspricht..), dann leben wir selbst in unserer Echokammer und benehmen uns höchst undemokratisch. Darin sehe ich auch ein Mitgrund, warum viele Linke nach Rechts gerutscht sind.
2523
Melden
Zum Kommentar
29
Warum Forscher vor diesem Garnelen-Jesus auf Facebook warnen
Mithilfe von KI-generierten Bildern erreichen Betrüger auf Facebook Hunderttausende Nutzerinnen und Nutzer. Dabei hilft ihnen der Facebook-Algorithmus.

Eine Jesusfigur, geformt aus Garnelen. Jesus mit dem Körper eines Krebses, wie er von anderen Krebsen angebetet wird. Diese und ähnliche KI-generierte Bilder überfluten gerade Facebook und bekommen oft Hunderttausende Likes.

Zur Story