Die Studie „Legacies of the Third Reich: Concentration Camps and Out-group Intolerance“ von Jonathon Homola, Miguel Pereira und Margit Tavits, 2020 im prestigereichen American Political Science Review veröffentlicht, hat für Aufsehen gesorgt. Die Kernaussage ist interessant und verstörend zu gleich: Wer heutzutage in der Nähe von ehemaligen Konzentrationslagern lebt, ist in der Tendenz fremdenfeindlicher als Menschen, die weiter weg wohnen. Als Grund vermutet das Autorenteam, dass während der Nazizeit Anwohnerinnen und Anwohner ein möglicherweise empfundenes Unbehagen reduzierten, indem sie in besonderem Maße die Nazi-Ideologie übernahmen. Diese Überzeugungen wurden über die Generationen hinweg von den Eltern auf die Kinder übertragen, so dass sich noch heute ein Zusammenhang zwischen Wohnortnähe zu Konzentrationslagern und Fremdenfeindlichkeit finden lässt..
Zusammen mit Tom Pepinsky (Cornell University) und Sara Goodman (University of California, Irvine) habe ich die in dieser Studie genutzte Daten einer neuen Analyse unterzogen. Dabei wurde relativ schnell klar, dass die Ergebnisse der ursprünglichen Studie nicht standhalten, wenn man in der statistischen Analyse zusätzlich regionale Unterschiede berücksichtigt. Unsere Replik wurde unter dem Titel „Modeling Spatial Heterogeneity and Historical Persistence: Nazi Concentration Camps and Contemporary Intolerance“ Anfang 2023 im selben Journal veröffentlicht.
An dieser Stelle könnte man denken: Wunderbar, da gibt es eine Originalstudie und eine darauf aufbauende Arbeit weist auf Fehler hin, was zu einem kumulativen Erkenntnisgewinn führt. Wissenschaft als Prozess funktioniert. Was an diesen Vorgängen überaus bemerkenswert ist und was sie uns über Entwicklungslinien empirischer Politikwissenschaft lehren, wird in diesem Beitrag illustriert.
Zunächst zur Chronologie der Ereignisse: Die Veröffentlichung der Originalstudie von Homola et al. datiert auf den 27. Januar 2020. Sara Goodman, mit der ich vorher zum Thema lokale Determinanten fremdenfeindlicher Gewalt publiziert hatte, kam mit Tom Pepinsky und mir über die Studie ins Gespräch. Eine Frage, die uns ziemlich schnell beschäftigte, war, warum das Autorenteam in ihren empirischen Modellen nicht für Unterschiede zwischen Bundesländern kontrollierte, also statistisch berücksichtigte.
Denn Konzentrationslager sind räumlich nicht gleichmäßig verteilt, oft wurden diese in der Nähe von Industriestädten errichtet. Vorurteile und Fremdenfeindlichkeit sind ebenfalls nicht gleichmäßig über die Bundesrepublik hinweg verteilt. Schaut man sich einmal eine Karte mit Wahlkreisen zum Wahlerfolg der rechtspopulistischen AfD an, erkennt man regionale Unterschiede auf Anhieb. Diese haben wiederum mit Unterschieden in ökonomischen und demografischen Strukturen, den regionalen Ausrichtungen politischer Parteien und weiteren historischen Faktoren zu tun. Um Fehlschlüsse zu vermeiden, ist es daher übliche Praxis, für solche regionale Unterschiede in der statistischen Analyse zu kontrollieren, insbesondere in Studien zu Vorurteilen und Fremdenfeindlichkeit.
Die Aufnahme von Kontrollvariablen für Bundesländer bestätigte die Vermutung. Die ursprünglich berichteten Zusammenhänge waren nun nicht mehr statistisch signifikant. Kurzerhand schrieben wir die Ergebnisse zusammen, nahmen Kontakt mit der Zeitschrift auf und reichten das Manuskript ein. Das war im April 2020, also zwei Monate nach Erscheinen der Originalstudie. Wiederum zwei Monate später bekamen wir Antwort der Zeitschrift mit einem Gutachten und dem Hinweis, die Studie möglicherweise beim neuen Herausgeberteam (es stand ein Wechsel an) in gekürzter Fassung einreichen zu können. Die Coronapandemie verlangsamte auch bei uns als Autorenteam die Prozesse, wir warteten zudem auf einen Termin im vorübergehend geschlossenem Secure Data Center der GESIS, wo Daten für Zusatzanalysen lagen. Ende 2021 überarbeiteten wir das Manuskript und reichten es im Januar 2022 erneut ein. Der anschließende Begutachtungsprozess erstreckte sich über ein knappes Jahr mit der Möglichkeit für uns, Teile des Manuskripts zu überarbeiten.
Eine Zeitspanne von ungefähr einem Jahr ist in den Sozialwissenschaften üblich. Als erste Lektion lässt sich also festhalten, dass zwar Forscherinnen und Forscher durchaus schnell arbeiten und Ergebnisse produzieren können, die Mühlen des politikwissenschaftlichen Publikationsprozesses mahlen allerdings eher langsam.
Lektion 1: Politikwissenschaftlerinnen und Politikwissenschaftler können (wenn es darauf ankommt) schnell Ergebnisse produzieren. Die Mühlen des Publikationsprozesses in der (Politik-)Wissenschaft mahlen hingegen eher langsam.
Neben den zeitlichen Dimensionen unserer Replik ist hervorzuheben, dass ohne das Prinzip der Open Science es nicht möglich gewesen wäre, so schnell bzw. überhaupt die Daten erneut zu analysieren. Zwar kann man annehmen, dass Transparenz und Nachvollziehbarkeit (neben systematischem Vorgehen) zu den Grundlagen der wissenschaftlichen Methode zählen, leider ist dies jedoch nicht immer der Fall. Schätzungen zufolge, stellen je nach Fach nur ca. 7-20 Prozent der Forscherinnen und Forscher ihre Daten freiwillig anderen zur Verfügung. Mittlerweile machen es mehr und mehr Zeitschriften zur Bedingung, dass Autorinnen und Autoren ihre genutzten Daten und Analysen offen zugänglich machen. Dies ist eine wichtige Entwicklung, von der die Glaubwürdigkeit des Wissenschaftssystems nur profitieren kann. Beim hier beschriebenen Fall stehen sowohl die Daten der Originalstudie als auch unsere Re-Analysen offen zur Verfügung. Erstere wurden bereits mehr als 3700-mal heruntergeladen, letztere mehr als 580-mal– Open Science ist also relevant und wird genutzt.
Lektion 2: Open Science ist eine zentrale Entwicklung, die zu mehr Transparenz und Nachvollziehbarkeit in den Sozialwissenschaften beiträgt.
Dass ein Auslassen wichtiger Einflussfaktoren in der Originalstudie von Homola et al. nicht schon im Begutachtungsverfahren auffällt, kann viele Gründe haben. Ein Grund wäre, dass auch die wissenschaftliche Forschung nicht frei von ökonomischen Prinzipien wie „Sexy Findings Sell“ ist. Mit anderen Worten: Besonders unerwartete oder für Aufsehen erregende Ergebnisse lassen sich besser vermarkten und haben eine höhere Chance in Top-Journals publiziert zu werden. Dieser Sachverhalt ist hinlänglich bekannt, ebenso wie die möglichen Folgen, die bis zu wissenschaftlichem Fehlverhalten reichen können. Wenn wissenschaftliche Karrieren von aufsehenerregenden Befunden abhängen, hat das Folgen. Im geschilderten Fall ist das Autorenteam nicht bereit von den Ergebnissen ihrer Studie abzurücken, der Diskurs geht also in die nächste Runde. Die Sache ist nicht trivial, sondern hat auch mögliche Folgen über die Forschungslandschaft hinaus.
Gäbe es einen klaren Zusammenhang zwischen Mahnmalen des Holocaust und einem Mehr an Fremdenfeindlichkeit, müsste man dann nicht darüber nachdenken, auf diese Mahnmale zu verzichten? Hier zeigt sich eine nicht zu unterschätzende gesellschaftspolitische Verantwortung von Wissenschaftlerinnen und Wissenschaftlern.
Lektion 3: „Sexy Findings“ sind weiterhin auf dem Vormarsch in einer Wissenschaft, in der Karrierechancen nur allzu sehr von Publikationen in Top-Journalen abhängen.
Quo Vadis Politikwissenschaft?
Wohin steuert also die empirisch orientierte Politikwissenschaft? Beim Thema Geschwindigkeit wurden durchaus Fortschritte gemacht. Insbesondere im Zuge der Corona-Pandemie wurde klar, dass Ergebnisse schnell gebraucht werden. Einige Journals haben Beiträge mit Bezug zu Corona bevorzugt behandelt. Desk-Rejects, bei welchen Zeitschriften Studien bereits ablehnen, bevor sie zur Begutachtung verschickt werden, sollen den Begutachtungsprozess entschlacken. Außerdem werben Journals vermehrt mit den durchschnittlichen Zeiten, die sie für die Begutachtung brauchen. Dennoch gilt weiterhin und abgefälscht nach Churchill: Peer-Review ist die denkbar schlechteste Form der Begutachtungsverfahren, ausgenommen alle anderen Verfahren, die bisher probiert wurden.
Beim Thema Open-Science gingen viele Impulse von der Politikwissenschaft aus. Dem sogenannten DART-Abkommen zur Verbesserung von Transparenz sind fast alle großen politikwissenschaftlichen Zeitschriften gefolgt. Crowd-Research hat sich zu einem festen Bestandteil in der sozialwissenschaftlichen Forschung etabliert. Die Vorregistrierung von Hypothesen und erwarteten Ergebnissen bei Experimenten wird immer mehr zum Standard. Es gibt also viele spannende Entwicklungen in diesem Bereich.
Karrierechancen bleiben weiterhin stark von der Veröffentlichung in Top-Journals abhängig. Gleichzeitig scheint sich unter Herausgebern und Gutachtern zunehmend die Einstellung zu verbreiten, dass eine Bearbeitung etablierter Fragestellungen mit neuen Daten oder cleveren Untersuchungsdesigns sowie Studien mit Nullergebnissen eben auch zum kumulativen Wissenschaftsfortschritt beitragen: „Slow Science“ anstatt „Sexy Findings“. Insgesamt sind das mit Blick auf die Entwicklung der Disziplin gleich mehrere Gründe optimistisch zu sein.
Quellen:
Data Access & Research Transparency. 2012 DA-RT Ethics Guide Changes. Abgerufen unter: https://www.dartstatement.org/2012-apsa-ethics-guide-changes (24.08.2023)
Homola, J., Pereira, M., & Tavits, M. (2020). Legacies of the Third Reich: Concentration Camps and Out-group Intolerance. American Political Science Review, 114(2), 573-590. https://doi.org/10.1017/S0003055419000832 
Homola, J., Pereira, M. M., & Tavits, M. (2020). Replication Data for: Legacies of the Third Reich: Concentration Camps and Outgroup Intolerance. Harvard Dataverse, V1. https://doi.org/10.7910/DVN/J0GBTX
Homola, J., Pereira, M. M., & Tavits, M. (2023). Fixed Effects and Post-Treatment Bias in Legacy Studies. OSF Preprints. https://doi.org/10.31219/osf.io/eha72
Pepinsky, T., Goodman, S., & Ziller, C. (2023). Modeling Spatial Heterogeneity and Historical Persistence: Nazi Concentration Camps and Contemporary Intolerance. American Political Science Review, 1-10. https://doi.org/10.7910/DVN/0PY9EA
Pepinsky, T., Goodman, S. W., & Ziller, C. (2023). Replication Data for: Modeling Spatial Heterogeneity and Historical Persistence: Nazi Concentration Camps and Contemporary Intolerance. Harvard Dataverse, V1. https://doi.org/10.7910/DVN/0PY9EA
