Die Fehler-Fahnder – Wissen – SZ.de | ABC-Z
Die Studie behandelte ein brisantes Thema. Es ging in der Arbeit, die um tödliche Polizeigewalt gegen schwarze US-Bürger, um unterschwellige Vorurteile der Weißen und um die Frage, wie beides zusammenhängen könnte. Die Ergebnisse zeigten, so schrieben die Psychologen um Eric Hehman im Fachjournal Social Psychological and Personality Science, „dass ausschließlich die impliziten rassistischen Vorurteile und Stereotype weißer Einwohner – jenseits der wichtigsten demografischen Kontrollvariablen – mit einer überproportional häufigeren Anwendung tödlicher Gewalt gegen Schwarze im Vergleich zu ihrem regionalen Bevölkerungsanteil in Verbindung stehen“.
Um diese Aussage treffen zu können, mussten die Forscher berücksichtigen, wie viele Schwarze im Verhältnis zu den übrigen Bewohnern in den analysierten Countys leben. Wo mehr Schwarze wohnen, sind schließlich auch mehr Schwarze von Gewalt betroffen. Doch auch eine solche statistische Analyse bestätigte die Folgerung der Forscher.
Die Publikation aus dem Jahr 2017 hat seit Erscheinen große Aufmerksamkeit erfahren. Zahlreiche andere Studien beziehen sich auf diese Arbeit und zitieren sie. Allerdings beruht die Schlussfolgerung der Studie offenbar auf einem Fehler, das Fazit lässt sich nicht halten. Zu diesem Schluss kommen Wissenschaftler, die die publizierte Studie unter die Lupe genommen und im Rahmen des Projektes „Error: A Bug Bounty Program for Science“ auf Fehler geprüft haben. Das verwendete statistische Modell sei nicht geeignet, den Einfluss des regionalen Bevölkerungsanteils Schwarzer herauszurechnen, heißt es sinngemäß in dem Prüfbericht.
Der Hauptautor der Studie, Eric Hehman von der kanadischen McGill University, räumte auf dem sozialen Netzwerk Bluesky ein, dass er die Schlussfolgerungen seines Papers wohl nun in einem anderen Licht betrachten müsste. Aber was daraus folgt? „Das ist leider unklar“, sagt Malte Elson von der Universität Bern, der zusammen mit Mitstreitern das Error-Projekt ins Leben gerufen hat. In diesem untersuchen Reviewer bereits publizierte Studien auf Fehler – mit der Einwilligung der jeweiligen Autoren. Im Erfolgsfall erhalten die Prüfer Geldprämien, abhängig von der Schwere der identifizierten Fehler.
„Wann macht die Wissenschaft Fortschritt?“
„Eigentlich müsste die Hehman-Studie nun korrigiert oder zurückgezogen werden“, sagt Elson, „ob das aber passiert, können wir nicht sagen.“ Ein Zwischenstand in der Schwebe mag unbefriedigend sein. Doch aus dem Vorgang rund um das betreffende Paper lassen sich einige Probleme exemplarisch ableiten, die in der Forschung eine Rolle spielen – und womöglich auch einige Lösungsansätze. Um den Umgang der Wissenschaft mit Fehlern ging es denn auch kürzlich auf der Tagung „Perspectives on Scientific Error“ an der Universität Bern, die ebenfalls ein Team um den Psychologen Elson organisiert hat.
„Wann macht die Wissenschaft Fortschritt?“, fragte also Aurélien Allard in dem Vortrag, mit dem die Tagung eröffnet wurde. Dann, so die Antwort des Psychologen von der Universität Nantes, wenn Wissenschaft falsche Statements identifiziere und durch korrekte Aussagen ersetze. Dann also, wenn Fehler identifiziert werden, was allerdings, so der Grundtenor der Vorträge und Diskussionen, zu selten geschehe.
In der Psychologie scheint sich jedoch in den vergangenen Jahren zumindest in weiten Teilen der Community ein Problembewusstsein herausgebildet zu haben, wohl eine Folge der sogenannten Replikationskrise: Zahlreiche bekannte Studien ließen sich nicht erfolgreich wiederholen, was große Zweifel weckte, welchen Ergebnissen aus der Psychologie überhaupt zu trauen sei. Entstanden ist daraus die Open-Science-Bewegung, die methodische Standards und Qualitätsmerkmale formuliert und sich bemüht hat, in großen, internationalen Projekten wichtige Studien der Disziplin zu replizieren.
Alles gut also, der Pfad ist eingeschlagen, das Ziel im Blick und bald erreicht? In den vergangenen Jahren habe es eine regelrechte Euphorie in der Psychologie gegeben, jetzt alles besser zu machen, so Stephanie Meirmans von der Universität Amsterdam. Dann aber folgte auch Ernüchterung. Es sei eben sehr aufwendig, zeitintensiv und teuer, Studien zu replizieren, sagte die Psychologin in Bern.
„Wir brauchen parallele Mechanismen zu Replikationen“, sagt der Psychologe Ian Hussey, der Teil des Error-Teams ist. Das Hauptprodukt der Wissenschaft sei es nun mal, nach der Wahrheit zu suchen und zu finden. „Aber geht es darum, Fehler zu finden“, sagt Malte Elson, „gibt es in der Wissenschaft leider eine große Lücke“. Der Peer-Review-Prozess reiche nicht aus, dieser sei mehr eine oberflächliche Plausibilitätsprüfung und weniger tiefe Fehleranalyse. „Die Gutachter kriegen dabei auch nicht mehr zu Gesicht als das, was nach Veröffentlichung jeder in der Studie lesen kann“, sagt Elson.
Deshalb haben die Berner Psychologen um Elson, Hussey und Jamie Cummins sowie Ruben Arslan von der Universität Leipzig ihr Projekt „Error: A Bug Bounty Program for Science“ gestartet. Vielleicht lässt sich dieses auch als Experiment begreifen, um zu verstehen, welche Anreizstrukturen die Fehlerkultur in der Forschung verbessern könnten. Das Error-Grundkonzept ist aus der Informatik entlehnt: Es werden finanzielle Belohnungen dafür ausgelobt, Fehler oder Bugs zu finden, nur eben nicht in Software, sondern in wissenschaftlichen Studien.
Ausgewählt werden diese nach Relevanz. „Wir konzentrieren uns auf Paper, die von anderen Wissenschaftlern oft zitiert werden“, sagt Elson, „wenn nämlich in Studien, die sowieso niemand liest, Fehler stecken, ist das fast ein bisschen egal. Darauf wollen wir unsere Ressourcen nicht verschwenden.“ Stecken hingegen in viel zitierten Studien wesentliche Fehler, verschwenden Forscher Zeit und Energie, wenn sie auf Basis falscher Ergebnisse neue Studien konzipieren.
Viele antworten gar nicht auf die Anfrage
Die Fehlerfahnder kontaktieren dann die Autoren der ausgewählten Studien, ohne deren Zustimmung keine Prüfung erfolgt. Eigentlich, so Ian Hussey in seinem Vortrag in Bern, sollte jeder Wissenschaftler den Wunsch haben, möglichst fehlerfreie Arbeiten zu publizieren. Tatsächlich ist der Prozess manchmal mühsam: „Zwei Drittel der angeschrieben Studienautoren antworten nicht“, sagt Elson. Und von denen, die auf den Vorschlag reagieren, sagen wiederum zwei Drittel ab. „Einige führen dabei Gründe an, die schwer zu akzeptieren sind“, sagt Hussey. Etwa dass ihre Arbeit keine Fehler enthalte, oder dass sie keinen Wert darauf legten, auf Fehler hingewiesen zu werden.
Wenn sich die Parteien aber einigen, stellen die Autoren der zu prüfenden Studie den Fehlerfahndern sämtliche Rohdaten sowie den Code zur Verfügung, der für die Analyse angewandt wurde. Der Reviewer beginnt dann, sämtliche Details zu überprüfen und nachzuvollziehen. Vier abgeschlossene Prüfberichte hat das Team nun auf der Webseite des Projektes publiziert. Die eingangs erwähnte Studie des Teams um Eric Hehman ist die einzige, die in die Kategorie „Major Error“ fällt und Fehler enthält, welche die wichtigsten Schlussfolgerungen der Arbeit infrage stellen. Zwei der geprüften Arbeiten, erschienen in Psychophysiology und Nature Human Behaviour, enthalten geringfügige Fehler, die das Ergebnis nicht beeinflussen. Eine im British Journal of Health Psychology publizierte Studie zum Wohlbefinden während der Covid-19-Pandemie enthält laut Prüfbericht moderate Fehler, die aber die wesentlichen Schlussfolgerungen ebenfalls nicht infrage stellen. Weitere Reviews befinden sich in Vorbereitung.
Was daraus dann aber folgt, ob die Studien korrigiert oder im Falle grober Fehler zurückgezogen werden? „Das wissen wir auch nicht“, sagt Elson. Wichtig sei es aber, Anreizstrukturen zu schaffen, damit Fehler in der Wissenschaft systematisch vermieden, gesucht und korrigiert werden – und zwar bevor Studien zitiert werden und weitere Forschung anstoßen. Ganz vermeiden lassen sich Fehler gewiss niemals, auch nicht in der besten aller Wissenschaften. Auch da sind schließlich Menschen am Werk, und die machen eben auch immer wieder mal Fehler.
