Open Science als Antwort auf die „Reproduzierbarkeitskrise“

Open Science als Antwort auf die „Reproduzierbarkeitskrise“!

Am vergangenen Mittwoch hat Sünje Dallmeier-Tiessen im Rahmen der Ringvorlesung das Thema Open Science und insbesondere die praktische Umsetzung dessen näher dargestellt. Ein besonderer Fokus ihres Vortrages lag auf der Umsetzung dieses Themas an dem wohl bekanntesten Forschungsinstituts Europas – wenn nicht gar der Welt – am CERN in Genf. Im Prinzip ging es in ihrem Vortrag, und darum soll es auch in diesem Blogbeitrag gehen, um „gute Wissenschaftliche Praxis“. Wie sollten wir – als Gesellschaft und gerade wir, die wir uns im universitären Bereich als Studenten, Professoren, WiMis etc. aufhalten – wissenschaftliche Arbeit im Hinblick auf technische Neuerungen der Öffentlichkeit zugänglich machen?

Was ist das CERN?

Das CERN – offiziell bekannt als Europäische Organisation für Kernforschung – ist das weltweit größte Forschungsinstitut, das sich mit den Grundlagen von Materie und der Teilchenphysik beschäftigt. Bekannt geworden ist es durch seinen internationalen Charakter – über 3.000 Wissenschaftler jeglicher Nation sind dort aktuell beschäftigt – und seinen einzigartigen Teilchenbeschleuniger – LHC: Large Hadron Collider, wodurch theoretische Annahmen des Universums erstmalig praktisch bewiesen werden konnten. Nicht wenige Meilensteine des modernen Menschen sind hier entstanden: Tim Berners-Lee hat im Jahr 1989 hier das World Wide Web erfunden.

Exkurs:  zur Vortragenden und der Rolle des CERNs im Hinblick auf Open Science (inkl. Reproduzierbarkeit)

Sünje, studierte Informationswissenschaftlerin, ist am CERN als Data Coordinator maßgeblich daran beteiligt, dem einmaligen Open Science-Charakter der CERN-Statuten und den enormen Datenmengen des LHC nachzukommen, indem sie u.a. das Open Science-Portal opendata.cern.ch unter Federführung des CERN Scientific Information Service erarbeitet. Dieses Portal dient dem Zweck, die anfallenden Datenmengen des LHC auch anderen, nicht am CERN arbeitenden Forschern ebenso wie interessierten, „normalen“ Menschen, die Datenauswertung zu ermöglichen, um ein möglichst hohes Ausmaß an wissenschaftlicher Integrität und potentiell mögliche Erkenntnisgewinne zu gewährleisten. Während das CERN schon in seinen Statuten aus dem Jahr 1954 einen „open Science-Ansatz“ vertritt, kommt es erst durch heute verfügbare bzw. am CERN entwickelte Technologien zur tatsächlichen, konzertierten Massenverbreitung wissenschaftlicher Erkenntnisse. So heißt es in den Statuten:

ARTICLE II : Purposes

The Organization shall provide for collaboration among European States in nuclear research of a pure scientific and fundamental character, and in research essentially related thereto. The Organization shall have no concern with work for military requirements and the results of its experimental and theoretical work shall be published or otherwise made generally available.

Die Philosophie der Offenheit der Wissenschaft (i.e. Open Science) ist lt. Sünje ein Ideal, für das kaum eine andere Institution weltweit eher einsteht als das CERN. Das CERN ist Inbegriff der Offenheit:  Kollaboration multinationaler WissenschaftlerInnen, Gründungsstatuten und die Verbreitung der Erfindung des Internets als offene Technologie und die Vorreiterrolle im Bereich des Open Access wissenschaftlicher Erkenntnisse.

Die „Reproduzierbarkeitskrise“

Ebene jener Open Access-Ansatz ist ein Kind seiner Zeit: die Reproduzierbarkeitskrise in vielen Wissenschaften hat wissenschaftliche Erkenntnisse in Verruf gebracht und die wissenschaftliche Integrität tief getroffen. Das eherne Statut von wissenschaftlicher Arbeit, als nahezu objektive, rein rationale und für jeden beobachtbare Erkenntnisgewinnung litt und leidet immer noch daran, dass viele wissenschaftliche Veröffentlichungen nicht mehr den wissenschaftstheoretischen Prinzipien entsprechen. Wissenschaft muss immer aus einer belastbaren Hypothese für ein beobachtetes Ereignis bestehen. Diese Hypothese ist nur dann wissenschaftlich, wenn Herleitungen und Beobachtungen explizit und nachvollziehbar dokumentiert werden. Nur wenn eine wissenschaftliche Arbeit kritisch nachvollzogen, reproduziert und verifiziert werden kann, genügt sie dem wissenschaftlichen Anspruch. (siehe Deutsche Forschungsgemeinschaft (2013) Sicherung guter wissenschaftlicher Praxis, in Sicherung Guter Wissenschaftlicher Praxis: Empfehlungen der Kommission “Selbstkontrolle in der Wissenschaft”) Weiter heißt es ebda:

„Experimente und numerische Rechnungen können nur reproduziert werden, wenn alle wichtigen Schritte nachvollziehbar sind. Dafür müssen sie aufgezeichnet werden. Jede Veröffentlichung, die auf Experimenten oder numerischen Simulationen beruht, enthält obligatorisch einen Abschnitt „Materialien und Methoden“, der diese Aufzeichnungen so zusammenfasst, dass die Arbeiten an anderem Ort nachvollzogen werden können. (…)
Auf die Aufzeichnungen später zurückgreifen zu können, ist (…) ein zwingendes Gebot. Noch wichtiger wird dies, wenn veröffentlichte Resultate von anderen angezweifelt werden. Primärdaten sind dabei auch Messergebnisse, Sammlungen, Studienerhebungen, Zellkulturen, Materialproben, archäologische Funde, Fragebögen. (…)
Bei Primärdaten ist zwischen deren Nutzung und deren Aufbewahrung zu unterscheiden. (…)
In renommierten Labors hat sich die Regel bewährt, dass der komplette Datensatz, der einer aus dem Labor hervorgegangenen Publikation zugrunde liegt,
als Doppel zusammen mit dem Publikationsmanuskript und der dazu geführten Korrespondenz archiviert wird.“

Konkreter bezogen auf Reproduzierbarkeit:

“Mit dem Schlagwort der „reproducible research“ wird schließlich die Idee bezeichnet, dass Veröffentlichungen künftig nur noch als eine Art Verweis auf die grundlegenden, „eigentlichen“ Forschungsergebnisse – auf Daten, Methoden und Werkzeuge – dienen werden, die in für andere Wissenschaftler nachnutzbaren Formen bereitgestellt werden. Solches Vorgehen gewährleistet nicht nur maximale Transparenz, sondern erhöht die Effizienz und Innovationskraft von Forschung. Umgekehrt setzt eine streng reproduzierbare Forschung umfassende Rechtseinräumungen für die rechtlich statthafte Nachnutzung von Daten, Werkzeugen und Methoden voraus.”

Victoria Stodden, eine populäre Open-Science-Aktivistin, zielt sogar noch grundsätzlicher auf die Notwendigkeit von Reproduzierbarkeit für die Wissenschaft ab, indem sie Merton’s Wissenschaftliche Normen zitiert:

  • Communalism: scientific results are the common property of the community.
  • Universalism: all scientists can contribute to science regardless of race, nationality, culture, or gender.
  • Disinterestedness: act for the benefit of a common scientific enterprise, rather than for personal gain.
  • Originality: scientific claims contribute something new Skepticism: scientific claims must be exposed to critical scrutiny before being accepted.“

WissenschaftlerInnen sollten also mit genau diesen Grundsätzen an die Ergebnisse Anderer, aber auch an ihre eigenen Beobachtungen und Schlussfolgerungen herangehen. Victoria Stodden vertritt die Position, dass diese Normen der Wissenschaftlichkeit nur dann erfüllt sein können, wenn Reproduzierbarkeit der Publikationen möglich ist. Reproduzierbarkeit als Voraussetzung und Ziel allen wissenschaftlichen Arbeitens, denn nur dadurch kann Wissen vermehrt und Wissenschaft respektiert werden. (siehe dazu ebenfalls Linus‘ Law)

Status Quo: 

”At conferences and in publications, it’s now completely acceptable for a researcher to simply say, “here is what I did, and here are my results.” Presenters devote almost no time to explaining why the audience should believe that they found and corrected errors in their computations. The presentation’s core isn’t about the struggle to root out error — as it would be in mature fields — but is instead a sales pitch: an enthusiastic presentation of ideas and a breezy demo of an implementation. Computational science has nothing like the elaborate mechanisms of formal proof in mathematics or meta-analysis in empirical science. Many users of scientific computing aren’t even trying to follow a systematic, rigorous discipline that would in principle allow others to verify the claims they make. How dare we imagine that computational science, as routinely practiced, is reliable!”

Eine Krise in Bildern:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Zu oft werden wissenschaftliche Methoden, wie eine saubere Dokumentation von Versuchsaufbauen oder Erklärungen benutzter Methodiken / Modellen, vernachlässigt. Fraglich ist ebenfalls, wie ein freier Zugang (Open Access) zu eben jenen Erkenntnissen gewährleistet werden kann, wenn doch die Allgemeinheit, i.e. der Staat, für die meisten dieser Erkenntnisse reichlich Forschungsgelder gezahlt hat.

Umsetzung von Reproduzierbarkeit

Insbesondere rechenintensive und auch daten-intensive, also computer-intensive, Forschungsfelder sind hiervon noch viel eher betroffen. Für die Reproduzierbarkeit ist nicht nur ein hohes Dokumentationsmaß erforderlich, sondern auch eine Präservation und Zugänglichmachung benutzter Technologien und Datenbankversionen. Genau hier kommt Open Science und insbesondere die Pionierleistung von Open Science am CERN ins Spiel:

  1. Open Access à la Verfügbarmachung wissenschaftlicher Beobachtungen und Erkenntnissen
    1. Datenbestände (raw, cleaned, analysed, external)
    2. Software / Code / Librarries
    3. Referenzierungen und Metadaten
    4. Grenzen der Aussagekraft der Ergebnisse (i.e. Interpretierbarkeit)
    5. Methodiken (bei Erhebung, Modellierung und Analyse)
    6. Plattformen: Open Science Framework, Dataverse, ORCID, recomputation.org
  2. Kollaboration à möglichst offene Zusammenarbeit über Grenzen hinweg
  3. Konservierung inkl. Versionierung
  4. Lizenzierung (optimal: CC0, MIT, GNU GPL, Apache 2.0)

Hierfür werden Forscher am CERN mittels Incentives „genudged“, es werden Strukturen und Ansprechpartner in den jeweiligen Fachgruppen geschaffen und geschult („Botschafter“) und die Zusammenarbeit mit Open Source Initiativen (bspw. ORCID) und Open Access Plattformen (bspw. HEPData (Teilchenphysik), Rivet (Monte-Carlo-Simulationsvalidierung), und digitalen Bibliotheken (i.e. inspireHEP, zenodo oder CERN Document Server) etc.

Empfehlung: Weitere Best Practice-Ansätze finden sich bei Karl Broman.

Der Open Science-Blog rOpenSci hat eine wunderbare Übersicht gestaltet, die auch eine tiefer gehende Klassifizierung von Reproduzierbarkeit wissenschaftlicher Arbeiten vornimmt:

  • „Computational reproducibility: when detailed information is provided about code, software, hardware and implementation details.
  • Empirical reproducibility: when detailed information is provided about non-computational empirical scientific experiments and observations. In practise this is enabled by making data freely available, as well as details of how the data was collected.
  • Statistical reproducibility: when detailed information is provided about the choice of statistical tests, model parameters, threshold values, etc. This mostly relates to pre-registration of study design to prevent p-value hacking and other manipulations.“

 

Conclusio

Reproduzierbarkeit ist die Voraussetzung für wissenschaftliche Arbeit. Daher ist es erschreckend, dass es überhaupt zur sog. Reproduzierbarkeitskrise kommen konnte. Dennoch ist es erfreulich zu sehen, dass sich innerhalb der wissenschaftlichen Gemeinde eine große Front an Aktivisten und Schlüsselinstitutionen für eine Verbesserung dieses Zustandes stark machen. Gerade heutige Technologien für die Verbreitung, Berechnung und Aufbewahrung wissenschaftlicher Arbeit sind einfach wie nie. Dennoch muss hier – im Ideal sogar schon in der wissenschaftlichen Frühausbildung, i.e. Bachelor-Studium – ausreichend Wissen um den richtigen Umgang mit solchen Techniken gelehrt und gelernt werden. Wissenschaft ist kein Selbstzweck sondern verfolgt das universelle Ziel, den Menschen zu einem rational denkenden, selbstständigen und wissensbejahenden Subjekt zu entwickeln. Diese Kompetenzen sind nicht nur auf den wissenschaftlichen Betrieb festgelegt sondern in jedem anderen Lebensbereich auch, elementar wichtig.

Offene Wissenschaft, also der Zugang zu wissenschaftlichem Material, umfasst eben nicht nur die  publizierten Journals, i.e. das Ergebniskondensat, sondern auch die dahinführenden Ressourcen. Nur wenn alles, was beim Versuchsaufbau bzw. beim Erkenntnisprozess benutzte aufgeführt und verfügbar gemacht wird, ist die Reproduzierbarkeitskrise lösbar. Vergessene, unvollständige oder sogar gänzlich fehlende Materialien zeugen von wissenschaftlichem Unvermögen und führen langfristig zu desaströsem Vertrauensverlust in die Wissenschaft. Offene Lizenzen sind also nicht nur empfehlenswert, sondern geradezu verpflichtend. Die Offenlegung möglichst vieler, wenn nicht sogar aller Daten, Dateien, Hilfsmittel etc. muss das Ziel sein.

Diskussion

Fraglich am Thema der Reproduzierbarkeit (gerade im Hinblick auf das große Überthema Open Science), sind Fragen der

Granularität (i.e. Was darf als vorausgesetzt gelten? Wie viel muss erklärt werden? Wie detailliert müssen benutzte Bibliotheken oder Programmfunktionalitäten analysiert werden? Welchen Tools kann vertraut werden?)  und der

Datenverfügbarmachung (i.e. Wem gehören gemeinschaftlich erhobene Daten? Wem gehören neu gewonnene Erkenntnisse aus proprietären Datenquellen und wie werden diese veröffentlicht? Welche Lizenzen sind angemessen? Besondere Situationen: empirische Studien, Daten mit hohem Schutzgehalt bzgl. Personen oder hoher Missbrauchsgefahr).

Schließlich muss dafür gesorgt werden, dass die wissenschaftliche Gemeinde sich auf gemeinsame Standards einigt, da der bürokratische, unproduktive Mehraufwand durch institusspezifische, fachbezogene oder einfach nur lokal unterschiedliche Sonderregelungen nicht tragbar ist. Es ist kein Wunder, dass Open Science-Portale wie ORCID trotz ihrer Einfachheit bisher nicht global skaliert haben: Es ist „gefühlt die tausendste Lösung“! Es muss mehr getan werden, damit Wissenschaftler sich mehr mit tatsächlicher Wissenschaffung und weniger mit neuer, spezifischer Bürokratie befassen müssen. Daher ist es begrüßenswert, dass international angesehene Organisationen wie das CERN sich seit geraumer Zeit Standards setzen und Entwicklungsarbeit leisten.

Linkschleuder:

Persona:

Dallmeier-Tiessen, Suenje, et al. „Enabling sharing and reuse of scientific data.“ New Review of Information Networking 19.1 (2014): 16-43.

Weitere wissenschaftliche Arbeiten ihrerseits

Weitergehendes:

Linkschleuder zu Victoria Stodden’s Arbeit

Linkschleuder von rOpenSci

Science Code Manifesto

Crick, Hall & Ishtiaq, (2017). Reproducibility in Research: Systems, Infrastructure, Culture. Journal of Open Research Software. 5(1), p.32.

http://cxc.harvard.edu/fellows/symp_presentations/2016/Kim_Ji-hoon_EinsteinSymposium2016.pdf

Videophile werden hier fündig:

Reproducible Open Science with R: Talk at Berkeley Institute for Data Science (BIDS)

 

Science 101: The Basics of Reproducibility/Replicability

Improving the Reproducibility of Our Research Practices Using Open Science Framework: Talk at the 28th APS Annual Convention in Chicago in 2016

Audiophile werden hier fündig

Open Science Radio: Folge 15

Open Science Radio: Folge 79

Linkschleuder „Reproduzierbarkeitskrise“: l1, l2, l3, l4, l5, l6, l7, l8

Tools:

HEP Data: High Energy Physics Data Repository

inspireHEP: High-Energy Physics Literature Database

CERN Analysis Preservation

RunMyCode

Recomputation.org

Center for Open Science

SoftwareX (Elsevier)

Scientific Data (Nature)

DRYAD

Harvard Dataverse

THOR (Technical and Human Infrastructure For Open Research)

 

Squid: Es gibt sogar Merch und xkcd

„The Difference“

back to top