Nuklearforschung als Teil der Physik-, Chemie- und Technikwissenschaften ist das klassische Beispiel für sicherheitsrelevante Forschung, d. h. Forschung, die mit erheblichen sicherheitsrelevanten Risiken für Menschenwürde, Leben, Gesundheit, Freiheit, Eigentum, Umwelt oder ein friedliches Zusammenleben verbunden sein kann.
Die Entdeckung der Urankernspaltung in den 1930er Jahren, für die Otto Hahn später den Nobelpreis für Chemie verliehen bekam, gilt als Meilenstein der Naturwissenschaft und Technik und eröffnete neue Möglichkeiten der CO2-neutralen Energiegewinnung in großem Maßstab. Gleiches wird für die Kernfusion erwartet, die – ebenfalls Anfang des 20. Jahrhunderts entdeckt – heute von vielen als einer der Hoffnungsträger für eine sichere und saubere Energieversorgung der Zukunft gehandelt wird. Kernforschung führte aber bekanntlich auch zur Entwicklung und zum Einsatz atomarer Massenvernichtungswaffen. Intensive Diskussionen über die Verantwortung von Wissenschaftlern folgten insbesondere nach den 1954 von den USA vorgenommenen Wasserstoffbombenversuchen auf dem Bikini-Atoll, die große Gebiete verstrahlt hatten. Die Diskussionen mündeten u.a. im Russell-Einstein-Manifest und der Göttinger Erklärung, in denen sich Wissenschaftler gegen die atomare Aufrüstung, aber gleichzeitig für die friedliche Nutzung von Kernenergie aussprachen. In neuerer Zeit sorgt insbesondere die mögliche Verwendung von strahlenden Isotopen in sogenannten „schmutzigen Bomben“ für Aufmerksamkeit.
Einstein-Manifest (PDF)
Zur Geschichte der Pugwash-Bewegung in Deutschland (PDF)
Robert Lorenz: Protest der Physiker. Die Göttinger Erklärung von 1957. Bielefeld 2011 (PDF)
Chemische Synthesen und deren Produkte, etwa Wasch- und Düngemittel, Medikamente und Kunststoffe, sind allgegenwärtig und tragen wesentlich zum Wohlstand unserer Gesellschaft bei. Die zugrundeliegende Forschung ist für die nachhaltige Weiterentwicklung chemischer Synthesen und die Erschließung neuer Chemikalien notwendig. Viele der industriell in großem Maßstab genutzten Grundchemikalien können allerdings auch direkt als schädigendes Agens genutzt werden oder die Basis für die mehr oder weniger aufwändige Synthese von chemischen Kampfstoffen sein. Beispielsweise werden jährlich mehr als 60 Millionen Tonnen Chlor für die Aufbereitung von Wasser, die Plastikfertigung und die Herstellung von Arzneimitteln produziert. Chlor kann allerdings auch direkt als Erstickungsgas und somit als Chemiewaffe missbraucht werden.
Aufbauend auf dem Chemiewaffenübereinkommen (CWÜ) von 1993 legte eine Expertengruppe von Chemikerinnen und Chemikern aus 24 Staaten im Jahr 2015 ethische Leitlinien vor. Diese “Hague Ethical Guidelines“ beziehen sowohl Mitarbeitende aus chemischen Unternehmen als auch den akademischen Bereich ein und rufen dazu auf, verantwortlich mit Risiken umzugehen und Missbrauch zu verhindern. Dafür soll in der Community ein verbessertes Risikobewusstsein geschaffen werden, damit chemische Produkte nicht als Waffen oder deren Vorläuferstoffe verwendet und höchste ethische Standards eingehalten werden.
Organization for the Prohibition of Chemical Weapons (OPCW)
Deutsches Ausführungsgesetz zum Chemiewaffenübereinkommen (CWÜ)
Informationen des Bundesamtes für Wirtschaft und Ausfuhrkontrolle zum CWÜ
Zusammenstellung der OPCW über Codes of Ethics and Conduct zum CWÜ aus dem Jahr 2015 (PDF)
Künstliche Intelligenz (KI), ein Teilgebiet der Informatik, das sich mit der Erforschung und Entwicklung der Automatisierung von intelligentem Verhalten sowie dem Maschinenlernen befasst, gehört zu den wegweisenden Antriebskräften der Digitalisierung. Die vielfältigen Anwendungspotentiale reichen von virtuellen Gegnern in Computerspielen über die automatisierte Verarbeitung unüberschaubarer komplexer Datenmengen bis hin zu autonom agierenden Robotern oder Fahrzeugen. Diese steuerbaren KI-Systeme bergen auch große Missbrauchspotentiale. So könnten beispielsweise autonome Roboter durch terroristische Gruppen für Attentate zweckentfremdet werden und KI-Algorithmen für automatisierte Desinformationskampagnen oder das automatisierte Hacken von Computern missbraucht werden. Eine Projektgruppe Forschender der Universitäten Standford, Yale, Oxford und Tohoku sowie Entwickler von Microsoft und Google veröffentlichte 2018 den Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“, der auf konkrete Missbrauchsrisiken von schon vorhandener bzw. zeitnahe verfügbarer KI hinweist. In zwei offenen Briefen sprachen sich eine Reihe von Forschenden aus den Bereichen KI und Robotik für eine soziale und wohltätige Nutzung ihrer Entwicklungen aus und warnten vor einem Wettrüsten autonomer Waffensysteme. Der Gemeinsame Ausschuss veranstaltete im Oktober 2017 einen Workshop zum Thema „Freiheit und Verantwortung in den IT-Wissenschaften“, der sicherheitsrelevante Aspekte der KI-Forschung beleuchtete.
Offener Brief „Forschungsprioritäten für stabile und wohltätige Künstliche Intelligenz“
Autonomous Weapons: An Open Letter from AI & Robotics Researchers
Report: The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation
Dokumentation der Veranstaltung „Freiheit und Verantwortung in den IT-Wissenschaften“
Die Lebenswissenschaften haben unser Leben zweifellos auf allen Ebenen verbessert. So hat die molekulargenetische Forschung etwa die Medikamentenentwicklung und die Produktion von essentiellen Nahrungsergänzungsstoffen sowie weiteren biologischen Wertstoffen revolutioniert. Infektionskrankheiten werden durch die Forschung an Krankheitserregern in der Regel gut verstanden und haben aufgrund der Entdeckung von Antibiotika und Impfstoffen einen großen Teil ihres früheren Schreckens verloren. Die Kritiker dieser Pathogenforschung befürchten jedoch, dass die in den Experimenten verwendeten bzw. erzeugten Krankheitserreger durch fahrlässiges Handeln aus den Hochsicherheitslaboratorien in die Umwelt gelangen und weiteren Schaden anrichten könnten. Diesen Risiken tragen zahlreiche Regularien Rechnung, deren Ziel es ist, eine optimale biologische Sicherheit (Biosafety) zu gewährleisten. Ein weiteres Gefahrenpotenzial wird darin gesehen, dass das durch entsprechende Publikationen in die Welt gesetzte Wissen auch zur Herstellung biologischer Waffen und für bioterroristische Anschläge missbraucht werden könnte. Im Zusammenhang dieser als Biosecurity bezeichneten Problematik sind in den letzten Jahren immer wieder gain-of-function-Experimente zur Übertragbarkeit von hochpathogenen Influenzaviren, sogenannte Vogelgrippeviren vom Typ H5N1, in den Fokus der Öffentlichkeit geraten. Weiterhin werden Missbrauchspotentiale der Forschung zu Gene Drives – genetische Konstrukte, die sich besonders effizient in sich Wildtierpopulationen ausbreiten sollen – international viel diskutiert.
Recommendations for the Evaluation and Oversight of Proposed Gain-of-Function Research (2016, PDF)
Akademienstellungnahme „Chancen und Grenzen des genome editing“ (2015)
Gain of Function: experimental applications relating to potentially pandemic pathogens (2015)
DFG-Verhaltenscodex: Arbeit mit hochpathogenen Mikroorganismen und Toxinen (2013, PDF)
Eine Forschergruppe plant mithilfe eines synthetisch hergestellten Pferdepockengenoms, das sie in Zellen einschleust, die mit einem ungefährlichen Kaninchenvirus infiziert sind, infektiöse Pferdepockenviren herzustellen. Der Neuwert dieses Projektes liegt vor allem in der Realisierung eines aufwändigen technischen Syntheseverfahrens, da die prinzipielle Machbarkeit eines solchen Versuches längst unstrittig ist. Die Forscher argumentieren, dass mithilfe dieses Verfahrens zukünftig neue Impfstoffe entwickelt werden könnten. Die Risiken liegen vor allem darin, dass die Technologie für die Herstellung von humanpathogenen Pockenviren genutzt werden könnte. Das Pockenvirus ist allerdings seit den 1980er Jahren ausgerottet und es existieren längst gute Impfstoffe. Die Argumentation seitens der Forscher ist also möglicherweise nicht tragfähig. Da die fachlich-technische Anforderung an dieses Projekt sehr hoch ist, kann es allerdings auch nicht ohne weiteres wiederholt werden.
Das Forschungsprojekt beschäftigt sich damit, Schwachstellen in Computerprogrammen, besonders in den Betriebssystemen von WLAN-Routern, Smartphones und Laptops durch KI-Methoden systematisch aufzudecken und automatische Abwehrmaßnahmen zu entwickeln. Die Ergebnisse dieses Forschungsprojekts sind überall dort nützlich, wo entsprechende Computerprogramme regelmäßig überprüft und aktualisiert werden müssen. Gleichzeitig erlauben sie es aber auch, diese Schwachstellen in zahlreichen Geräten, die keiner regelmäßigen Kontrolle und Aktualisierung unterliegen, zu identifizieren und auszunutzen. Nennenswert ist in diesem Zusammenhang die Ransomeware WannaLaugh. Sie wird ständig mit neuen Schwachstellen aktualisiert und eingesetzt, um Benutzer von verwundbaren IT-Geräten zu erpressen. Die Ergebnisse des Forschungsprojekts können zweifellos dafür benutzt werden, WannaLaugh noch schlagkräftiger zu machen.
Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“
In dem Forschungsprojekt soll ein Deep-Learning-Algorithmus weiterentwickelt werden, der zur Mustererkennung in Portraitfotos eingesetzt wird. Der Algorithmus soll mit Fotos bekennender homosexueller und heterosexueller Personen trainiert werden, um anschließend bei der Analyse weiterer Portraits die jeweilige sexuelle Orientierung vorherzusagen. Ein Nutzen wird vom Forscher darin gesehen, herauszufinden, wie Deep-Learning-Algorithmen Daten verknüpfen und welche Anhaltspunkte sie für Vorhersagen auswählen. Zudem sollen die Erkenntnisse unser Verständnis physiologischer Ursprünge der sexuellen Orientierung von Menschen und von den Grenzen der menschlichen Wahrnehmung fördern. Das Missbrauchsrisiko liegt in der möglichen unrechtmäßigen Erlangung sensitiver persönlicher Informationen anhand der Biometrie von Personen, beispielsweise in Ländern, in denen Homosexualität unter Strafe steht. Zugleich öffnet diese Forschung eine Tür zum Racial Profiling und erinnert an Rassenhygieneforschungen anhand von Physiognomien im Nationalsozialismus. Hochentwickelte Deep-Learning-Algorithmen dieser Art könnten auch dazu verwendet werden, Menschen bezüglich ihres Konsum- bzw. Wahlverhaltens oder in Bezug auf Straffälligkeiten einzugruppieren.
Erzeugung eines besonders letalen Mauspockenvirus
Jackson, R. J. et al. (2001) Expression of mouse interleukin-4 by a recombinant ectromelia virus suppresses cytolytic lymphocyte responses and overcomes genetic resistance to mousepox. Journal of Virology 75: 1205-1210. doi: 10.1128/JVI.75.3.1205-1210.2001
Erzeugung eines synthetischen infektiösen Poliovirus
Cello, J. et al. (2002) Chemical synthesis of poliovirus cDNA: generation of infectious virus in the absence of natural template. Science 297: 1016-1018. doi: 10.1126/science.1072266
Verstärkung der Pathogenität des Vacciniavirus
Rosengard, A. M. et al. (2002) Variola virus immune evasion design: expression of a highly efficient inhibitor of human complement. Proceedings of the National Academy of Sciences USA 99: 8808-8813. doi 10.1073/pnas.112220499
Rekonstruktion des Influenzavirus der Spanischen Grippe von 1918
Tumpey, T.M. et al. (2005) Characterisation of the reconstructed 1918 Spanish influenza pandemic virus. Science 310: 77-80. doi: 10.1126/science.1119392
Veränderung des Wirtsspektrums und Erhöhung der Übertragbarkeit des H5N1-Influenza-Virus
Herfst, S. et al. (2012) Airborne transmission of influenza A/H5N1 virus between ferrets. Science 336(6088):1534-1541. 10.1126/science.1213362
Veränderung des Wirtsspektrums des Hundestaupevirus
Bieringer, M. et al. (2013) Experimental Adaptation of wild-type canine distemper virus (CDV) to the human entry receptor CD150. PLOS One, 8(3): e57488. doi: 10.1371/journal.pone.0057488
3D-Printing von Mikrobengenomen
Boles, K.S. et al. (2017) Digital-to-biological converter for on-demand production of biologics. Nature Biotechnology 15(7): 672-675. doi: 10.1038/nbt.3859
Leiter der Geschäftsstelle
Telefon: 0160 9121 2676
E-Mail: johannes.fritsch@leopoldina.org
Projektkoordination
Telefon: 0170 792 0649
E-Mail: gemeinsamer-ausschuss@leopoldina.org
Wissenschaftliche Referentin
Telefon: 0175 - 293 3935
E-Mail: anita.kraetzner-ebert@leopoldina.org
Ansprechpartnerin der Deutschen Forschungsgemeinschaft
Telefon: 0228 - 885 2258
Fax: 0228 - 885 2777
E-Mail: dual-use@dfg.de
