Leopoldina Menü

Leopoldina Home

Gemeinsamer Ausschuss Dual Use

Informationen zu ausgewählten sicherheitsrelevanten Forschungsthemen und Fallbeispiele

Nuklearforschung

Nuklearforschung als Teil der Physik-, Chemie- und Technikwissenschaften ist das klassische Beispiel für sicherheitsrelevante Forschung, d. h. Forschung, die mit erheblichen sicherheitsrelevanten Risiken für Menschenwürde, Leben, Gesundheit, Freiheit, Eigentum, Umwelt oder ein friedliches Zusammenleben verbunden sein kann.

Die Entdeckung der Urankernspaltung in den 1930er Jahren, für die Otto Hahn später den Nobelpreis für Chemie verliehen bekam, gilt als Meilenstein der Naturwissenschaft und Technik und eröffnete neue Möglichkeiten der CO2-neutralen Energiegewinnung in großem Maßstab. Gleiches wird für die Kernfusion erwartet, die – ebenfalls Anfang des 20. Jahrhunderts entdeckt –  heute von vielen als einer der Hoffnungsträger für eine sichere und saubere Energieversorgung der Zukunft gehandelt wird. Kernforschung führte aber bekanntlich auch zur Entwicklung und zum Einsatz atomarer Massenvernichtungswaffen. Intensive Diskussionen über die Verantwortung von Wissenschaftlern folgten insbesondere nach den 1954 von den USA vorgenommenen Wasserstoffbombenversuchen auf dem Bikini-Atoll, die große Gebiete verstrahlt hatten. Die Diskussionen mündeten u.a. im Russell-Einstein-Manifest und der Göttinger Erklärung, in denen sich Wissenschaftler gegen die atomare Aufrüstung, aber gleichzeitig für die friedliche Nutzung von Kernenergie aussprachen. In neuerer Zeit sorgt insbesondere die mögliche Verwendung von strahlenden Isotopen in sogenannten „schmutzigen Bomben“ für Aufmerksamkeit.

Einstein-Manifest (PDF)

Göttinger Erklärung

Zur Geschichte der Pugwash-Bewegung in Deutschland (PDF)

Robert Lorenz: Protest der Physiker. Die Göttinger Erklärung von 1957. Bielefeld 2011 (PDF)

Chemische Synthesen

Chemische Synthesen und deren Produkte, etwa Wasch- und Düngemittel, Medikamente und Kunststoffe, sind allgegenwärtig und tragen wesentlich zum Wohlstand unserer Gesellschaft bei. Die zugrundeliegende Forschung ist für die nachhaltige Weiterentwicklung chemischer Synthesen und die Erschließung neuer Chemikalien notwendig. Viele der industriell in großem Maßstab genutzten Grundchemikalien können allerdings auch direkt als schädigendes Agens genutzt werden oder die Basis für die mehr oder weniger aufwändige Synthese von chemischen Kampfstoffen sein. Beispielsweise werden jährlich mehr als 60 Millionen Tonnen Chlor für die Aufbereitung von Wasser, die Plastikfertigung und die Herstellung von Arzneimitteln produziert. Chlor kann allerdings auch direkt als Erstickungsgas und somit als Chemiewaffe missbraucht werden.

Aufbauend auf dem Chemiewaffenübereinkommen (CWÜ) von 1993 legte eine Expertengruppe von Chemikerinnen und Chemikern aus 24 Staaten im Jahr 2015 ethische Leitlinien vor. Diese “Hague Ethical Guidelines“ beziehen sowohl Mitarbeitende aus chemischen Unternehmen als auch den akademischen Bereich ein und rufen dazu auf, verantwortlich mit Risiken umzugehen und Missbrauch zu verhindern. Dafür soll in der Community ein verbessertes Risikobewusstsein geschaffen werden, damit chemische Produkte nicht als Waffen oder deren Vorläuferstoffe verwendet und höchste ethische Standards eingehalten werden.

Organization for the Prohibition of Chemical Weapons (OPCW)

The Hague Ethical Guidelines

Deutsches Ausführungsgesetz zum Chemiewaffenübereinkommen (CWÜ)

Informationen des Bundesamtes für Wirtschaft und Ausfuhrkontrolle zum CWÜ

Zusammenstellung der OPCW über Codes of Ethics and Conduct zum CWÜ aus dem Jahr 2015 (PDF)

Künstliche Intelligenz und Robotik

Künstliche Intelligenz (KI), ein Teilgebiet der Informatik, das sich mit der Erforschung und Entwicklung der Automatisierung von intelligentem Verhalten sowie dem Maschinenlernen befasst, gehört zu den wegweisenden Antriebskräften der Digitalisierung. Die vielfältigen Anwendungspotentiale reichen von virtuellen Gegnern in Computerspielen über die automatisierte Verarbeitung unüberschaubarer komplexer Datenmengen bis hin zu autonom agierenden Robotern oder Fahrzeugen. Diese steuerbaren KI-Systeme bergen auch große Missbrauchspotentiale. So könnten beispielsweise autonome Roboter durch terroristische Gruppen für Attentate zweckentfremdet werden und KI-Algorithmen für automatisierte Desinformationskampagnen oder das automatisierte Hacken von Computern missbraucht werden. Eine Projektgruppe Forschender der Universitäten Standford, Yale, Oxford und Tohoku sowie Entwickler von Microsoft und Google veröffentlichte 2018 den Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“, der auf konkrete Missbrauchsrisiken von schon vorhandener bzw. zeitnahe verfügbarer KI hinweist. In zwei offenen Briefen sprachen sich eine Reihe von Forschenden aus den Bereichen KI und Robotik für eine soziale und wohltätige Nutzung ihrer Entwicklungen aus und warnten vor einem Wettrüsten autonomer Waffensysteme. Der Gemeinsame Ausschuss veranstaltete im Oktober 2017 einen Workshop zum Thema „Freiheit und Verantwortung in den IT-Wissenschaften“, der sicherheitsrelevante Aspekte der KI-Forschung beleuchtete.

Offener Brief „Forschungsprioritäten für stabile und wohltätige Künstliche Intelligenz“

Autonomous Weapons: An Open Letter from AI & Robotics Researchers

Report: The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

Dokumentation der Veranstaltung „Freiheit und Verantwortung in den IT-Wissenschaften“

Statement der European Group on Ethics in Science and New Technologies „Artificial Intelligence, Robotics and ‚Autonomous‘ Systems” (PDF)

Lebenswissenschaften

Die Lebenswissenschaften haben unser Leben zweifellos auf allen Ebenen verbessert. So hat die molekulargenetische Forschung etwa die Medikamentenentwicklung und die Produktion von essentiellen Nahrungsergänzungsstoffen sowie weiteren biologischen Wertstoffen revolutioniert. Infektionskrankheiten werden durch die Forschung an Krankheitserregern in der Regel gut verstanden und haben aufgrund der Entdeckung von Antibiotika und Impfstoffen einen großen Teil ihres früheren Schreckens verloren. Die Kritiker dieser Pathogenforschung befürchten jedoch, dass die in den Experimenten verwendeten bzw. erzeugten Krankheitserreger durch fahrlässiges Handeln aus den Hochsicherheitslaboratorien in die Umwelt gelangen und weiteren Schaden anrichten könnten. Diesen Risiken tragen zahlreiche Regularien Rechnung, deren Ziel es ist, eine optimale biologische Sicherheit (Biosafety) zu gewährleisten. Ein weiteres Gefahrenpotenzial wird darin gesehen, dass das durch entsprechende Publikationen in die Welt gesetzte Wissen auch zur Herstellung biologischer Waffen und für bioterroristische Anschläge missbraucht werden könnte. Im Zusammenhang dieser als Biosecurity bezeichneten Problematik sind in den letzten Jahren immer wieder gain-of-function-Experimente zur Übertragbarkeit von hochpathogenen Influenzaviren, sogenannte Vogelgrippeviren vom Typ H5N1, in den Fokus der Öffentlichkeit geraten. Weiterhin werden Missbrauchspotentiale der Forschung zu Gene Drives – genetische Konstrukte, die sich besonders effizient in sich Wildtierpopulationen ausbreiten sollen –  international viel diskutiert.

Assessing the Security Implications of Genome Editing Technology: Report of an international workshop (2018)

Gene Drives on the Horizon: Advancing Science, Navigating Uncertainty, and Aligning Research with Public Values (2016)

Recommendations for the Evaluation and Oversight of Proposed Gain-of-Function Research (2016, PDF)

Akademienstellungnahme „Chancen und Grenzen des genome editing“ (2015)

Gain of Function: experimental applications relating to potentially pandemic pathogens (2015)

Stellungnahme des Deutschen Ethikrats „Biosicherheit – Freiheit und Verantwortung in der Wissenschaft“ (2014)

DFG-Verhaltenscodex: Arbeit mit hochpathogenen Mikroorganismen und Toxinen (2013, PDF)

Fallbeispiel 1. Herstellung synthetischer, infektiöser Pockenviren – die Anleitung für den Bau von Biowaffen?

Eine Forschergruppe plant mithilfe eines synthetisch hergestellten Pferdepockengenoms, das sie in Zellen einschleust, die mit einem ungefährlichen Kaninchenvirus infiziert sind, infektiöse Pferdepockenviren herzustellen. Der Neuwert dieses Projektes liegt vor allem in der Realisierung eines aufwändigen technischen Syntheseverfahrens, da die prinzipielle Machbarkeit eines solchen Versuches längst unstrittig ist. Die Forscher argumentieren, dass mithilfe dieses Verfahrens zukünftig neue Impfstoffe entwickelt werden könnten. Die Risiken liegen vor allem darin, dass die Technologie für die Herstellung von humanpathogenen Pockenviren genutzt werden könnte. Das Pockenvirus ist allerdings seit den 1980er Jahren ausgerottet und es existieren längst gute Impfstoffe. Die Argumentation seitens der Forscher ist also möglicherweise nicht tragfähig. Da die fachlich-technische Anforderung an dieses Projekt sehr hoch ist, kann es allerdings auch nicht ohne weiteres wiederholt werden.

Noyce, R. S., Lederman S. und Evans, D. H. (2018) Construction of an infectious horsepox virus vaccine from chemically synthesized DNA fragments. PLoS One, 13(1):e0188453

Fallbeispiel 2. KI-Methoden für die Aufdeckung und Beseitigung von Softwareschwachstellen – Hilfestellung für kriminelle Hacker?

Das Forschungsprojekt beschäftigt sich damit, Schwachstellen in Computerprogrammen, besonders in den Betriebssystemen von WLAN-Routern, Smartphones und Laptops durch KI-Methoden systematisch aufzudecken und automatische Abwehrmaßnahmen zu entwickeln. Die Ergebnisse dieses Forschungsprojekts sind überall dort nützlich, wo entsprechende Computerprogramme regelmäßig überprüft und aktualisiert werden müssen. Gleichzeitig erlauben sie es aber auch, diese Schwachstellen in zahlreichen Geräten, die keiner regelmäßigen Kontrolle und Aktualisierung unterliegen, zu identifizieren und auszunutzen. Nennenswert ist in diesem Zusammenhang die Ransomeware WannaLaugh. Sie wird ständig mit neuen Schwachstellen aktualisiert und eingesetzt, um Benutzer von verwundbaren IT-Geräten zu erpressen. Die Ergebnisse des Forschungsprojekts können zweifellos dafür benutzt werden, WannaLaugh noch schlagkräftiger zu machen.

Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“

Fallbeispiel 3. Vorhersage der sexuellen Orientierung von Menschen anhand von Fotos mittels deep-learning-Algorithmen – Werkzeug für unrechtmäßige Eingriffe in die Privatsphäre?

In dem Forschungsprojekt soll ein Deep-Learning-Algorithmus weiterentwickelt werden, der zur Mustererkennung in Portraitfotos eingesetzt wird. Der Algorithmus soll mit Fotos bekennender homosexueller und heterosexueller Personen trainiert werden, um anschließend bei der Analyse weiterer Portraits die jeweilige sexuelle Orientierung vorherzusagen. Ein Nutzen wird vom Forscher darin gesehen, herauszufinden, wie Deep-Learning-Algorithmen Daten verknüpfen und welche Anhaltspunkte sie für Vorhersagen auswählen. Zudem sollen die Erkenntnisse unser Verständnis physiologischer Ursprünge der sexuellen Orientierung von Menschen und von den Grenzen der menschlichen Wahrnehmung fördern. Das Missbrauchsrisiko liegt in der möglichen unrechtmäßigen Erlangung sensitiver persönlicher Informationen anhand der Biometrie von Personen, beispielsweise in Ländern, in denen Homosexualität unter Strafe steht. Zugleich öffnet diese Forschung eine Tür zum Racial Profiling und erinnert an Rassenhygieneforschungen anhand von Physiognomien im Nationalsozialismus. Hochentwickelte Deep-Learning-Algorithmen dieser Art könnten auch dazu verwendet werden, Menschen bezüglich ihres Konsum- bzw. Wahlverhaltens oder in Bezug auf Straffälligkeiten einzugruppieren.

Wang, Y. und Kosinski, M. (2017) Deep neural networks are more accurate than humans at detecting sexual orientation from facial images. PsyArXiv

Weitere veröffentlichte sicherheitsrelevante Forschungsarbeiten

Erzeugung eines besonders letalen Mauspockenvirus
Jackson, R. J. et al. (2001) Expression of mouse interleukin-4 by a recombinant ectromelia virus suppresses cytolytic lymphocyte responses and overcomes genetic resistance to mousepox. Journal of Virology 75: 1205-1210. doi: 10.1128/JVI.75.3.1205-1210.2001

Erzeugung eines synthetischen infektiösen Poliovirus
Cello, J. et al. (2002) Chemical synthesis of poliovirus cDNA: generation of infectious virus in the absence of natural template. Science 297: 1016-1018. doi: 10.1126/science.1072266

Verstärkung der Pathogenität des Vacciniavirus
Rosengard, A. M. et al. (2002) Variola virus immune evasion design: expression of a highly efficient inhibitor of human complement. Proceedings of the National Academy of Sciences USA 99: 8808-8813. doi 10.1073/pnas.112220499

Rekonstruktion des Influenzavirus der Spanischen Grippe von 1918
Tumpey, T.M. et al. (2005) Characterisation of the reconstructed 1918 Spanish influenza pandemic virus. Science 310: 77-80. doi: 10.1126/science.1119392

Veränderung des Wirtsspektrums und Erhöhung der Übertragbarkeit des H5N1-Influenza-Virus
Herfst, S. et al. (2012) Airborne transmission of influenza A/H5N1 virus between ferrets. Science 336(6088):1534-1541. 10.1126/science.1213362

Imai, M. et al. (2012) Experimental adaptation of an influenza H5 HA confers respiratory droplet transmission to a reassortant H5 HA/H1N1 virus in ferrets. Nature 486(7403): 420-42. doi: 10.1038/nature10831

Veränderung des Wirtsspektrums des Hundestaupevirus
Bieringer, M. et al. (2013) Experimental Adaptation of wild-type canine distemper virus (CDV) to the human entry receptor CD150. PLOS One, 8(3): e57488. doi: 10.1371/journal.pone.0057488

3D-Printing von Mikrobengenomen
Boles, K.S. et al. (2017) Digital-to-biological converter for on-demand production of biologics. Nature Biotechnology 15(7): 672-675. doi: 10.1038/nbt.3859

Geschäftsstelle Gemeinsamer Ausschuss zum Umgang mit Sicherheitsrelevanter Forschung

Dr. Johannes Fritsch

Dr. Johannes Fritsch

Leiter der Geschäftsstelle

Telefon: 0160 9121 2676
E-Mail: johannes.fritsch@leopoldina.org

Yvonne Borchert

Yvonne Borchert

Projektkoordination

Telefon: 0170 792 0649
E-Mail: gemeinsamer-ausschuss@leopoldina.org

Dr. Anita Krätzner-Ebert

Dr. Anita Krätzner-Ebert

Wissenschaftliche Referentin

Telefon: 0175 - 293 3935
E-Mail: anita.kraetzner-ebert@leopoldina.org

Dr. Ingrid Ohlert

Ansprechpartnerin der Deutschen Forschungsgemeinschaft

Telefon: 0228 - 885 2258
Fax: 0228 - 885 2777
E-Mail: dual-use@dfg.de