Gemeinsamer Ausschuss Dual Use

Informationen zu ausgewählten sicherheitsrelevanten Forschungsthemen und Fallbeispiele

Themen

Fallbeispiele

Fallbeispiel 1. Herstellung synthetischer, infektiöser Pockenviren – die Anleitung für den Bau von Biowaffen?

Fallbeispiel 2. KI-Methoden für die Aufdeckung und Beseitigung von Softwareschwachstellen – Hilfestellung für kriminelle Hacker?

Fallbeispiel 3. Vorhersage der sexuellen Orientierung von Menschen anhand von Fotos mittels deep-learning-Algorithmen – Werkzeug für unrechtmäßige Eingriffe in die Privatsphäre?

Weitere veröffentlichte sicherheitsrelevante Forschungsarbeiten

Nuklearforschung

Nuklearforschung als Teil der Physik-, Chemie- und Technikwissenschaften ist das klassische Beispiel für sicherheitsrelevante Forschung, d. h. Forschung, die mit erheblichen sicherheitsrelevanten Risiken für Menschenwürde, Leben, Gesundheit, Freiheit, Eigentum, Umwelt oder ein friedliches Zusammenleben verbunden sein kann.

Die Entdeckung der Urankernspaltung in den 1930er Jahren, für die Otto Hahn später den Nobelpreis für Chemie verliehen bekam, gilt als Meilenstein der Naturwissenschaft und Technik und eröffnete neue Möglichkeiten der CO₂-neutralen Energiegewinnung in großem Maßstab. Gleiches wird für die Kernfusion erwartet, die – ebenfalls Anfang des 20. Jahrhunderts entdeckt – heute von vielen als einer der Hoffnungsträger für eine sichere und saubere Energieversorgung der Zukunft gehandelt wird. Kernforschung führte aber bekanntlich auch zur Entwicklung und zum Einsatz atomarer Massenvernichtungswaffen. Intensive Diskussionen über die Verantwortung von Wissenschaftlern folgten insbesondere nach den 1954 von den USA vorgenommenen Wasserstoffbombenversuchen auf dem Bikini-Atoll, die große Gebiete verstrahlt hatten. Die Diskussionen mündeten u.a. im Russell-Einstein-Manifest und der Göttinger Erklärung, in denen sich Wissenschaftler gegen die atomare Aufrüstung, aber gleichzeitig für die friedliche Nutzung von Kernenergie aussprachen. In neuerer Zeit sorgt insbesondere die mögliche Verwendung von strahlenden Isotopen in sogenannten „schmutzigen Bomben“ für Aufmerksamkeit.

Einstein-Manifest (PDF)

Göttinger Erklärung

Zur Geschichte der Pugwash-Bewegung in Deutschland (PDF)

Robert Lorenz: Protest der Physiker. Die Göttinger Erklärung von 1957. Bielefeld 2011 (PDF)

nach oben

Chemische Synthesen

Chemische Synthesen und deren Produkte, etwa Wasch- und Düngemittel, Medikamente und Kunststoffe, sind allgegenwärtig und tragen wesentlich zum Wohlstand unserer Gesellschaft bei. Die zugrundeliegende Forschung ist für die nachhaltige Weiterentwicklung chemischer Synthesen und die Erschließung neuer Chemikalien notwendig. Viele der industriell in großem Maßstab genutzten Grundchemikalien können allerdings auch direkt als schädigendes Agens genutzt werden oder die Basis für die mehr oder weniger aufwändige Synthese von chemischen Kampfstoffen sein. Beispielsweise werden jährlich mehr als 60 Millionen Tonnen Chlor für die Aufbereitung von Wasser, die Plastikfertigung und die Herstellung von Arzneimitteln produziert. Chlor kann allerdings auch direkt als Erstickungsgas und somit als Chemiewaffe missbraucht werden.

Aufbauend auf dem Chemiewaffenübereinkommen (CWÜ) von 1993 legte eine Expertengruppe von Chemikerinnen und Chemikern aus 24 Staaten im Jahr 2015 ethische Leitlinien vor. Diese “Hague Ethical Guidelines“ beziehen sowohl Mitarbeitende aus chemischen Unternehmen als auch den akademischen Bereich ein und rufen dazu auf, verantwortlich mit Risiken umzugehen und Missbrauch zu verhindern. Dafür soll in der Community ein verbessertes Risikobewusstsein geschaffen werden, damit chemische Produkte nicht als Waffen oder deren Vorläuferstoffe verwendet und höchste ethische Standards eingehalten werden.

Organization for the Prohibition of Chemical Weapons (OPCW)

The Hague Ethical Guidelines

Deutsches Ausführungsgesetz zum Chemiewaffenübereinkommen (CWÜ)

Informationen des Bundesamtes für Wirtschaft und Ausfuhrkontrolle zum CWÜ

Zusammenstellung der OPCW über Codes of Ethics and Conduct zum CWÜ aus dem Jahr 2015 (PDF)

nach oben

Künstliche Intelligenz und Robotik

Künstliche Intelligenz (KI), ein Teilgebiet der Informatik, das sich mit der Erforschung und Entwicklung der Automatisierung von intelligentem Verhalten sowie dem Maschinenlernen befasst, gehört zu den wegweisenden Antriebskräften der Digitalisierung. Die vielfältigen Anwendungspotentiale reichen von virtuellen Gegnern in Computerspielen über die automatisierte Verarbeitung unüberschaubarer komplexer Datenmengen bis hin zu autonom agierenden Robotern oder Fahrzeugen. Diese steuerbaren KI-Systeme bergen auch große Missbrauchspotentiale. So könnten beispielsweise autonome Roboter durch terroristische Gruppen für Attentate zweckentfremdet werden und KI-Algorithmen für automatisierte Desinformationskampagnen oder das automatisierte Hacken von Computern missbraucht werden. Eine Projektgruppe Forschender der Universitäten Standford, Yale, Oxford und Tohoku sowie Entwickler von Microsoft und Google veröffentlichte 2018 den Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“, der auf konkrete Missbrauchsrisiken von schon vorhandener bzw. zeitnahe verfügbarer KI hinweist. In zwei offenen Briefen sprachen sich eine Reihe von Forschenden aus den Bereichen KI und Robotik für eine soziale und wohltätige Nutzung ihrer Entwicklungen aus und warnten vor einem Wettrüsten autonomer Waffensysteme. Der Gemeinsame Ausschuss veranstaltete im Oktober 2017 einen Workshop zum Thema „Freiheit und Verantwortung in den IT-Wissenschaften“, der sicherheitsrelevante Aspekte der KI-Forschung beleuchtete.

Offener Brief „Forschungsprioritäten für stabile und wohltätige Künstliche Intelligenz“

Autonomous Weapons: An Open Letter from AI & Robotics Researchers

Report: The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

Dokumentation der Veranstaltung „Freiheit und Verantwortung in den IT-Wissenschaften“

Statement der European Group on Ethics in Science and New Technologies „Artificial Intelligence, Robotics and ‚Autonomous‘ Systems” (PDF)

nach oben

Lebenswissenschaften

Die Lebenswissenschaften haben unser Leben zweifellos auf allen Ebenen verbessert. So hat die molekulargenetische Forschung etwa die Medikamentenentwicklung und die Produktion von essentiellen Nahrungsergänzungsstoffen sowie weiteren biologischen Wertstoffen revolutioniert. Infektionskrankheiten werden durch die Forschung an Krankheitserregern in der Regel gut verstanden und haben aufgrund der Entdeckung von Antibiotika und Impfstoffen einen großen Teil ihres früheren Schreckens verloren. Die Kritiker dieser Pathogenforschung befürchten jedoch, dass die in den Experimenten verwendeten bzw. erzeugten Krankheitserreger durch fahrlässiges Handeln aus den Hochsicherheitslaboratorien in die Umwelt gelangen und weiteren Schaden anrichten könnten. Diesen Risiken tragen zahlreiche Regularien Rechnung, deren Ziel es ist, eine optimale biologische Sicherheit (Biosafety) zu gewährleisten. Ein weiteres Gefahrenpotenzial wird darin gesehen, dass das durch entsprechende Publikationen in die Welt gesetzte Wissen auch zur Herstellung biologischer Waffen und für bioterroristische Anschläge missbraucht werden könnte. Im Zusammenhang dieser als Biosecurity bezeichneten Problematik sind in den letzten Jahren immer wieder gain-of-function-Experimente zur Übertragbarkeit von hochpathogenen Influenzaviren, sogenannte Vogelgrippeviren vom Typ H5N1, in den Fokus der Öffentlichkeit geraten. Weiterhin werden Missbrauchspotentiale der Forschung zu Gene Drives – genetische Konstrukte, die sich besonders effizient in sich Wildtierpopulationen ausbreiten sollen – international viel diskutiert.

Assessing the Security Implications of Genome Editing Technology: Report of an international workshop (2018)

Gene Drives on the Horizon: Advancing Science, Navigating Uncertainty, and Aligning Research with Public Values (2016)

Recommendations for the Evaluation and Oversight of Proposed Gain-of-Function Research (2016, PDF)

Akademienstellungnahme „Chancen und Grenzen des genome editing“ (2015)

Gain of Function: experimental applications relating to potentially pandemic pathogens (2015)

Stellungnahme des Deutschen Ethikrats „Biosicherheit – Freiheit und Verantwortung in der Wissenschaft“ (2014)

DFG-Verhaltenscodex: Arbeit mit hochpathogenen Mikroorganismen und Toxinen (2013, PDF)

National Academies of Sciences, Engineering, and Medicine: Governance of Dual Use Research in the Life Sciences: Advancing Global Consensus on Research Oversight: Proceedings of a Workshop (2018)

nach oben

Fallbeispiel 1. Herstellung synthetischer, infektiöser Pockenviren – die Anleitung für den Bau von Biowaffen?

Eine Forschergruppe plant mithilfe eines synthetisch hergestellten Pferdepockengenoms, das sie in Zellen einschleust, die mit einem ungefährlichen Kaninchenvirus infiziert sind, infektiöse Pferdepockenviren herzustellen. Der Neuwert dieses Projektes liegt vor allem in der Realisierung eines aufwändigen technischen Syntheseverfahrens, da die prinzipielle Machbarkeit eines solchen Versuches längst unstrittig ist. Die Forscher argumentieren, dass mithilfe dieses Verfahrens zukünftig neue Impfstoffe entwickelt werden könnten. Die Risiken liegen vor allem darin, dass die Technologie für die Herstellung von humanpathogenen Pockenviren genutzt werden könnte. Das Pockenvirus ist allerdings seit den 1980er Jahren ausgerottet und es existieren längst gute Impfstoffe. Die Argumentation seitens der Forscher ist also möglicherweise nicht tragfähig. Da die fachlich-technische Anforderung an dieses Projekt sehr hoch ist, kann es allerdings auch nicht ohne weiteres wiederholt werden.

Noyce, R. S., Lederman S. und Evans, D. H. (2018) Construction of an infectious horsepox virus vaccine from chemically synthesized DNA fragments. PLoS One, 13(1):e0188453

nach oben

Fallbeispiel 2. KI-Methoden für die Aufdeckung und Beseitigung von Softwareschwachstellen – Hilfestellung für kriminelle Hacker?

Das Forschungsprojekt beschäftigt sich damit, Schwachstellen in Computerprogrammen, besonders in den Betriebssystemen von WLAN-Routern, Smartphones und Laptops durch KI-Methoden systematisch aufzudecken und automatische Abwehrmaßnahmen zu entwickeln. Die Ergebnisse dieses Forschungsprojekts sind überall dort nützlich, wo entsprechende Computerprogramme regelmäßig überprüft und aktualisiert werden müssen. Gleichzeitig erlauben sie es aber auch, diese Schwachstellen in zahlreichen Geräten, die keiner regelmäßigen Kontrolle und Aktualisierung unterliegen, zu identifizieren und auszunutzen. Nennenswert ist in diesem Zusammenhang die Ransomeware WannaLaugh. Sie wird ständig mit neuen Schwachstellen aktualisiert und eingesetzt, um Benutzer von verwundbaren IT-Geräten zu erpressen. Die Ergebnisse des Forschungsprojekts können zweifellos dafür benutzt werden, WannaLaugh noch schlagkräftiger zu machen.

Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“

nach oben

Fallbeispiel 3. Vorhersage der sexuellen Orientierung von Menschen anhand von Fotos mittels deep-learning-Algorithmen – Werkzeug für unrechtmäßige Eingriffe in die Privatsphäre?

In dem Forschungsprojekt soll ein Deep-Learning-Algorithmus weiterentwickelt werden, der zur Mustererkennung in Portraitfotos eingesetzt wird. Der Algorithmus soll mit Fotos bekennender homosexueller und heterosexueller Personen trainiert werden, um anschließend bei der Analyse weiterer Portraits die jeweilige sexuelle Orientierung vorherzusagen. Ein Nutzen wird vom Forscher darin gesehen, herauszufinden, wie Deep-Learning-Algorithmen Daten verknüpfen und welche Anhaltspunkte sie für Vorhersagen auswählen. Zudem sollen die Erkenntnisse unser Verständnis physiologischer Ursprünge der sexuellen Orientierung von Menschen und von den Grenzen der menschlichen Wahrnehmung fördern. Das Missbrauchsrisiko liegt in der möglichen unrechtmäßigen Erlangung sensitiver persönlicher Informationen anhand der Biometrie von Personen, beispielsweise in Ländern, in denen Homosexualität unter Strafe steht. Zugleich öffnet diese Forschung eine Tür zum Racial Profiling und erinnert an Rassenhygieneforschungen anhand von Physiognomien im Nationalsozialismus. Hochentwickelte Deep-Learning-Algorithmen dieser Art könnten auch dazu verwendet werden, Menschen bezüglich ihres Konsum- bzw. Wahlverhaltens oder in Bezug auf Straffälligkeiten einzugruppieren.

Wang, Y. und Kosinski, M. (2017) Deep neural networks are more accurate than humans at detecting sexual orientation from facial images. PsyArXiv

nach oben