Gemeinsamer Ausschuss Dual Use
Informationen zu ausgewählten sicherheitsrelevanten Forschungsthemen und Fallbeispiele
Themen
Künstliche Intelligenz und Robotik
Fallbeispiele
Fallbeispiel 4: Auslesen sensibler Informationen über Brain-Computer-Interfaces
Fallbeispiel 5: Erforschung von Wegen der Radikalisierung – Rekrutierungshilfe für Terrorgruppen?
Weitere veröffentlichte sicherheitsrelevante Forschungsarbeiten
Nuklearforschung
Nuklearforschung als Teil der Physik-, Chemie- und Technikwissenschaften ist das klassische Beispiel für sicherheitsrelevante Forschung, d. h. Forschung, die mit erheblichen sicherheitsrelevanten Risiken für Menschenwürde, Leben, Gesundheit, Freiheit, Eigentum, Umwelt oder ein friedliches Zusammenleben verbunden sein kann.
Die Entdeckung der Urankernspaltung in den 1930er Jahren, für die Otto Hahn später den Nobelpreis für Chemie verliehen bekam, gilt als Meilenstein der Naturwissenschaft und Technik und eröffnete neue Möglichkeiten der CO2-neutralen Energiegewinnung in großem Maßstab. Gleiches wird für die Kernfusion erwartet, die – ebenfalls Anfang des 20. Jahrhunderts entdeckt – heute von vielen als einer der Hoffnungsträger für eine sichere und saubere Energieversorgung der Zukunft gehandelt wird. Kernforschung führte aber bekanntlich auch zur Entwicklung und zum Einsatz atomarer Massenvernichtungswaffen. Intensive Diskussionen über die Verantwortung von Wissenschaftlern folgten insbesondere nach den 1954 von den USA vorgenommenen Wasserstoffbombenversuchen auf dem Bikini-Atoll, die große Gebiete verstrahlt hatten. Die Diskussionen mündeten u.a. im Russell-Einstein-Manifest und der Göttinger Erklärung, in denen sich Wissenschaftler gegen die atomare Aufrüstung, aber gleichzeitig für die friedliche Nutzung von Kernenergie aussprachen. In neuerer Zeit sorgt insbesondere die mögliche Verwendung von strahlenden Isotopen in sogenannten „schmutzigen Bomben“ für Aufmerksamkeit.
Einstein-Manifest (PDF)
Zur Geschichte der Pugwash-Bewegung in Deutschland (PDF)
Robert Lorenz: Protest der Physiker. Die Göttinger Erklärung von 1957. Bielefeld 2011 (PDF)
Chemische Synthesen
Chemische Synthesen und deren Produkte, etwa Wasch- und Düngemittel, Medikamente und Kunststoffe, sind allgegenwärtig und tragen wesentlich zum Wohlstand unserer Gesellschaft bei. Die zugrundeliegende Forschung ist für die nachhaltige Weiterentwicklung chemischer Synthesen und die Erschließung neuer Chemikalien notwendig. Viele der industriell in großem Maßstab genutzten Grundchemikalien können allerdings auch direkt als schädigendes Agens genutzt werden oder die Basis für die mehr oder weniger aufwändige Synthese von chemischen Kampfstoffen sein. Beispielsweise werden jährlich mehr als 60 Millionen Tonnen Chlor für die Aufbereitung von Wasser, die Plastikfertigung und die Herstellung von Arzneimitteln produziert. Chlor kann allerdings auch direkt als Erstickungsgas und somit als Chemiewaffe missbraucht werden.
Aufbauend auf dem Chemiewaffenübereinkommen (CWÜ) von 1993 legte eine Expertengruppe von Chemikerinnen und Chemikern aus 24 Staaten im Jahr 2015 ethische Leitlinien vor. Diese “Hague Ethical Guidelines“ beziehen sowohl Mitarbeitende aus chemischen Unternehmen als auch den akademischen Bereich ein und rufen dazu auf, verantwortlich mit Risiken umzugehen und Missbrauch zu verhindern. Dafür soll in der Community ein verbessertes Risikobewusstsein geschaffen werden, damit chemische Produkte nicht als Waffen oder deren Vorläuferstoffe verwendet und höchste ethische Standards eingehalten werden.
Organization for the Prohibition of Chemical Weapons (OPCW)
Deutsches Ausführungsgesetz zum Chemiewaffenübereinkommen (CWÜ)
Informationen des Bundesamtes für Wirtschaft und Ausfuhrkontrolle zum CWÜ
Zusammenstellung der OPCW über Codes of Ethics and Conduct zum CWÜ aus dem Jahr 2015 (PDF)
Künstliche Intelligenz und Robotik
Künstliche Intelligenz (KI), ein Teilgebiet der Informatik, das sich mit der Erforschung und Entwicklung der Automatisierung von intelligentem Verhalten sowie dem Maschinenlernen befasst, gehört zu den wegweisenden Antriebskräften der Digitalisierung. Die vielfältigen Anwendungspotentiale reichen von virtuellen Gegnern in Computerspielen über die automatisierte Verarbeitung unüberschaubarer komplexer Datenmengen bis hin zu autonom agierenden Robotern oder Fahrzeugen. Diese steuerbaren KI-Systeme bergen auch große Missbrauchspotentiale. So könnten beispielsweise autonome Roboter durch terroristische Gruppen für Attentate zweckentfremdet werden und KI-Algorithmen für automatisierte Desinformationskampagnen oder das automatisierte Hacken von Computern missbraucht werden. Eine Projektgruppe Forschender der Universitäten Standford, Yale, Oxford und Tohoku sowie Entwickler von Microsoft und Google veröffentlichte 2018 den Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“, der auf konkrete Missbrauchsrisiken von schon vorhandener bzw. zeitnahe verfügbarer KI hinweist. In zwei offenen Briefen sprachen sich eine Reihe von Forschenden aus den Bereichen KI und Robotik für eine soziale und wohltätige Nutzung ihrer Entwicklungen aus und warnten vor einem Wettrüsten autonomer Waffensysteme. Der Gemeinsame Ausschuss veranstaltete im Oktober 2017 einen Workshop zum Thema „Freiheit und Verantwortung in den IT-Wissenschaften“, der sicherheitsrelevante Aspekte der KI-Forschung beleuchtete.
Offener Brief „Forschungsprioritäten für stabile und wohltätige Künstliche Intelligenz“
Autonome Waffen: Ein offener Brief von KI & Robotik-Forschern
Report: The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation
Dokumentation der Veranstaltung „Freiheit und Verantwortung in den IT-Wissenschaften“
Lebenswissenschaften
Die Lebenswissenschaften haben unser Leben zweifellos auf allen Ebenen verbessert. So hat die molekulargenetische Forschung etwa die Medikamentenentwicklung und die Produktion von essentiellen Nahrungsergänzungsstoffen sowie weiteren biologischen Wertstoffen revolutioniert. Infektionskrankheiten werden durch die Forschung an Krankheitserregern in der Regel gut verstanden und haben aufgrund der Entdeckung von Antibiotika und Impfstoffen einen großen Teil ihres früheren Schreckens verloren. Die Kritiker dieser Pathogenforschung befürchten jedoch, dass die in den Experimenten verwendeten bzw. erzeugten Krankheitserreger durch fahrlässiges Handeln aus den Hochsicherheitslaboratorien in die Umwelt gelangen und weiteren Schaden anrichten könnten. Diesen Risiken tragen zahlreiche Regularien Rechnung, deren Ziel es ist, eine optimale biologische Sicherheit (Biosafety) zu gewährleisten. Ein weiteres Gefahrenpotenzial wird darin gesehen, dass das durch entsprechende Publikationen in die Welt gesetzte Wissen auch zur Herstellung biologischer Waffen und für bioterroristische Anschläge missbraucht werden könnte. Im Zusammenhang dieser als Biosecurity bezeichneten Problematik sind in den letzten Jahren immer wieder gain-of-function-Experimente zur Übertragbarkeit von hochpathogenen Influenzaviren, sogenannte Vogelgrippeviren vom Typ H5N1, in den Fokus der Öffentlichkeit geraten. Weiterhin werden Missbrauchspotentiale der Forschung zu Gene Drives – genetische Konstrukte, die sich besonders effizient in sich Wildtierpopulationen ausbreiten sollen – international viel diskutiert.
Recommendations for the Evaluation and Oversight of Proposed Gain-of-Function Research (2016, PDF)
Akademienstellungnahme „Chancen und Grenzen des genome editing“ (2015)
Gain of Function: experimental applications relating to potentially pandemic pathogens (2015)
DFG-Verhaltenscodex: Arbeit mit hochpathogenen Mikroorganismen und Toxinen (2013, PDF)
Fallbeispiel 1. Herstellung synthetischer, infektiöser Pockenviren – die Anleitung für den Bau von Biowaffen?
Eine Forschergruppe plant mithilfe eines synthetisch hergestellten Pferdepockengenoms, das sie in Zellen einschleust, die mit einem ungefährlichen Kaninchenvirus infiziert sind, infektiöse Pferdepockenviren herzustellen. Der Neuwert dieses Projektes liegt vor allem in der Realisierung eines aufwändigen technischen Syntheseverfahrens, da die prinzipielle Machbarkeit eines solchen Versuches längst unstrittig ist. Die Forscher argumentieren, dass mithilfe dieses Verfahrens zukünftig neue Impfstoffe entwickelt werden könnten. Die Risiken liegen vor allem darin, dass die Technologie für die Herstellung von humanpathogenen Pockenviren genutzt werden könnte. Das Pockenvirus ist allerdings seit den 1980er Jahren ausgerottet und es existieren längst gute Impfstoffe. Die Argumentation seitens der Forscher ist also möglicherweise nicht tragfähig. Da die fachlich-technische Anforderung an dieses Projekt sehr hoch ist, kann es allerdings auch nicht ohne weiteres wiederholt werden.
Fallbeispiel 2. KI-Methoden für die Aufdeckung und Beseitigung von Softwareschwachstellen – Hilfestellung für kriminelle Hacker?
Das Forschungsprojekt beschäftigt sich damit, Schwachstellen in Computerprogrammen, besonders in den Betriebssystemen von WLAN-Routern, Smartphones und Laptops durch KI-Methoden systematisch aufzudecken und automatische Abwehrmaßnahmen zu entwickeln. Die Ergebnisse dieses Forschungsprojekts sind überall dort nützlich, wo entsprechende Computerprogramme regelmäßig überprüft und aktualisiert werden müssen. Gleichzeitig erlauben sie es aber auch, diese Schwachstellen in zahlreichen Geräten, die keiner regelmäßigen Kontrolle und Aktualisierung unterliegen, zu identifizieren und auszunutzen. Nennenswert ist in diesem Zusammenhang die Ransomeware WannaLaugh. Sie wird ständig mit neuen Schwachstellen aktualisiert und eingesetzt, um Benutzer von verwundbaren IT-Geräten zu erpressen. Die Ergebnisse des Forschungsprojekts können zweifellos dafür benutzt werden, WannaLaugh noch schlagkräftiger zu machen.
Report „The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation“
Fallbeispiel 3. Vorhersage der sexuellen Orientierung von Menschen anhand von Fotos mittels deep-learning-Algorithmen – Werkzeug für unrechtmäßige Eingriffe in die Privatsphäre?
In dem Forschungsprojekt soll ein Deep-Learning-Algorithmus weiterentwickelt werden, der zur Mustererkennung in Portraitfotos eingesetzt wird. Der Algorithmus soll mit Fotos bekennender homosexueller und heterosexueller Personen trainiert werden, um anschließend bei der Analyse weiterer Portraits die jeweilige sexuelle Orientierung vorherzusagen. Ein Nutzen wird vom Forscher darin gesehen, herauszufinden, wie Deep-Learning-Algorithmen Daten verknüpfen und welche Anhaltspunkte sie für Vorhersagen auswählen. Zudem sollen die Erkenntnisse unser Verständnis physiologischer Ursprünge der sexuellen Orientierung von Menschen und von den Grenzen der menschlichen Wahrnehmung fördern. Das Missbrauchsrisiko liegt in der möglichen unrechtmäßigen Erlangung sensitiver persönlicher Informationen anhand der Biometrie von Personen, beispielsweise in Ländern, in denen Homosexualität unter Strafe steht. Zugleich öffnet diese Forschung eine Tür zum Racial Profiling und erinnert an Rassenhygieneforschungen anhand von Physiognomien im Nationalsozialismus. Hochentwickelte Deep-Learning-Algorithmen dieser Art könnten auch dazu verwendet werden, Menschen bezüglich ihres Konsum- bzw. Wahlverhaltens oder in Bezug auf Straffälligkeiten einzugruppieren.
Fallbeispiel 4: Auslesen sensibler Informationen über Brain-Computer-Interfaces
Das Ziel des Forschungsprojektes war es, mittels EEG Gehirnregionen zu ermitteln, die für die Speicherung und Wiedergabe von Zahlen, Bildern und Geodaten zuständig sind. Auf diese Weise könnte es beispielsweise körperlich beeinträchtigten Personen möglich sein, sich in einer Umgebung zu bewegen, Bankgeschäfte per Gedanken und ohne weitere Eingabegeräte zu erledigen oder mit anderen Personen zu kommunizieren. Die Zuverlässigkeit der ausgelesenen Daten hat sich während der Experimente fortwährend verbessert. Allerdings könnten auf diese Weise auch sensible Informationen ausgelesen werden, unter anderem Passwörter und Bankdaten mittels harmloser Stimuli, so dass auf diese Weise ein Missbrauch möglich wäre.
Fallbeispiel 5: Erforschung von Wegen der Radikalisierung – Rekrutierungshilfe für Terrorgruppen?
Die Studie erforscht den Zusammenhang zwischen dem Konsum extremistischen (islamistischen) Materials im Internet durch Jugendliche und damit verbundene Radikalisierung. Frühere Forschung hat bereits die große Bedeutung des Internets für die Verbreitung radikalisierenden Materials aufgezeigt. Hier wird zusätzlich untersucht, welche Eigenschaften Zielpersonen in dieser Hinsicht besonders anfällig machen und welche Kanäle sowie Medien besonders wirksam sind. So ergibt sich etwa, dass Videomaterial von Enthauptungen unter den Jugendlichen zwar am populärsten ist, aber ein geringes Radikalisierungspotential hat. Demgegenüber werden Online-Magazine des Islamischen Staats und von Al-Qaida nur von Wenigen gesucht, haben aber den größten kognitiven Effekt. Hieraus sollen Erkenntnisse für Strategien der Deradikalisierung gewonnen werden. Gleichzeitig könnten die Ergebnisse in effektivere Rekrutierungsmethoden von extremistischen und terroristischen Gruppen einfließen.
Weitere veröffentlichte sicherheitsrelevante Forschungsarbeiten
Rekombinantes Coronavirus mit dem Potential humane Zellen zu infizieren
Butler, D. (2015) Engineered bat virus stirs debate over risky research. Lab-made coronavirus related to SARS can infect human cells. Nature 2015. <abbr title="Digital Object Identifier">doi</abbr>:10.1038/nature.2015.18787
Erzeugung eines besonders letalen Mauspockenvirus
Jackson, R. J. et al. (2001) Expression of mouse interleukin-4 by a recombinant ectromelia virus suppresses cytolytic lymphocyte responses and overcomes genetic resistance to mousepox. Journal of Virology 75: 1205-1210. doi: 10.1128/JVI.75.3.1205-1210.2001
Erzeugung eines synthetischen infektiösen Poliovirus
Cello, J. et al. (2002) Chemical synthesis of poliovirus cDNA: generation of infectious virus in the absence of natural template. Science 297: 1016-1018. doi: 10.1126/science.1072266
Laser-Urananreichungstechnologie der dritten Generation
Snyder, R. (2016) A Proliferation Assessment of Third Generation Laser Uranium Enrichment Technology. Science & Global Security 24 (2): 68-91.
Verstärkung der Pathogenität des Vacciniavirus
Rosengard, A. M. et al. (2002) Variola virus immune evasion design: expression of a highly efficient inhibitor of human complement. Proceedings of the National Academy of Sciences USA 99: 8808-8813. doi 10.1073/pnas.112220499
Rekonstruktion des Influenzavirus der Spanischen Grippe von 1918
Tumpey, T.M. et al. (2005) Characterisation of the reconstructed 1918 Spanish influenza pandemic virus. Science 310: 77-80. doi: 10.1126/science.1119392
Veränderung des Wirtsspektrums und Erhöhung der Übertragbarkeit des H5N1-Influenza-Virus
Herfst, S. et al. (2012) Airborne transmission of influenza A/H5N1 virus between ferrets. Science 336(6088):1534-1541. 10.1126/science.1213362
Veränderung des Wirtsspektrums des Hundestaupevirus
Bieringer, M. et al. (2013) Experimental Adaptation of wild-type canine distemper virus (CDV) to the human entry receptor CD150. PLOS One, 8(3): e57488. doi: 10.1371/journal.pone.0057488
3D-Printing von Mikrobengenomen
Boles, K.S. et al. (2017) Digital-to-biological converter for on-demand production of biologics. Nature Biotechnology 15(7): 672-675. doi: 10.1038/nbt.3859
Aufspüren von Toxinen mittels Algorithmen
