sagt Professorin Dr. jur. Silja Vöneky, renommierte Völkerrechtlerin der Universität Freiburg.
Veröffentlicht am 22. September 2023
Prof. Dr. Silja Vöneky ist eine deutsche Völkerrechtlerin und lehrt am Institut für Öffentliches Recht der Albert-Ludwigs-Universität Freiburg. Fokussiert auf internationale Rechtsfragen und den Zusammenhang von Ethik und Recht, erforscht insbesondere das Thema Forschungsrisiken im Zusammenhang mit Künstlicher Intelligenz, Genforschung und Geoengineering. Aktuell ist sie u.a. Mitglied des völkerrechtlichen Beirats im Auswärtigen Amts sowie im Max-Planck-Ethikrat. Außerdem engagiert Sie sich im Fachbeirat des SMC Germany.
Volker Stollorz
ist Geschäftsführer des 2015 gegründeten Science Media Center Germany (SMC).
Seit 1991 berichtet der Wissenschaftsjournalist aus Leidenschaft über die
Reibungszonen zwischen Wissenschaft und Gesellschaft.
01 Volker Stollorz: Frau Professorin Silja Vöneky, schön, dass Sie bei »Together for Fact News« mit dabei sind. Ich fange mit einer persönlichen Frage an: Was fasziniert Sie speziell am Völkerrecht?
Silja Vöneky: Ich würde sagen, dass ich in allererster Linie Völkerrechtlerin bin, schon seit 1995. Damals gab es die große Umweltkatastrophe nach dem Überfall des Iraks auf Kuwait. Und das hat mich eigentlich zum Völkerrecht gebracht, also der Schutz der Umwelt in bewaffneten Konflikten. Was mich fasziniert, ist, dass wir auf völkerrechtlicher Ebene absehen können von den nationalen Problemen. Wir können auf die internationale Ebene schauen und versuchen, dort internationale Probleme zu lösen. Wir können uns mit den Normen beschäftigen, die sich diesen internationalen Problemen widmen. Und diese Herausforderungen, dieses Vorausdenken, finde ich wirklich faszinierend.
02 Wir Menschen, ob im Krieg oder auch im Frieden, nutzen durch unsere Aktivität die Umwelt und schützen sie in unseren kollektiven Handlungen nicht so, wie wir das rationalerweise tun sollten. Deshalb ist einerseits natürlich die internationale Perspektive wichtig, aber zugleich fehlt ein regulatorischer Rahmen, an dem wir uns, bezogen auf den Schutz der Umwelt, überstaatlich orientieren können. Also erscheint mir da bisher das Völkerrecht als zentraler Anker. Wir haben zwar die UN, das Völkerrecht, aber wir haben ja keine Weltregierung, sondern es agieren stets nationalstaatliche Akteure. Die können Dinge tun, die nicht richtig sind und schon gar nicht im Interesse der Menschheit.
Ja, richtig. Aber sie können eben auch Dinge tun, die richtig und wichtig sind. Zum Beispiel haben wir die Ozonschicht erfolgreich geschützt durch einen völkerrechtlich bindenden Vertrag. Wir schützen erstmals die hohe See, da gibt es einen neuen Vertrag. Wir haben das Paris Agreement zum Schutz des Klimas. Wir haben auch weitere Fortschritte. Ich würde mich selbst als langfristige Optimistin und kurzfristige Pessimistin definieren. Ich glaube, langfristig sind wir auf dem richtigen Weg. Wenn wir sehen, was wir im Umweltvölkerrecht in den vergangenen Jahren erreicht haben, ist das schon ziemlich viel. Vielleicht reicht das nicht, aber das liegt nicht am Völkerrecht, sondern es liegt an den Nationalstaaten.
03 Genau, es liegt an den Egoismen der Nationalstaaten. Die übernationalen Regelungen sind im Prinzip da, sie werden auch verhandelt, zum Beispiel aktuell dieses internationale Seerechtsabkommen. Aber es gibt bereits die Diskussion, ob das erste Unternehmen in der Tiefsee beginnen darf, Rohstoffe abzubauen. Da das Recht noch nicht kodifiziert ist: Darf es das oder nicht? Das Völkerrecht gibt zwar den Rahmen vor, aber es ist nicht durchsetzungsstark. Ist also diese Waffe für den Schutz unserer Lebenswelt stumpf? Wir haben Regeln, aber wer setzt sie um? Wie können wir denen, die sich nicht an die Regeln halten, die Konsequenzen vor Augen führen?
Wichtig ist zunächst einmal, dass wir sinnvolle Normen haben. Und das ist schon einmal ein großer Schritt. Völkerrechtliche Verträge werden immerhin verhandelt und geschlossen und vereinbart. Nicht alle Akteure unterzeichnen alle Verträge und dann müssen sie zudem in hinreichender Zahl ratifiziert werden. Das ist bei dem neuen Abkommen zur hohen See das Problem: Das ist jetzt erst mal vereinbart, aber es muss noch ratifiziert werden und erst dann tritt es formal in Kraft. Und sicher, das geht langsam. Aber noch mal: Wenn wir betrachten, was wir vor 20, 30 Jahren an Normen im Völkerrecht hatten, dann war das viel, viel weniger. Und wenn jetzt die Probleme existenzieller werden, dann können natürlich auch die Staaten theoretisch schnell handeln, wenn es den politischen Willen gibt. Das heißt, wenn der politische Wille einer hinreichenden Zahl von Staaten da ist, dann können wir auch völkerrechtlich relativ schnell sein. Zudem gibt es neben dem Vertragsrecht auch noch das Soft Law, in das wir Bewegung hineinbringen können. Aber wenn der politische Wille national nicht da ist, dann passiert nichts. Das heißt, es kommt eben auch auf die Bevölkerungen an. Sie müssen ihren Regierungen sagen, was Priorität haben soll.
04 Der Druck der Straße. Es gibt noch einen zweiten Aspekt: Wissenschaft kann neben Nutzen auch Risiken für die Gesellschaft produzieren. Es gibt Bereiche in der Wissenschaft, nehmen wir die Künstliche Intelligenz, wo Privatunternehmen auf der Basis der besten Wissenschaft extrem potente Technologien entwickeln. Wie verhält sich das Völkerrecht zu diesen nichtstaatlichen Akteuren, die übernational wirken?
Sie haben völlig recht: Wenn wir Unternehmen haben, die möglicherweise mehr wirtschaftliche Macht besitzen als manche Staaten, dann haben wir plötzlich einen Akteur, der international auftritt, grenzüberschreitend agiert und zumindest dann nicht reguliert ist, wenn die jeweiligen Nationalstaaten diesen Akteur nicht regulieren. Das heißt, das Völkerrecht kann ohne Willen der jeweiligen Staaten nicht auf diese privatwirtschaftlichen Akteure zugreifen. Aber wir sehen ja auch die moderne Entwicklung, dass Staaten sich zusammenschließen, um auch diese Akteure einzubinden durch völkerrechtliche Verträge und dass in den Verträgen die Staaten verpflichtet werden, ihre Unternehmen zu regulieren. Wenn Google plötzlich auf einer Ölplattform ein Labor errichten würde, um zu forschen, dann hätte Google ja immer noch seinen Hauptsitz in den USA und die USA wären grundsätzlich verpflichtet, aber auch berechtigt, die Konzernmutter zu regulieren. Diese Pflichten ergeben sich aus den Menschenrechten. Das ist zwar umstritten, aber es herrscht auch ein großer Ermessensspielraum. Grundsätzlich würde ich sagen, es gibt Pflichten der Staaten, große Unternehmen zu regulieren, sodass diese großen Unternehmen Menschenrechte im Kern nicht gefährden können.
05 Mein Eindruck ist, dass wir derzeit im Bereich Künstliche Intelligenz einen Wettlauf der Nationen erleben. Das heißt, der Wille der einzelnen Nationen, sich übernationalstaatlichen Regulierungen zu unterwerfen, wird abhängig vom politischen Willen der Staaten: Die wollen, dass ihre Akteure, sprich zum Beispiel Google in den USA oder Alibaba in China, in diesem Wettlauf möglichst die Nase vorn haben. Dabei könnte die Menschheit unbeabsichtigt an einen Kipppunkt kommen, an dem – jetzt mal vereinfacht ausgedrückt – die Künstliche Intelligenz schon so weit ist, dass sie sozusagen die Macht über die Menschheit übernimmt, bevor wir das regulieren konnten.
Ich sehe es eigentlich anders. Ich finde, es ist eher erstaunlich, dass dieser Bereich noch nicht reguliert ist, weil wir in anderen Technologie- und Forschungsbereichen, die ebenso disruptiv sind wie Künstliche Intelligenz, bereits Verträge haben. Also im Bereich der Biotechnologie zum Beispiel. Das fällt unter die Biodiversitätskonvention und das Cartagena Protokoll. Grundsätzlich haben wir einen völkerrechtlichen Vertrag, der sich mit der genetischen Veränderung von Pflanzen beschäftigt und selbst von Insekten mit Gene Drives. Da ist es eher erstaunlich, dass wir das im Bereich KI nicht haben. Das liegt vermutlich an den starken Akteuren, die ihre Unternehmen schützen wollen und ihren wirtschaftlichen Vorsprung. Aber dass KI möglicherweise eine disruptive Technologie ist, die zu existenziellen Risiken führen kann, das wissen wir seit langer Zeit.
06 Es ist die Schwierigkeit bei der Regulierung von KI, dass völlig unstrittig ist, dass sie sehr viele segensreiche Wirkungen entfalten kann, ob das jetzt in der Medizin ist oder bei der Automatisierung. Selbst in der zwischenmenschlichen Kommunikation kann ich mir coole Anwendungen vorstellen. Gleichzeitig besteht die Sorge, dass KI die menschliche Intelligenz übertreffen könnte und es dann zu unvorhersehbaren Folgen käme, einschließlich der Möglichkeit, dass KI die Welt übernimmt und die Menschheit unterwirft oder vernichtet. Das Dilemma ist: Wir haben hier einen speziellen Risikotyp, mit dem moderne Gesellschaften nicht gut klarkommen, nämlich dass lange nichts passiert. Aber wenn sich ein Risiko realisiert, dann ist der Schaden so existenziell, dass die Menschheit nicht mehr regulierend eingreifen kann.
Ja, das ist richtig. Aber eigentlich finde ich die Regulierungsfragen theoretisch bzw. dogmatisch gar nicht so schwierig zu lösen. Wir können immer sagen, in jedem Fall muss Künstliche Intelligenz gesetzeskonform sein. Das heißt, wir dürfen natürlich nicht, nur weil wir ein KI-System haben, plötzlich Datenschutzverstöße tolerieren, obwohl die Datenschutzgrundverordnung in Kraft ist. Und gesetzeskonform heißt eben auch völkerrechtskonform. Das heißt, KI-Systeme dürften eben nicht in Menschenrechte eingreifen, auch nicht im Verhältnis zwischen Unternehmen und Konsumenten beispielsweise diskriminierend sein, rassistisch sein, sexistisch sein. Und Large Language Models versuchen das inzwischen bereits zu integrieren, allerdings ohne staatliche Regulierung, sondern einfach nur mittels Selbstregulierung. Das Interessante bei der Frage der Regulierung von Forschungsfreiheit ist, dass wir Forschung jetzt auch in privaten Unternehmen haben. Das heißt, wenn wir die Forschungsfreiheit schützen, dann schützen wir nicht mehr nur die Forschungsfreiheit an unseren Universitäten, sondern zum Beispiel auch die von Open AI. Und genau das ist auch beim neuen EU-KI-Act ein Problem, dass wir eigentlich eher eine risikobasierte Regulierung haben, also Risiken für Menschenrechte reguliert werden. Bestimmte Anwendungen von KI-Systemen werden verboten, andere werden stärker reguliert. Geringe Risiken werden kaum reguliert. Aber im KI-Act gibt es eben eine Ausnahme für die Forschung. Das bedeutet dann auch eine Ausnahme für die Forschungsabteilung von privaten Firmen wie Open AI. Ob das richtig ist, weiß ich nicht. Ich glaube, wir müssen Freiräume für Forschung schaffen. Aber wir müssen dann auch sicherstellen, dass die Forschung gemeinwohlorientiert ist. Ob wir das bei privater Forschung, die letztendlich ausgerichtet ist auf ein Produkt, das verkauft werden soll, garantieren können, das weiß ich nicht. Genau deswegen haben wir da, glaube ich, noch Argumentationsbedarf.
07 Wie kann das gelingen, dass diese existenziellen Risiken, die in einer gemeinwohlorientiert verfassten freiheitlichen Forschung sozusagen gar nicht mehr entstehen können, reguliert werden?
Aus meiner Sicht müsste man hier wirklich über einen völkerrechtlichen Vertrag nachdenken, in dem sich die Staaten verpflichten, über die Akteure zu berichten – in der Regel dann eben über Unternehmen, die im Bereich Artificial General Intelligence forschen. Und die Staaten müssten diesen Unternehmen innerhalb ihrer nationalen Gesetzgebung Berichtspflichten auferlegen. Wir brauchen hier wirklich echte, vertraglich abgesicherte Berichtspflichten, sodass die Staaten berichten, welche Unternehmen in dem Bereich forschen. Diese Unternehmen müssten beispielsweise die Daten an internationale Organisationen oder an ein Expertengremium weitergeben, die relevant sind mit Blick auf katastrophale oder existenzielle Risiken. Es geht ja nicht darum, dass wir jeden Chatbot regulieren wollen, sondern wirklich darum, dass die Staaten gewarnt sind, wenn wir in die Nähe von Super Human AI kommen, und sich überlegen, ob sie nicht doch mal über internationale Regeln nachdenken. Das kann nicht auf Selbstverpflichtungen basieren. Gerade dann nicht, wenn wir der Forschung Freiheit geben wollen; dann muss es eben mehr Berichtspflichten geben.
08 Für den Journalismus wäre es doppelt schwer, wenn von Unternehmen oder Staaten gar nichts mehr wissenschaftlich publiziert würde, wenn nichts mehr öffentlich würde. Wenn ich darüber demokratisch diskutieren wollte, müsste ich ja erst mal wissen, was passiert.
Man könnte erwägen, dass die Wissenschaftsfreiheiten nur für diejenigen gelten, die auch wissenschaftlich publizieren.
09 Sie haben gesagt, Sie sind langfristig Optimistin und kurzfristig Pessimistin. Wieso eigentlich?
Wir haben schon gut funktionierende Verträge vereinbart – übrigens auch den Weltraum-Vertrag während des Kalten Krieges. Der gilt immer noch und ist immer noch wichtig, zum Beispiel ist die Entmilitarisierung des Weltraums weiterhin zentral. Aber wir haben in wichtigen Forschungs- und Technikbereichen keine hinreichende internationale Regulierung wie etwa im Bereich Künstliche Intelligenz oder auch beim Geoengineering, weil diese Probleme noch nicht hinreichend in der öffentlichen Diskussion sind.
10 Geoengineering ist ein interessanter Fall. Was wäre denn da die Regulierungsidee?
Das ist ein Riesenproblem, vor allem wenn nicht bald damit begonnen wird, hier Verträge zu verhandeln. Denn wenn wir an den Punkt kommen, an dem es wirklich existenziell wird, dann werden natürlich möglicherweise auch risikoreiche Technologien eingesetzt. Und deswegen sollten wir eigentlich jetzt darüber nachdenken, Geoengineering sinnvoll zu regulieren. Es gibt zwar Gewohnheitsrecht im Völkerrecht, das heißt, grenzüberschreitende Schädigungen dürfen nicht hervorgerufen werden durch Staaten, die ihre Unternehmen nicht ausreichend regulieren. Es gibt allerdings einige Staaten, deren Forscherinnen und Forscher Feldversuche unternehmen wollen. Und die Risiken sind aus meiner Sicht unabsehbar, wenn absichtlich Stoffe wie Sulfate in die Atmosphäre eingebracht werden. Das können wir nicht in einem großen Feldversuch zulassen. Das heißt, wir bräuchten dringend internationale Regeln, die vorgeben, was erlaubt ist und was nicht.
11 Das erscheint schwierig in einer multipolaren Welt, in der sich die Weltordnung neu sortiert.
Ich weiß es nicht. Vielleicht sind auch manche Diskussionen noch zu sehr auf kleine Zirkel beschränkt. Vielleicht bräuchte man mehr Öffentlichkeit in Bezug auf manche fachliche Diskussion. Vielleicht gäbe es dann auch mehr Interesse seitens der Politik, bestimmte existenzielle Fragen und Themen anzusprechen. Wir wollen ja alle nicht an den Folgen des Klimawandels zugrunde gehen. Wir wollen aber auch nicht an den Folgen von Geoengineering zugrunde gehen. Das heißt, eigentlich gibt es ja gemeinsame Interessen, gerade beim Schutz der Umwelt des Menschen. Deswegen brauchen wir vielleicht vermehrt wissenschaftsbasierte Diskussionen, sodass wir mehr Öffentlichkeit erzeugen, was dann auch wieder in die Politik hineinwirkt. Zum Beispiel Diskussionen über Geoengineering-Maßnahmen, bei denen Stoffe in die Atmosphäre eingebracht werden. Dazu habe ich noch nicht viel gelesen, dabei wäre es gut, eine faktenbasierte Diskussion zu führen.
12 Dann kommen wir jetzt zum »Journalismus über Wissenschaft«, also zum Öffentlichmachen von Public Issues. Sie haben es ja schon angesprochen. Wie können wir eigentlich öffentlich faktenbasiert diskutieren? Das ist ja unser Anliegen im Science Media Center, aber auch in der Initiative »Together for Fact News«. Was sind denn Ihre Erfahrungen mit öffentlichen Debatten über existenzielle Risiken?
Also, ich glaube, wenn sich die Staaten zusammenfinden, um Verträge zu verhandeln, wie bei dem neuen Vertrag über die hoheitsfreien Räume der Meere, dann, glaube ich, wäre es sinnvoll für Wissenschaftsjournalistinnen und -journalisten, genau hinzuschauen. Was wird verhandelt und was steckt da wissenschaftlich dahinter? Journalismus über Wissenschaft kann helfen, öffentliche Debatte anzustoßen, auch wenn es vielleicht kompliziert ist, weil ein Vertrag noch nicht ausgehandelt ist. Denn eigentlich ist es ja interessant, auch vorher schon eine Öffentlichkeit zu schaffen. Deswegen wäre es vielleicht gut, über Risiken der KI zu sprechen – bevor offene Briefe unterzeichnet werden. Und vielleicht macht es Sinn, eine neutralere Form von Öffentlichkeit aufzubauen und das kontinuierlicher. Seit 2015 wissen wir, dass Künstliche Intelligenz rasant fortschreitet, dass Künstliche Intelligenz disruptiv ist, dass wir keine Regeln haben für Künstliche Intelligenz.
13 Aber wir wissen aus der Kommunikationswissenschaft, dass natürlich die forschenden Akteure oder eben auch die privaten Akteure in öffentlichen Debatten stets für die Forschungsfreiheit plädieren und den Nutzen in den Vordergrund stellen. Und dass sie davor warnen, zu früh zu regulieren, weil dann wiederum die Forschung beschränkt wird und nicht voranschreiten kann.
Dieses Narrativ ist ja widerlegt. Ich meine, durch die Entwicklung der KI ist es widerlegt, dass Nichtregulierung zu Fortschritt führt. Wir hatten keine Regulierungen in Europa und wir haben hier nicht die Global Player. Insofern finde ich das Narrativ schon deswegen falsch, weil wir ja zwischen der Regulierung von Technologien und zwischen der Regulierung von Forschung unterscheiden müssen. Wir können ja die Technologien, die Produkte, regulieren und für Forschung Ausnahmen vorsehen. Das heißt, natürlich müssen wir über Risiken von Produkten sprechen, und natürlich müssen wir über Risiken von Forschung sprechen. Im medizinischen Bereich machen wir das schon lange, und niemand behauptet, dass wir keine Arzneimittelforschung mehr haben, nur weil diese hoch reguliert ist. Also ist das einfach ein Narrativ, das leicht zu verkaufen ist, aber nicht stimmt. Wir müssen Risiken und Chancen differenzierter betrachten. Und eben auch Risiken von Forschung lieber ansprechen, statt möglicherweise katastrophale Auswirkungen zu riskieren. Ich bin für eine offene Debatte. Also kurzfristig Pessimist sein, dann schauen, wo wirklich die neuralgischen Punkte sind, und dann fair und proportional regulieren. Das müssen wir sowieso: auf der Grundlage des Grundgesetzes und auf der Grundlage der europäischen Normen proportional regulieren. Die These, dass Forschung immer überreguliert wird oder sofort überreguliert wird, wenn es um Risiken geht, ist aus meiner Sicht schlicht falsch.
14 Dann komme ich jetzt zu meinen drei Schlussfragen. Die eine bezieht sich auf die Initiative selbst, »Together for Fact News«. Was verbinden Sie mit dem Begriff?
»Together for Fact News« bedeutet aus meiner Sicht, dass wir mehr auf die Fakten schauen sollten, auch mehr Fakten in die Öffentlichkeit tragen sollten, um dann auf der Grundlage der Fakten klüger zu regulieren.
15 Sie hatten schon oft Kontakt mit Journalismus über Wissenschaft. Gibt es da Schlüsselerlebnisse bei Ihnen? Guten Journalismus über wissenschaftliche Themen, wo sehen Sie den?
Es ist ja kein Geheimnis, dass ich diesen offenen Brief zur KI mit unterzeichnet habe. Zur Frage, ob es ein Moratorium für KI-Systeme geben sollte, die besser sind als ChatGPT4, fand ich eigentlich die mediale Berichterstattung gut, relativ fair und ausgewogen. Im Bereich Biosicherheit, Dual Use war ich damals Mitglied des Ethikrates. 2014 haben wir ein wichtiges Gutachten zur möglichen Regulierung herausgebracht. Da fand ich die Berichterstattung auch gut und fair. Aber im Bereich biosicherheitsrelevante Forschung zu riskanten Experimenten zum Anschärfen von Viren ist die Diskussion innerhalb und außerhalb der Forschung sehr politisiert worden in den vergangenen Jahren. Und da wurde es schwierig, vernünftig über Nutzen und mögliche existentielle Risiken in diesem Bereich zu reden. Das ist natürlich unangenehm, weil wir hier die Fakten nicht zur Kenntnis nehmen wollen: dass es sicherheitsrelevante Forschung mit potentiellen Pandemieerregern gibt, die einfach gefährlich ist, egal, wo die Corona-Pandemie herkam. Es gibt gefährliche Forschung. Deswegen gibt es ja auch verschiedene Sicherheitsstufen in Laboratorien. Und deswegen wäre es natürlich wichtig, internationale Regeln zu haben, was in einem BSL3-Labor getan werden darf und getan werden muss. Dadurch wird Forschung nicht verhindert, sondern die BSL3-Labore müssen eben die nötige Ausstattung bekommen, wenn dort gefährliche Forschung durchgeführt werden soll. Und die Staaten, die sich das strukturell nicht leisten können, müssen möglicherweise international unterstützt werden. Aber es kann nicht sein, dass in einem BSL2-Labor sicherheitsrelevante Forschung durchgeführt wird, die eigentlich in ein Hochsicherheitslabor gehört. Das ist nicht rational.
16 Gegenüber ist ja das Gebäude der Universität Freiburg, an dem oben ein vergoldeter Spruch über die Wahrheit prangt. Da kam uns eine Idee zum Schluss: Können Sie den Satz bitte selbst vervollständigen? Also, die Wahrheit wird ...
Die Wahrheit wird uns hoffentlich weise machen.
17 Vielen Dank, dass Sie bei »Together for Fact News« dabei sind.
PDF zum Download (1,6 MB)