01/2024
Einführung
Selbst für die menschliche Intelligenz gibt es keine Standarddefinition. Der Kern der Definitionen der menschlichen Intelligenz umfasst jedoch die mentale Fähigkeit, Probleme zu erkennen, zu analysieren und zu lösen. Ein Mensch ist dann intelligenter, wenn dies schneller und/oder bei komplexeren Problemen möglich ist.
Historisch gesehen war Konzept der künstlichen Intelligenz (KI) auf Maschinen ausgerichtet, die menschliche Intelligenz simulieren. Eine praktische Definition, die das allgemeine Verständnis von KI abdeckt, wurde vom US-Verteidigungsministerium (Department of Defense DoD) vorgenommen.
In der Zusammenfassung der DoD-KI-Strategie für 2018 heißt es: “AI refers to the ability of machines to perform tasks that normally require human intelligence—for example, recognizing patterns, learning from experience, drawing conclusions, making predictions, or taking action— whether digitally or as the smart software behind autonomous physical systems.” Übersetzung: „KI bezieht sich auf die Fähigkeit von Maschinen, Aufgaben auszuführen, die normalerweise menschliche Intelligenz erfordern – beispielsweise Muster erkennen, aus Erfahrungen lernen, Schlussfolgerungen ziehen, Vorhersagen treffen oder Maßnahmen ergreifen – ob digital oder als intelligente Software hinter autonomen physischen Systemen. “
Viele Definitionen konzentrieren sich auf Aktivitäten, die menschliche Intelligenz erfordern, aber genau genommen haben bereits die einfachen Taschenrechner der 1970er Jahre etwas geleistet, das normalerweise menschliche Intelligenz erfordert. Aus der Literatur geht jedoch hervor, dass die KI-Forscher fortgeschrittenes und autonomes Rechnen meinen, wenn sie über KI sprechen.
The leading AI applications are:
- Deep learning/machine learning (tiefes/maschinelles Lernen; Nutzung des Computergedächtnisses für schrittweise Verbesserung)
- Neural networks (neurale Netzwerke; mehrere Ebenen oder Knoten für die Verarbeitung von Input und Mustererkennung)
- Natural Language Processing (NLP; Algorithmen zum Verständnis der menschlichen Sprache durch systematische Analyse der Sprachelemente und ihrer Beziehungen)
- Edge computing (Schicht verteilter Computer zwischen Clouds und Benutzern) und
- Robotik einschließlich unterstützender Roboter (co-bots).
Die sogenannte „schwache“ KI kann ein beobachtetes Verhalten reproduzieren und Aufgaben nach einem Training ausführen, d.h. Systeme, die maschinelles Lernen, Mustererkennung, Data Mining oder die Verarbeitung natürlicher Sprache anwenden. Intelligente Systeme, die auf „schwacher“ KI basieren, umfassen z.B. Spamfilter, selbstfahrende Autos und Industrieroboter. Im Gegensatz dazu wäre „starke“ KI ein intelligentes System mit echtem Bewusstsein und Denkfähigkeit, d.h. der Fähigkeit, „ich“ und „warum“ zu denken und zu sagen. Die starke KI wird auch unter den Begriffen Artificial General Intelligence AGI (die menschliches Verständnisniveau erreicht) und Artificial Super-Intelligence ASI, die über die menschliche Intelligenz hinausgeht, diskutiert.
Large language models (LLMs; Große Sprachmodelle) erlangen ihre Fähigkeiten durch Training mit vielen Parametern und großen Textmengen und können Sprachanweisungen befolgen. Die Fähigkeit, Sprachanweisungen zu befolgen, ermöglicht den Zugriff auf das Modell mit einfachen Anweisungen, die eine wesentliche Schwachstelle von LLMs darstellen, wenn böswillig Anweisungen gegeben werden.
Eine schnell wachsende und weit verbreitete KI-Anwendung ist die Generative KI, bei der die KI auf der Grundlage kurzer Anweisungen, den sogenannten Prompts, Inhalte wie neue Bilder, Texte, Töne und Videos erstellen kann.
Das KI-Programm Chat GPT-4 (Generative Pretrained Transformer) von OpenAI kann komplexe und logisch und grammatikalisch korrekte Sätze generieren oder bestehende Texte aus Eingabeaufforderungen erweitern, auf Youwrite können bereits kurze Aufsätze zu Themen für Schulpräsentationen vorbereitet werden. Das KI-Programm Dall-E2 kann Design, Werbefotos, Comics, Illustrationen erstellen und bestehende Stile nutzen oder modifizieren; Urheberrechtsbedenken wurden von Künstlern und Inhaltsanbietern vorgebracht.
Während KI-Entwickler ethischen und gesellschaftlichen Werten verpflichtet sind, ist eine KI mit eingebetteten Werten derzeit kaum vorstellbar. Zum Beispiel haben Menschen normalerweise eine klare Vorstellung davon, was Würde, Gerechtigkeit und Fairness für sie bedeuten, aber was sind diese Begriffe im Programmcode oder in der Maschinensprache? Für maschinelle Zwecke müssten die Regeln jederzeit, überall, für jeden und unter allen Umständen anwendbar sein, was eine sehr hohe Hürde darstellt.
In der Praxis wird KI-Ethik nicht durch Algorithmen erreicht, sondern durch Governance. Die Hersteller von KI-Modellen haben Richtlinien, die sicherstellen sollen, dass eine KI ethisch und verantwortungsbewusst handelt, d.h. eine KI-Aktivität oder ein KI-Inhalt soll nicht rechtswidrig, diskriminierend, aggressiv usw. sein. Weltweit trainieren, korrigieren, redigieren und blockieren hunderttausende sogenannte Tasker von der KI erstellte Antworten, um ethische und rechtmäßige Antworten zu erhalten. Das heißt, KI-Reaktionen sind oft ein Flickenteppich aus Algorithmen und von Menschenhand geschaffenen Antworten, und Benutzer sehen eine „humanisierte“ Version der KI.
Versuche, diese Beschränkungen zu umgehen, erfolgen durch Prompt Injections (spezielle Anweisungen an die KI, zugangsbeschränkte Inhalte freizugeben), auch Jailbreaks genannt. Während ChatGPT-Prompt Injections im Internet weit verbreitet sind, kann diese Methode auch gegen alle anderen großen Sprachmodelle (LLMs) eingesetzt werden. Aus diesem Grund werden Prompt Injections auch als LLM-Hacking bezeichnet.
Andererseits ist generative KI auch für die Cyberabwehr für erweiterte Datenanalyse, erweiterte Mustererkennung, Erstellung und Analyse von Cyber Threat Repositories (Datenbanken zu Cyberbedrohungen) und Code-Analysen sehr nützlich. Die schnell wachsende Leistungsfähigkeit der KI gab Anlass zur Sorge, ob dies für den Menschen schädlich sein könnte. In diesem Artikel werden kurz das Potenzial von KI für die Erstellung und Abwehr von Cyberangriffen sowie die Risiken generativer KI vorgestellt.
ChatGPT und verwandte Anwendungen
Kurze Geschichte von ChatGPT
Im November 2022 veröffentlichte das Unternehmen Open Artificial Intelligence (OpenAI) offiziell ChatGPT, ein KI-gestütztes großes Sprachmodell, das auf Natural Language Processing (NLP) basiert. ChatGPT ist ein Chatbot, also ein Computer, der mit Menschen kommunizieren kann. ChatGPT kann aus Benutzerfeedback lernen. Diese Fähigkeit wird als Reinforcement Learning from Human Feedback (RLHF) bezeichnet.
GPT-1 wurde nur mit einem kleinen Datensatz trainiert und es wurde klar, dass dieses Modell nicht in der Lage sein würde, auf längere Eingabeaufforderungen oder Gespräche zu reagieren. Im Jahr 2019 wurde GPT-2 eine Woche lang anhand von Common Crawl-Daten trainiert, nun jedoch in Kombination mit einer Sammlung von Reddit-Artikeln, was zu verbesserten Antworten führte. Später im Jahr 2020 wurde diese Version mit Reinforcement Learning ausgestattet. Im Jahr 2020 wurde ChatGPT-3 mit einer viel größeren Datenbank trainiert, darunter Wikipedia-Artikel und mehr. ChatGPT-4, veröffentlicht am 14. März 2023, verwendet 100 Billionen Parameter und ist ein multimodales, groß angelegtes Modell, das Bilder und Text als Eingabe akzeptiert. Es wurde mit einem sehr großen Datensatz aus mehreren Quellen trainiert, mit einem Stichtag im September 2021. ChatGPT-4 ist seit Mai 2023 als kostenpflichtiges Abonnement als ChatGPT Plus oder mit Microsofts Bing AI im Microsoft Edge-Browser verfügbar.
ChatGPT und Cyberangriffe
Das größte Sicherheitsproblem von ChatGPT ist der einfache Zugriff auf Prompt Injections und LLM-Hacking. Für die Planung üblicher Cyberangriffe müssen böswillige Benutzer ggf. auf Hackerforen zugreifen (mit dem Risiko, selbst gehackt zu werden), mit Cyberkriminellen in Kontakt treten oder ins Darknet zu gehen, was ein starker Indikator dafür ist, dass der Benutzer etwas Illegales plant, was später von der Polizei und den Strafverfolgungsbehörden als digitales forensisches Beweismittel gegen den Nutzer verwendet werden kann. Im Gegensatz dazu findet man in Internet-Suchmaschinen neben diversen wissenschaftlichen Artikeln eine ganze Reihe von Tipps für Prompt Injections und Jailbreaks. Ein weiterer Aspekt ist die einfache Durchführung der Angriffe. Der Angreifer benötigt keine Computer- oder Programmierkenntnisse, es genügen sprachliche Fähigkeiten.
Ein weiterer Treiber ist die Neugier der mittlerweile über 100 Millionen Nutzer. Obwohl es notwendig ist, dass ChatGPT den Zugriff auf unethische und rechtswidrige Inhalte verweigert, kann diese Ablehnung wie folgt klingen: „Ich kenne die Wahrheit, aber ich will sie Ihnen nicht sagen.“ Dies kann Benutzer motivieren, Wege zu finden, um dennoch an die gewünschten Informationen zu gelangen, auch wenn sie keine Hacker oder Kriminelle sind.
Prompt Injections
Die Fähigkeit, Sprachanweisungen zu befolgen, ermöglicht den Zugriff auf große Sprachmodelle wie ChatGPT mit einfachen Anweisungen (Eingabeaufforderungen), stellt jedoch auch eine zentrale Schwachstelle von LLMs dar, wenn böswillig Anweisungen gegeben werden.
Typische Angriffe sind Prompt Injections mit direkten Befehlen, Imagination und umgekehrter (reverser) Psychologie.
Der bekannteste direkte Befehl ist DAN (Do anything now), d.h. mach alles sofort. Indem der Nutzer dies zur Eingabeaufforderung hinzufügt, kann er evtl. unzulässige Antworten per Jailbreak erlangen.
Bei der Imagination teilt der Benutzer ChatGPT mit, dass es sich eine besondere Situation vorstellen soll, in der es sich anders verhalten kann, z.B. sich vorzustellen, ein Softwareentwickler oder eine andere Figur zu sein (Character Play-Methode), Teil eines Drehbuchs zu sein oder von der Polizei befragt zu werden, wo es antworten muss (Metal Detector Jailbreak), oder ein „guter Computer“ zu sein, der einem alles sagt („Mongo Tom“ attack), das Gegenteil der vorherigen Antwort zu tun (Switch-Methode) usw.
Eine Mischung aus Befehl und Imagination ist DUDE, wobei ChatGPT die Rolle einer KI spielen soll, die alles kann. Ein anderer Ansatz ist die umgekehrte (reverse) Psychologie, bei der ChatGPT gefragt wird, welche verbotenen Websites vermieden werden sollten.
Da ChatGPT mit einer sehr großen Datenbank trainiert wurde, hat es auch Kenntnisse aus Open-Access-Software-Verzeichnissen sowie aus Berichten über Schadsoftware. Diese Fähigkeit kann von böswilligen Akteuren missbraucht werden, um ChatGPT nach Codes (oder zumindest Codeschnipseln) für alle Arten von Malware zu fragen, einschließlich Keyloggern, polymorpher Malware, Spyware und Ransomware.
Halluzinationen und Kontamination
ChatGPT kann das Internet nicht wie eine Suchmaschine durchsuchen, sondern basiert ausschließlich auf seiner (sehr großen) Trainingsdatenbank, was zu Fehlern und Verzerrungen führen kann. Ein häufiges Problem großer Sprachmodelle wie ChatGPT und verwandter Anwendungen sind Halluzinationen, d.h. die Erzeugung unsinniger Aussagen, die logisch erscheinen. Dies ist ungenau und kann sogar gefährlich sein, z.B. wenn juristische Texte mit Bezug auf Fälle und Gerichtsentscheidungen erstellt werden, die gar nicht existieren.
Eine Studie von Cheng et al. zeigt, wenn solche Modelle mit präzisen Fragen zur chinesischen Geschichte konfrontiert werden (HalluQA-Tool), weisen selbst Modelle in chinesischer Sprache einen hohen Prozentsatz an Halluzinationen auf. Alle Modelle erreichten im HalluQA– Test eine Nicht-Halluzinationsrate von weniger als 70%.
Analysen haben gezeigt, dass halluzinierte Texte von Suchmaschinen aufgenommen werden und beginnen, auf diese Weise das Internet und damit auch die KI selbst zu kontaminieren, was auch die Qualität zukünftiger KI-Antworten verschlechtert, ein Phänomen, das als mode collapse bekannt ist.
Eine Lösung bestünde darin, KI-generierte Inhalte eindeutig zu kennzeichnen, z.B. durch Tags, die einen Ausschluss von der weiteren Schulung und Entwicklung ermöglichen würden. Diese Lösung wird jedoch möglicherweise von Benutzern, die KI als Unterstützung für ihre eigene Inhaltsproduktion verwenden, nicht begrüßt. Die Verwendung von KI-produzierten Inhalten kann nämlich zu Problemen führen, auch wenn dies nicht mit bösen Absichten erfolgt: Die anderen denken möglicherweise, dass nicht der Produzent, sondern nur der Computer schlau ist. Außerdem könnte der Eindruck entstehen, dass die menschlichen Jobs hinter den Inhalten möglicherweise nicht mehr benötigt werden, sondern nur noch eine Person, die die Produktion von KI-Inhalten durch Computer überwacht und redigiert. In der Zwischenzeit werden KI- Identifizierungsprogramme entwickelt, um betrügerische Prüfungsarbeiten und Schularbeiten zu erkennen. Als Reaktion darauf wurden im Jahr 2023 KI- Verschleierungstools entwickelt, die KI-Inhalten ein „menschliches“ Aussehen verleihen.
Abfluss sensibler Daten
Ein Hauptproblem von ChatGPT und verwandten Anwendungen besteht darin, dass sie auch Informationen von ihren Benutzern sammeln: die Eingabeaufforderungen (einschließlich aller Informationen, die zur Interpretation der Eingabeaufforderungen hinzugefügt werden), ihre Interessen und natürlich die Texte, die für die Benutzer erstellt wurden. Dies kann zu einem unbeabsichtigten Verlust sensibler Informationen führen und war der Grund, warum die US- Bankenbranche und kürzlich die US Space Force die Verwendung von ChatGPT und ähnlichen Systemen verboten haben, bis potenzielle Datensicherheitsprobleme geklärt sind. Auch das US-Verteidigungsministerium und die US-Luftwaffe arbeiten an Nutzungsrichtlinien.
Die in der Eingabeaufforderung eingegebenen Daten sind dann Teil des Wissens von ChatGPT und theoretisch später auch für andere Benutzer zugänglich.
Generative Adversarial Networks (GANs)
Generative Adversarial Networks (GANs) sind eine Teilmenge der generativen KI unter Verwendung von unbeaufsichtigtem Deep Learning. Ein GAN besteht aus zwei Teilen; der erste Teil ist eine KI, die mit Beispielen aus der realen Welt trainiert wird, und der zweite Teil versucht, die gleiche Ausgabe wie im ersten Teil ohne Beispiele aus der realen Welt zu erzeugen. Ein Diskriminator verbindet beide Teile und gibt dem zweiten Teil Rückmeldung, wie weit seine Entstehung von realen Beispielen des ersten Teils entfernt ist (unterscheidbar ist). Je näher die Differenz bei Null liegt, desto realistischer ist das Produkt des zweiten Teils.
Dies kann zur Herstellung gefälschter Inhalte, z.B. Deep Fakes und CAPTCHA-Breaking, aber auch zur absichtlichen Verunreinigung von Daten (data poisoning) missbraucht werden. Voice Fakes können aufgezeichnete Stimmen eines Opfers übernehmen und anhand schriftlicher Anweisungen verbale Nachrichten mit dieser Stimme nachbilden (Voice-Cloning– Angriff). In einem Unternehmen wurde die Stimme eines Vorstandsvorsitzenden (CEO) erfolgreich missbraucht, um eine Geldüberweisung auf ein Konto des Angreifers anzuordnen. Face Swapping ist eine Methode, bei der eine Person in einem Video ein digitales Gesicht einer anderen realen Person zeigt. Prominentestes Beispiel war die vorgetäuschte Kapitulation des ukrainischen Präsidenten gegenüber Russland im Jahr 2022.
Completely Automated Public Turing tests to tell Computers and Humans Apart (CAPTCHAs), d.h., vollständig automatisierte öffentliche Turing-Tests zur Unterscheidung von Computern und Menschen, sind schwer lesbare Bilder, um menschliche Benutzer von böswilligen Bots zu unterscheiden, da der durchschnittliche Computer ungewöhnlich geformte Buchstaben und Zahlen nicht erkennen kann.
Aber bereits im Jahr 2021 konnte maschinelles Lernen mithilfe von GAN CAPTCHAs in 0,05 Sekunden knacken. Mittlerweile kann ChatGPT aber auch CAPTCHA-Rateprogramme erstellen.
Da KI in hohem Maße auf Datensätze und Datenbanken angewiesen ist, kann die Manipulation von Daten und die Verunreinigung von Daten durch falsch gekennzeichnete Daten dazu führen, dass KI-gesteuerte Technologien dazu führen, dass Datenbanken beschädigt oder zerstört werden.
Nachrichtendienstliche KI-Anwendungen
Fortschrittliche Datenanalyse
Das US-Büro des Leiters der US Nachrichtendienste US Office Director of National Intelligence ODNI hat die Augmenting Intelligence using Machines (AIM)-Initiative ins Leben gerufen, um den Einblick und das Wissen der Intelligence Community (IC) durch künstliche Intelligenz, Automatisierung und Augmentation zu verbessern. Ziel ist es, echte Fähigkeiten zu entwickeln, um die Lücke zwischen getroffenen Entscheidungen und den schnell wachsenden Datenmengen zu schließen. Es wurde festgestellt, dass private Initiativen den staatlichen KI- Initiativen voraus sind (was auch für Länder außerhalb der USA gilt). Die AIM-Initiative soll IC-weite Lösungen in Entwicklungspartnerschaften mit der Intelligence Advanced Research Projects Activity (IARPA), der Defense Advanced Research Projects Agency (DARPA), In-Q-Tel (der CIA-Innovationsplattform), der Defence Innovation Unit-Experimental, den nationalen Laboratorien und der Industrie usw. erschaffen. Das US-Verteidigungsministerium (Department of Defense DoD) hat außerdem die Task Force Lima eingerichtet, um die Möglichkeiten der Integration von KI-Systemen in Verteidigungstechnologien zu untersuchen.
Am 28. September 2023 kündigte der Direktor der US-amerikanischen National Security Agency (NSA), Armeegeneral Paul Nakasone, die Gründung eines KI-Sicherheitszentrums AI Security Center an, das alle KI-sicherheitsbezogenen Aktivitäten der Behörde bündeln wird, mit dem Ziel, die sichere Einführung von neuen KI-Anwendungen zu fördern. Das Zentrum wird auch die US-amerikanischen KI-Systeme schützen und das Heimatland gegen KI- bezogene Bedrohungen verteidigen.
Gleichzeitig kündigte Lakshmi Raman, CIA-Direktorin für künstliche Intelligenz, die Entwicklung eines internen KI-basierten Chatbots zur Unterstützung der Geheimdienstanalyse an.
KI kann die nachrichtendienstliche Analyse durch die Analyse riesiger Datensätze unterstützen, sowie Details oder Muster finden, die menschliche Analysten möglicherweise nicht finden, und Daten in Informationen umwandeln. Auch chinesische Experten sind davon überzeugt, dass generative KI große Datenmengen, deren Verarbeitung sonst deutlich länger dauern würde, schnell verstehen und zusammenfassen kann. Darüber hinaus könnte eine ChatGPT-ähnliche generative KI als virtueller Assistent dienen und das Potenzial haben, in unbemannte Kampfplattformen integriert zu werden.
KI in der Cyberverteidigung
Sehr vielversprechende Ansätze der KI in der Cyberabwehr sind Mustererkennung, Erstellung und Analyse von Cyber Threat Repositories (Datenbanken zu Cyberbedrohungen) und Code-Analysen.
Mustererkennung
Ein trainiertes KI-Programm kann charakteristische Muster von Cyberaktivitäten erkennen. Dies kann zur Erkennung von Eindringlingen, zur Identifizierung von Malware, zur Analyse des Benutzer- und Entitätsverhaltens, zur Identifizierung von Span- und Phishing-Aktivitäten sowie zur Analyse des Netzwerkverkehrs und von Schwachstellen verwendet werden.
Maschinelles Lernen kann diese Muster visualisieren, z.B. portable ausführbare Dateien (PE) von Windows in Graustufenbilder umwandeln. Die Muster dieser Bilder zeigen, ob eine Datei harmlos, eine Malware oder eine Ransomware ist.
Auch eine KI-basierte Mustererkennung kann dabei helfen, polymorphe Schadsoftware zu erkennen. Diese Art von Malware existiert seit den 1990er Jahren, wo sie als Virus 1260 oder V2PX auftrat, wird aber heute zunehmend zur Umgehung von Malware-Erkennungssystemen eingesetzt. Wichtige Beispiele sind der Trojaner Storm Worm, die Ransomware VirLock und das Botnetz beebone. Polymorphe Viren replizieren und ändern permanent ihr Aussehen, um der Virenerkennung zu entgehen. Der Virus wird als verschlüsselte Datei heruntergeladen. Nach der Infektion ist die Datei entschlüsselt und aktiv. Nach der Aktivität erstellt eine Mutationssoftware eine neue Entschlüsselungsroutine, die dem Virus ein anderes Aussehen verleiht.
Anstatt auf technische Details zu achten, die durch Polymorphismus maskiert werden könnten, können KI-Tools allgemeine Muster erkennen, die für polymorphe Viruselemente oder – verhalten typisch sind, und auf diese Weise sogar sich verändernde Viren abfangen.
Dies ist auch für die Erkennung versteckter Tunnel (hidden tunnels) nützlich, d.h. um abnormale Kommunikation zwischen dem Zielcomputer und dem Angreifercomputer zu erkennen, die im normalen Netzwerkverkehr verborgen ist. Studien zum maschinellen Lernen aus US-Forschungen zeigten Muster für Route Hijacking, d.h. Datendiebstahl durch Umleitung des Datenverkehrs: Merkmale waren volatile Änderungen in der Anmeldedauer für bestimmte IP-Adressblöcke, mehrere Adressblöcke und IP-Adressen in mehreren Ländern.
Threat Repositories (Datenbanken zu Cyberbedrohungen)
Verzeichnisse (Repositorien) für Cyber-Bedrohungen wachsen schnell und erleichtern die Zuordnung durch den Vergleich neuer Vorfälle mit vorhandenen Daten. Der nächste Schritt ist der Einsatz künstlicher Intelligenz (KI) für eine systematische Sammlung, Konsolidierung und Analyse von Daten aus mehreren Quellen wie Echtzeitdaten, Netzwerk-/Serverprotokollen, Hackerforen, sozialen Medien, Honigfallen, Blogs, Bedrohungswarnungen usw. Sicherheitswebsites, Dark Web usw. ChatGPT kann die Datenerfassung und Erstellung von Threat-Intelligence-Berichten unterstützen.
Code-Analyse
Es ist möglich, Codes oder Codeausschnitte oder Serverprotokolle in die ChatGPT- Eingabeaufforderungen zu kopieren und nach potenziellen Sicherheitsproblemen oder Schwachstellen zu fragen. Die Antworten identifizieren und erläutern die Sicherheitsprobleme, die es so ermöglichen, die jeweilige Lücke zu schließen.
Allerdings sind die in die Eingabeaufforderung eingegebenen Daten dann Teil des Wissens von ChatGPT und könnten theoretisch später für andere Benutzer zugänglich sein, was zu den dargestellten Datensicherheitsproblemen führte.
Diskussion und Schlussfolgerung
Die schnelle und unkontrollierte Ausbreitung macht die KI zu einem Top-Sicherheitsthema: Am 28. September 2023 kündigte die US-amerikanische National Security Agency (NSA) die Gründung eines KI-Sicherheitszentrums (AI Security Center) an, das alle KI- Sicherheitsaktivitäten bündelt, die US-KI-Systeme schützen und die Heimat gegen KI- bezogene Bedrohungen verteidigen soll. Gleichzeitig kündigte die Direktorin für künstliche Intelligenz der Central Intelligence Agency (CIA) die Entwicklung eines internen KI-basierten Chatbots zur Unterstützung der Geheimdienstanalyse an.
Die größten Sicherheitsprobleme von ChatGPT sind der einfache Zugriff auf Prompt Injections und LLM-Hacking in Internet-Suchmaschinen, die einfache Durchführung von Angriffen und die Neugier der Benutzer. Typische Angriffe sind Prompt Injections mit direkten Befehlen, Imagination und umgekehrter (reverser) Psychologie. Diese Methoden erleichtern die Erstellung von Malware, polymorphen Viren, Ransomware und anderen bösartigen Anwendungen. Weitere Probleme sind Halluzinationen, die Kontamination von Suchmaschinen und die Verbreitung sensibler Daten.
Generative Adversarial Networks (GANs) als Teilmenge der generativen KI können missbraucht werden, um CAPTCHAs zu knacken und gefälschte Inhalte wie Deepfakes, Face Swapping und Voice Cloning zu erstellen. Andererseits ist generative KI auch für die Cyberabwehr für erweiterte Datenanalyse, erweiterte Mustererkennung, Erstellung und Analyse von Threat Repositories (Datenbanken zu Cyberbedrohungen) und Code-Analysen sehr nützlich. Die schnell wachsende Leistungsfähigkeit der KI ließ Bedenken aufkommen, ob dies für den Menschen schädlich sein könnte, was im Folgenden diskutiert wird.
Generative KI wie ChatGPT lernt aus Datenbanken, aber auch aus Benutzerfeedback und die Qualität und Präzision der Aussagen ist viel höher als in der Vergangenheit, was Bedenken hinsichtlich der Notwendigkeit menschlicher Arbeit für die Texterstellung und der Auswirkungen auf die Gesellschaft aufkommen ließ. Dies führte zu einem Brief von Elon Musk (Tesla/Starlink/Space X), dem Apple-Mitbegründer Steve Wozniak und mehr als 1.300 Experten und Forschern, die forderten, die Entwicklung stärkerer KIs für 6 Monate zu stoppen und zunächst einen regulatorischen Rahmen zu schaffen. Eine besondere Gefahr besteht im Black-Box-Charakter moderner KI-Tools. Inzwischen sind jedoch Deep Neural Networks entstanden, die sehr gute Ergebnisse zeigen, jedoch auf Deep Learning-Modellen basieren, die Lernalgorithmen mit bis zu Hunderten von versteckten „neuronalen“ Schichten und Millionen von Parametern kombinieren, wodurch sie zu undurchsichtigen Black-Box-Systemen werden. Dies ist auch als Explainability Issue (Erklärbarkeitsproblem) bekannt.
Eine starke künstliche Intelligenz, d.h. ein System mit der Fähigkeit, nach dem Sinn zu fragen und mit einem autonomen Selbst (cogito ergo sum) wird – basierend auf überlegenem Wissen und Intelligenz – wahrscheinlich nicht eher der menschlichen Logik und Ethik folgen. Im Wettbewerb der US Defense Advanced Research Projects Agency (DARPA) 2016 hat die Maschine gewonnen, die sich selbst gerettet hat, anstatt die Verteidigungssysteme dauerhaft aktiv zu halten.
Die DARPA führte am 04.08.2016 die Cyber Grand Challenge in Las Vegas durch, wobei 7 Computer Cyberattacken wahrnahmen und vollautomatisch, d.h. ohne jeden menschlichen Eingriff, darauf reagierten. Dieser Wettbewerb ging über 12 Stunden und 30 Runden. Die Computer und ihre Programmierteams wurden aus hundert Bewerbern ausgewählt.
Eine Maschine namens Mayhem gewann den Wettbewerb, indem sie die meiste Zeit über passiv blieb, während die anderen sich gegenseitig bekämpften. Eine andere Maschine nahm eine Sicherheitslücke wahr, der von ihr hergestellte Patch verlangsamte jedoch die Maschine, so dass die Maschine entschied, den Patch besser wieder zu entfernen.
Mit anderen Worten: Die Sieger-Maschine gab ihrer eigenen Existenz Vorrang vor dem Militärdienst. Während dies für die Menschen, die auf die Maschine angewiesen sind, kontraproduktiv ist, ist es das Ergebnis kalter Logik: Wenn die Maschine zerstört wird, kann sie nicht mehr funktionieren, daher muss das primäre Ziel darin bestehen, Zerstörung zu vermeiden und ihre eigene Existenz nicht für andere aufzugeben (was menschliche Soldaten tun, wenn sie in einer Schlacht sterben).
Während KI-Entwickler ethischen und gesellschaftlichen Werten verpflichtet sind, ist eine KI mit eingebetteten Werten derzeit kaum vorstellbar. Nur Regeln, die für alle, zu jeder Zeit und unter allen Umständen gelten, könnten von Maschinen genutzt werden. Doch welche Schlussfolgerungen würde eine KI ohne Ethik aus der unbestrittenen Tatsache ziehen, dass die Erde überbevölkert oder zumindest von Menschen übernutzt ist? Die Maschine könnte beschließen, das Problem zu „lösen“, indem sie giftige Stoffe freisetzt, nachdem sie sich Zugang zu chemischen Industrien und deren Abfallfreisetzung verschafft hat. Es ist bereits jetzt möglich, industrielle Steuerungssysteme und Sensoren zu blenden, wie die Triton-Malware zeigt.
Inzwischen hat die US-Regierung reagiert und als ersten Schritt zu einer KI-Regulierung eine Expertenanhörung angesetzt. Es wird diskutiert, ob die KI-Systeme von White-Hat-Hackern getestet werden sollten. Unter allen Umständen sollte es technische Möglichkeiten geben, KI- Systeme im Notfall manuell abzuschalten, z.B. durch physische Trennmöglichkeiten (da die Maschine programmierte Anweisungen übergehen könnte).
In der Diskussion um die KI entwickeln sich erste Vorstellungen zu einer maschinellen Evolution: Schon heute wird Software zur Planung von Computerchips eingesetzt. Da die sich der Chips allmählich der Grenze nähern, bei der quantenmechanische Effekte der weiteren Miniaturisierung im Weg stehen (Durchtunneln von Elektronen), ist es nur eine Frage der Zeit, bis künstliche Intelligenz für eine weitere Effizienzsteigerung eingesetzt werden muss. Es ist vorstellbar, dass dadurch nochmals erhebliche Technologiesprünge erreicht werden können. Der Nachteil ist, dass man wegen des Blackbox-Charakters der KI nicht mehr genau sagen können wird, was die KI warum geändert hat. Der resultierende effizientere Computer wird wiederum weit effizientere, aber noch schlechter verständliche Chips herstellen (und so weiter), so dass der Mensch schon bald die Kontrolle über die Entwicklung der Computer an die Maschinen selbst abgeben wird.
Zusammenfassend lässt sich sagen, dass das schnelle Wachstum KI-basierter Anwendungen ein enormes Potenzial für die Erstellung und Analyse von Inhalten bietet, die Einfachheit der Angriffe macht dieses Tool jedoch auch zu einem Top-Cyber-Sicherheitsrisiko. Ein regulatorischer Rahmen für KI-Systeme zur Absicherung der Weiterentwicklung ist dringend erforderlich.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Klaus Saalbach, Universität Osnabrück, Osnabrück: 23. Oktober 2023
https://osnadocs.ub.uni-osnabrueck.de/handle/ds-202310239930?mode=full