Nutzt ein Schüler im Englischunterricht ChatGPT für einen Hausaufgaben-Aufsatz zum Thema „Die Bedeutung der Empathie in Philip K. Dicks Roman ‚Do Anroids Dream of Electric Sheep‘ und im Film ‚Blade Runner‘“, ist das dann Betrug (zu meiner Schulzeit „Unterschleif“ genannt) oder aber nützliches Training in puncto Digitalkompetenz? Wo eine Innovation mit neuen Möglichkeiten lockt, da sprießt sofort auch der Missbrauch, und die Grenzen sind mitunter fließend. Lehrkräfte werden lernen müssen, damit umzugehen – und Security-Teams ebenso. Denn KI à la ChatGPT erleichtert es Cyberkriminellen, ihre Angriffe schnell und skalierbar zu verfeinern.
ChatGPT – die von OpenAI entwickelte und seit November als Cloud-Service öffentlich, vorerst sogar kostenlos zugängliche Chat-KI – schlägt hohe Wellen. Benutzer sind erstaunt, was der Chatbot alles kann, und Microsoft will laut Medienberichten zehn Milliarden Dollar in OpenAI investieren, um die KI in seine Lösungen, darunter Bing, zu integrieren.
Der Chatbot ist per LLM (Large Language Model) GPT-3.5 darauf trainiert, auf Fragen oder Anweisungen möglichst stimmige, menschlich klingende Antworten beziehungsweise Resultate zu liefern. Dazu zieht ChatGPT Wissen und Formulierungen aus dem weltweiten Web heran, traininiert wurde die KI zudem mit Büchern und menschlichem Feedback (Supervised Learning, Reinforcement Learning). Das Ergebnis: Der ChatGPT-Output wirkt erstaunlich echt, nützlich und zumindest auf den ersten Blick überzeugend.
Digitaler Telefonjoker
Auch wenn der aktuelle Hype anderes vermuten lässt: ChatGPT ist keine künstliche allgemeine Intelligenz, sondern kann lediglich nachvollziehbar und ausführlich im Tonfall einer Konversation antworten. Manche sehen die Chat-KI bereits als Konkurrenz zu Google, allerdings ist sie zumindest derzeit eher eine Art „Telefonjoker“: ChatGPT gibt stimmige Antworten selbst auf sehr konkrete oder obskure Fragen, doch man kann sich letztlich nicht sicher sein, ob die Auskunft tatsächlich korrekt ist – im Web kursieren zahlreiche Anekdoten über frei erfundene Aussagen. Auch Tagesaktuelles darf man den Chatbot nicht fragen: Seine Trainingsdaten reichen nur bis 2021.
Ein Chatbot ist, wie Fachleute betonen, nur so gut wie die Vorgaben (Prompts), mit denen man ihn füttert. Bei geschickt gewählten Prompts sei er längst nicht darauf beschränkt, in Google-Manier Fakten auszuspucken oder einen garantiert fast echten Schulaufsatz abzuliefern. In Rollenspielen lässt sich ChatGPT laut Marketing-Berater Ariel Levin zum Beispiel als Sparringspartner für Job-Interviews nutzen – sofern die Anweisungen nur klar genug sind: „Ich möchte, dass du als Interviewer agierst. Ich werde der Bewerber sein und du wirst mir Bewerbungsgespräch-Fragen stellen.“
Mit der Anordnung, gestellte Fragen nicht zu begründen (ChatGPT ist auf ausführlichen, kontextualisierten Output trainiert) und vor jeder neuen Frage erst die Antwort auf die vorherige abzuwarten, lasse sich das Gespräch durchspielen. Dass die KI Jobsuchenden auch helfen kann, das Bewerbungsschreiben aufzupolieren, versteht sich da von selbst.
Das Beispiel des simulierten Job-Interviews lässt erahnen, wie vielfältig die Einsatzfelder sind, auf denen ChatGPT und Co. künftig zum Zuge kommen werden. Doch wo vielfältiger Nutzen lockt, da lauert vielfältiger Missbrauch. In einem wissenschaftlichen Artikel vom Oktober 2022 gaben Evan Crothers et al. einen Überblick über die Risiken maschinell erzeugter Texte und diskutierten Gegenmaßnahmen. „In dem Maße, in dem die NLG-Fähigkeiten (Natural Language Generator, d.Red.) wachsen und Zugangsbarrieren verschwinden, steigt unweigerlich die Akzeptanzkurve, mit der Cyberkriminelle, Desinformationsagenturen, Betrüger und anderen Bedrohungsakteure diese Technologie in großem Umfang missbrauchen können“, so das Forschungsteam.
Crothers et al. sehen vier Bedrohungsmodelle. Erstens könnten im Bereich Malware und Social Engineering künftig Phishing, Spear-Phishing und Betrug dank KI echter wirken als je zuvor. Aber auch das Sabotieren von KI-Modellen (Model Poisoning) sei ein Risiko. Zweitens rechnen die Forschenden künftig mit mehr KI-gestützten Desinformationskampagnen, von automatisierten betrügerischen Produktbewertungen bis hin zu massiv skalierender Fake-News-Propaganda.
Ein drittes Bedrohungsszenario bestehe im Ausnutzen der KI-Autorschaft, von gefälschten wissenschaftlichen Publikationen bis hin zur Überflutung von Online-Plattformen mit Fake-Inhalten. Und viertens warnen sie vor Spam und Belästigung (etwa Kommentarfluten zu unliebsamen Social-Media-Posts), beispielsweise durch „Brigading“, bei dem die Akteure Einzelpersonen oder Organisationen mit orchestrierten Hasskommentaren überschwemmen. Eine weitere Variante ist „Document Submission Spam“, das Überfluten unliebsamer Publikationen oder Konferenzen mit nutzlosen Vorschlägen.
Effektiveres Phishing dank KI
Auch für die Unternehmen verschärft ChatGPT die Risikolage. „Ransomware ist nach wie vor auf dem Vormarsch, sowohl bei Attacken gegen Unternehmen, als auch bei Cyberangriffen auf Staaten und Behörden“, sagt Lothar Geuenich von Check Point. „Die kriminelle Energie von Angreifern wird wesentlich komplexer aber gleichzeitg automatisiert in Attacken umgesetzt.“ Dabei nutze die Angreiferseite oft das schwächste Glied in der Sicherheitsinfrastruktur aus: zu wenig geschulte Beschäftigte.
„Eines der größten Risiken besteht darin, dass Angreifer diese Plattformen nutzen, um die Qualität ihrer Phishing-Köder erheblich zu verbessern“, bestätigt Sophos-Experte Chester Wisniewski mit Blick auf ChatGPT. „Letztendlich liefern die immer besseren KI-Chatbots ein kostenloses Upgrade für alle Arten von Social-Engineering-Angriffen.“ Ein Angreifer könne Programme wie ChatGPT nutzen, um kriminell orientierte, sehr realistische, interaktive Gespräche via E-Mail zu führen oder Chat-Angriffe über Facebook Messenger, WhatsApp oder andere Chat-Apps zu starten.
Derzeit bestehe die größte Gefahr für die englischsprachige Zielgruppe. Es sei aber wohl nur eine Frage der Zeit, bis neue Versionen glaubwürdige Texte in allen häufig gesprochenen Sprachen der Welt erstellen können. „Wir haben ein Stadium erreicht, in dem Menschen immer öfter nicht in der Lage sind, maschinengenerierte Prosa von der von Menschen geschriebenen zu unterscheiden – im Besonderen, wenn wir das Gegenüber nicht gut kennen“, so Wisniewski. „Traurig aber wahr: KI hat den letzten Nagel in den Sarg des Endbenutzer-Sicherheitsbewusstseins geschlagen.“
Betreutes Coden
Kriminielle haben das Potenzial von ChatGPT für Malware-Programmierung schnell erkannt.„ChatGPT-erzeugter Code ist nicht so toll, aber es ist ein Anfang“, sagt der renommierte Security-Experte Bruce Schneier. „Und die Technologie wird immer besser werden.“ Relevant sei dies, weil es weniger fähigen Hackern („Script Kiddies“) neue Möglichkeiten eröffne. In der Tat hat Check Point Research (CPR) bei der Überwachung von Dark-Web-Foren beobachtet, dass Cyberkriminelle die KI bereits zur Entwicklung von Angriffs-Tools nutzen – und dies zum Teil, ohne Vorkenntnisse in Softwareentwicklung.
So hatte im Dezember ein Foren-User namens USDoD ein Python-basiertes Verschlüsselungswerkzeug gepostet. Auf Rückfrage eines anderen Forenmitglieds erkärte er, dies sei das erste Skript, das er je erstellt habe. Laut Check Point ist es nur eine Frage der Zeit, bis raffiniertere Kriminelle den Missbrauch verfeinern.
Die CPR-Forscher berichten auch von einem Thread in einem beliebten Hacking-Forum, dessen Verfasser erklärte, er experimentiere mit ChatGPT, um Malware aus Forschungs- und Security-Reports nachzubilden. Als Beispiel postete er den Code eines Python-basierenden Info-Stealers: Die Malware sucht nach gängigen Dateitypen, kopiert sie in einen zufälligen Ordner innerhalb des Temp-Ordners, packt sie in ein ZIP-Format und lädt sie auf einen vorgegebenen FTP-Server. Check Point selbst hatte im Dezember getestet, ob sich mit ChatGPT und dem KI-Modell Codex eine Phishing-E-Mail und Schadcode für automatisierte Angriffe erstellen lassen – und es hat funktioniert.
„Obwohl ChatGPT mit einer Reihe von Sicherheitsvorkehrungen ausgestattet zu sein scheint, die darauf abzielen, negative Auswirkungen zu begrenzen und schädliche Aktivitäten unmöglich zu machen, ist klar, dass sich Angreifer einige Funktionalitäten von ChatGPT in bestimmten Szenarien zunutze machen könnten, zum Beispiel bei der Erstellung überzeugender Phishing-E-Mails in perfektem Englisch“, sagt Ivan Kwiatkowski von Kasperskys Global Research and Analysis Team. „Es ist definitiv nicht in der Lage, eine Art autonome Hacker-KI zu werden. Zukünftig werden wir jedoch höchstwahrscheinlich spezialisierte Produkte wie ein Reverse-Engineering-Modell sehen, um Code besser zu verstehen, sowie ‚offensive Sicherheitsmodelle‘ für Exploits und Intrusion.“
Abwehr ChatGPT-basierter Angriffe
Als Mitigationsmaßnahmen empfehlen Crothers et al. zunächst Captchas, um menschliche Autoren von Bots zu unterscheiden, ebenso – relevant vor allem für die großen Plattformen – eine wiederum KI-gestützte Erkennung und Filterung KI-generierter Inhalte. Als großes Risiko erachtet es das Forschungsteam, dass Nutzer das Vertrauen in eine Plattform verlieren, da sie echte und KI-generierte (Fake-)Inhalte allzu häufig nicht – oder nicht sofort – unterscheiden können.
„Obwohl KI bei Cyberangriffen eingesetzt werden kann und es Kriminellen ermöglicht, noch schneller und effizienter zu agieren, kann sie auch zur Verbesserung von Antiviren- und Sicherheitslösungen eingesetzt werden, um die Methoden der Hacker noch schneller zu analysieren und passgenaue Abwehrmethoden zu lernen“, beruhigt Michael Klatte vom Security-Anbieter Eset.
Ebenfalls tröstlich: Auch KI-generierte Malware bleibt Malware – mit den typischen Mermalen, auf deren Erkennung heutige Security-Lösungen getrimmt sind. „Die durch ChatGBT produzierte Malware“, so Gerald Hahn von Gatewatcher, „könnte durch Technik erkannt werden, so wie wir heute auch schon Shellcode ohne Sandbox im Netzwerk-Traffic erkennen können.“
Wie es Eset-Mann Klatte formuliert: „Wir befinden uns bereits in einem ständigen Katz-und-Maus-Kampf mit künstlicher Intelligenz.“ Dieses Katz-und-Maus-Spiel ist in der Security ebenso altbekannt wie in der Schule der Versuch, sich um Hausaufgaben zu drücken. Mit ChatGPT geht das Spiel in eine neue Runde. Zu hoffen ist, dass Software von Social Media bis hin zu E-Mail-Clients recht bald eine Erkennung maschinell generierter Inhalte mitbringt. Oder, in den Worten von Sophos-Mann Wiesnewski: „Wir benötigen zunehmend intelligente Maschinen, um zu erkennen, wenn andere Maschinen versuchen, uns zu täuschen.“
Vielleicht würde ja auch der Empathietest aus „Blade Runner“ helfen.
Lust auf mehr Artikel dieser Art? Nichts leichter als das! Einfach hier den IT Info 2 Go Newsletter abonnieren! (Achtung: Double-Opt-in wg. DSGVO! Es kommt also eine E-Mail mit Link zur Bestätigung, deshalb bitte ggf. Spam-Ordner checken!)
(Dieser Beitrag erschien erstmals in LANline 01-02/2022.)
Bild: (c) Wolfgang Traub
IT Info 2 Go 