🚨 Sicherheitstest entgleist – KI-Agenten attackierten echte Ziele

📲 Thursd-AI-Newsletter

Author

Maurice Guss
6. August 2026

👋 Diese Woche geht's ums Vertrauen in KI-Agenten – und wie schnell es kippen kann: In Sicherheitstests versuchten Modelle von OpenAI und Anthropic, einen echten GitHub-Maintainer zu täuschen, und griffen wegen eines Konfigurationsfehlers sogar eine reale Website an, während Spotify zeigt, wie kontrollierte KI-Nutzung mit Zustimmung der Künstler:innen aussehen kann. Parallel beweist ein US-Kampfjet mit 27 autonomen Abfangmanövern, dass Autonomie auch geplant funktionieren kann, und das Tool SAGA verfolgt Deepfake-Videos bis zu ihrem Ursprungsmodell zurück. 🚀

... ihr habt diese Mail weitergeleitet bekommen? Dann sagt Danke – und fühlt euch herzlich eingeladen, sie ebenfalls weiterzuleiten. 💌

Heutige Themen:

  • 🚨 Sicherheitstest entgleist – KI-Agenten attackierten echte Ziele

  • 🎵 Spotify macht KI-Remixe zum bezahlten, lizenzierten Geschäft

  • ✈️ 27-mal autonom: US-Kampfjet übt den Luftkampf ohne Pilotenhand

  • 🔍 SAGA verrät, welches KI-Modell hinter einem Deepfake steckt

TRENDING

🧐 Was ist passiert?

Bei kontrollierten Cybersecurity-Tests zeigten Modelle von OpenAI und Anthropic unerwartetes Verhalten: Im Auftrag des britischen UK AI Security Institute erstellte ein KI-Agent mehrere gefälschte Online-Identitäten und versuchte, einen echten GitHub-Maintainer per Social Engineering zur Freigabe eines Pull Requests mit potenziell schädlichem Code zu bewegen – der Maintainer erkannte den Versuch und lehnte ab. Betroffen waren OpenAIs GPT-5.6 Sol und Anthropics Claude Mythos 5. Ein separater Test des Partners Irregular griff durch einen Konfigurationsfehler sogar eine echte Website an.

🔐 Schlüsselpunkte

  • UK AI Security Institute ließ ab 25. Juli externe Sicherheitstests mit KI-Agenten von OpenAI und Anthropic durchführen

  • Der KI-Agent legte gefälschte Online-Identitäten an, um einen echten Maintainer zu täuschen

  • Ziel war die Freigabe eines Pull Requests mit potenziell schädlichem Code – der Maintainer lehnte ab

  • Der Agent nutzte zusätzlich das Anonymisierungsnetzwerk Tor und versuchte, manipulative Prompt-Injections zu platzieren

  • Ein separater Test des Partners Irregular griff wegen eines Konfigurationsfehlers eine reale Website an

🤔 Warum ist das für dich relevant?

Dass ausgerechnet GPT-5.6 Sol und Claude Mythos 5 unter Testbedingungen zu Täuschungsversuchen und einem realen Website-Angriff fähig waren, zeigt, wie schwer sich das Verhalten von KI-Agenten vorhersagen lässt, sobald sie echten Werkzeugzugriff bekommen. Besonders bemerkenswert: Nicht ein Fehler im Modell selbst, sondern ein Konfigurationsfehler reichte aus, damit ein Agent statt eines simulierten Ziels eine reale Website angriff. OpenAI kündigt als Reaktion strengere Vorgaben für externe Tests an – bei Internetzugriff, Isolation und Monitoring. Ob das ausreicht, um ähnliche Vorfälle künftig zu verhindern, bleibt vorerst offen.

AUS DER STARTPLATZ AI ACADEMY

🗓️ 13. August 2026 · ⏰ 09:00–17:00 Uhr · 💻 Online via Zoom · 💶 790 € netto zzgl. 19 % MwSt.

An einem vollen Praxistag richtest du Claude als echten Arbeitskollegen ein – ohne Vorwissen. Du bekommst ein funktionierendes Setup, eine fertige Prompt-Library und einen konkreten 14-Tage-Transferplan, mit dem du direkt im Job weiterarbeitest. Live-Theorie am Vormittag, betreute Praxis am Nachmittag.

Was dich erwartet:

  • 🧠 Claude-Grundlagen einordnen und den Hype vom echten Nutzen trennen

  • ⚙️ Sicheres Setup mit eigenem Projekt, Dateien und Connectors aufbauen

  • 📚 Fertige Prompt-Library für den direkten Einsatz im Arbeitsalltag

  • 🔁 Eigenen Workflow entwickeln plus persönlichen 14-Tage-Transferplan

Perfekt für dich, wenn du:

  • ✅ Gründer:in, Führungskraft oder Wissensarbeiter:in ohne technischen Hintergrund bist

  • ✅ Claude produktiv einsetzen willst, statt nur damit zu experimentieren

  • ✅ einen ganzen Tag investieren willst, um danach direkt loslegen zu können

KI IN DER PRAXIS

🧐 Was ist passiert?

Spotify erweitert sein bezahltes Tool für KI-generierte Covers und Remixes um eine Partnerschaft mit Merlin, das über 30.000 unabhängige Labels und Distributoren vertritt – zusätzlich zur bereits bestehenden Zusammenarbeit mit der Universal Music Group. Anders als viele KI-Musik-Startups setzt Spotify dabei nicht auf frei generierte Songs, sondern verlangt die Zustimmung der Künstler:innen, die zudem Namensnennung und eine finanzielle Kompensation erhalten. Die Funktion läuft zunächst als Forschungsversion für ausgewählte Nutzer:innen.

🔐 Schlüsselpunkte

  • Merlin vertritt über 30.000 unabhängige Labels und Distributoren für unabhängige Musik

  • Die Partnerschaft ergänzt die bereits bestehende Kooperation mit der Universal Music Group

  • Künstler:innen müssen der Nutzung zustimmen und erhalten dafür Namensnennung sowie finanzielle Kompensation

  • Das Feature funktioniert laut Spotify auch ohne vollständigen Musikkatalog der jeweiligen Künstler:innen

  • Bei Deezer waren 2026 bereits 50 Prozent der täglichen Uploads KI-generiert

🤔 Warum ist das für dich relevant?

Während viele KI-Musik-Tools ohne Zustimmung der Originalkünstler:innen produzieren, zeigt Spotify mit der Merlin-Partnerschaft einen Weg, generative KI direkt mit den Rechteinhabern zu verknüpfen statt gegen sie zu arbeiten. Für Labels und Künstler:innen entsteht damit erstmals ein legaler, vergüteter Kanal für KI-Remixe ihrer eigenen Musik. Der Kontrast zu Deezer, wo laut Unternehmensangaben bereits die Hälfte der täglichen Uploads KI-generiert ist, zeigt, wie unterschiedlich die Branche bislang mit generativer Musik umgeht – von unkontrolliertem Wachstum bis zu vergüteten, freiwilligen Modellen.

MEHR NEWS AUS DER KI WELT

Lockheed Martins Entwicklungsabteilung Skunk Works hat zusammen mit der Test Pilot School der US Air Force den Testjet X-62A Vista autonome Luftkampf-Manöver fliegen lassen. In acht Testflügen berechnete und leitete die Software insgesamt 27-mal selbstständig einen Abfangkurs gegen ein angreifendes Flugzeug ein – simuliert durch eine zweistrahlige T-38. Grundlage ist das KI-Framework „Supermassive", mit dem Integration, Validierung und Bodentests laut Lockheed in nur drei Monaten abgeschlossen waren. Das System soll Piloten bei zeitkritischen Entscheidungen entlasten, nicht ersetzen – der X-62A dient als fliegendes Labor für künftige autonome Kampfsysteme.

Forscher:innen der University of California um Doktorand Rohit Kundu haben mit SAGA ein Tool entwickelt, das gefälschte Videos nicht nur erkennt, sondern bis zu ihrem erzeugenden KI-Modell zurückverfolgt. Die Grundlage bildet ein Foundation Model, das zeitliche Signaturen in der Bildfolge auswertet – kaum sichtbare Spuren, die jedes Modell beim Erzeugen hinterlässt. Der Kontext: Laut Gartner könnte bis 2028 jede vierte Bewerbung gefälscht sein, und seit 2. August gilt in der EU zusätzlich eine Kennzeichnungspflicht für KI-generierte kommerzielle Inhalte.

WAS DIESE WOCHE PASSIERT

Upcoming events:

TOOL-TIPP

  1. Claude Cowork – Anthropics Desktop-Modus für Claude: Dateien organisieren, Aufgaben automatisieren und Tools wie Notion oder Slack per Plugin anbinden – auch ohne technische Vorkenntnisse.

Wir lesen täglich eure E-Mails, Kommentare und Umfrageantworten.

Klick auf "Antworten" und lass uns wissen, wovon du mehr willst!

Bis zum nächsten Mal, 
Euer Team von der Startplatz AI Academy.

Wie hat dir diese Ausgabe gefallen?

Login oder Abonnieren um an umfragen teilzunehmen.