Category: wt

  • Anthropic hält KI-Modell wegen Cyberangriffs-Potenzial zurück

    Anthropic hält KI-Modell wegen Cyberangriffs-Potenzial zurück

    Ein KI-Labor zieht eine seltene Konsequenz: Anthropic hat ein intern entwickeltes Modell mit dem Namen „Mythos” bewusst nicht veröffentlicht – weil es zu gut darin ist, Cyberangriffe zu unterstützen. Der Vorgang ist ein Präzedenzfall für die gesamte Branche.

    Anthropic hält KI-Modell wegen Cyberangriffs-Potenzial zurück

    Fähigkeiten jenseits der Veröffentlichungsschwelle

    Bei dem zurückgehaltenen System handelt es sich um ein Modell mit dem internen Namen „Mythos”, das laut Axios im Rahmen von Sicherheitstests Fähigkeiten gezeigt hat, die über das hinausgehen, was Anthropic als vertretbares Risiko für eine öffentliche Bereitstellung einstuft. Konkret soll das Modell in der Lage sein, bei Cyberangriffen auf einem Niveau zu unterstützen, das bislang spezialisierten Bedrohungsakteuren vorbehalten war – etwa bei der Entwicklung von Exploits oder der Analyse von Schwachstellen in komplexen Systemen.

    Anthropic verwendet intern ein Risikostufen-Framework namens „Responsible Scaling Policy”, das festlegt, unter welchen Bedingungen Modelle trainiert, eingesetzt oder zurückgehalten werden. „Mythos” soll dabei eine Schwelle überschritten haben, die eine öffentliche Freigabe nach aktuellem Stand ausschließt.

    Es ist einer der seltenen dokumentierten Fälle, in denen ein führendes KI-Labor ein fertiges Modell bewusst vom Markt zurückhält – aus Sicherheitsgründen.

    Kontrollierter Zugang statt vollständiger Sperrung

    Eine vollständige Sperrung bedeutet die Entscheidung jedoch nicht. Anthropic plant offenbar, das Modell einem eingeschränkten Kreis von Sicherheitsforschern und ausgewählten Partnern zugänglich zu machen – unter kontrollierten Bedingungen und mit entsprechenden Nutzungsvereinbarungen. Ziel ist es, die defensiven Möglichkeiten des Modells nutzbar zu machen, ohne offensive Kapazitäten breit zu streuen.

    Dieser Ansatz spiegelt eine wachsende Debatte in der KI-Branche wider: Leistungsfähige Modelle, die bei Penetrationstests oder der Bedrohungsanalyse nützlich sein können, sind strukturell schwer von solchen zu unterscheiden, die bei der Planung von Angriffen helfen. Die Dual-Use-Problematik ist bei Cybersecurity-Anwendungen besonders ausgeprägt.

    Signalwirkung für die Branche

    Die Entscheidung hat über Anthropic hinaus Bedeutung. Bislang dominierte in der Branche der Druck, Modelle möglichst schnell und breit zu veröffentlichen – nicht zuletzt aus Wettbewerbsgründen. Dass ein Anbieter diesen Druck zugunsten von Sicherheitsbedenken zurückstellt, ist bemerkenswert, auch wenn Anthropic mit seiner sicherheitsorientierten Unternehmenskultur eine Sonderstellung einnimmt.

    Regulierungsinitiativen wie der EU AI Act klassifizieren bestimmte KI-Anwendungen im Sicherheitsbereich bereits als Hochrisiko-Systeme. Die Entscheidung von Anthropic dürfte Behörden und Standardisierungsgremien zusätzliche Argumente liefern, Veröffentlichungspflichten und Risikobewertungsverfahren für leistungsfähige Modelle stärker zu formalisieren.

    Einordnung für deutsche Unternehmen

    Für IT-Sicherheitsverantwortliche in deutschen Unternehmen hat der Vorgang eine unmittelbare praktische Dimension: Wenn ein KI-Labor selbst zu dem Schluss kommt, dass ein Modell zu gefährlich für die allgemeine Verfügbarkeit ist, unterstreicht das die Notwendigkeit, die eigene Bedrohungsmodellierung um KI-gestützte Angriffsvektoren zu erweitern.

    Modelle mit vergleichbaren Fähigkeiten könnten über weniger regulierte Anbieter oder Open-Source-Wege dennoch zugänglich werden. Unternehmen sollten prüfen, ob ihre bestehenden Sicherheitsarchitekturen und -prozesse auf den Einsatz KI-unterstützter Angriffswerkzeuge durch externe Akteure vorbereitet sind.


    Quelle: Axios AI

  • Googles KI-Zusammenfassungen liegen in zehn Prozent der Fälle falsch

    Googles KI-Zusammenfassungen liegen in zehn Prozent der Fälle falsch

    Googles KI-generierte Suchantworten liefern bei etwa jeder zehnten Anfrage fehlerhafte Informationen – eine Quote, die angesichts von Milliarden täglicher Suchanfragen zu einem massiven Desinformationsproblem werden kann.

    Googles KI-Zusammenfassungen liegen in zehn Prozent der Fälle falsch

    Analysen deuten darauf hin, dass die AI Overviews in der Google-Suche bei etwa einer von zehn Anfragen fehlerhafte Informationen liefern. Angesichts von Milliarden täglicher Suchanfragen weltweit ergibt sich daraus eine erhebliche Anzahl potenziell irreführender Antworten – mit spürbaren Konsequenzen für Unternehmen, die auf diese Funktion vertrauen oder von ihr betroffen sind.


    Was die Analyse zeigt

    Untersuchungen der US-amerikanischen Technologiepublikation Ars Technica zufolge weisen Googles AI Overviews – jene KI-generierten Zusammenfassungen, die seit 2024 prominent über den organischen Suchergebnissen erscheinen – eine Fehlerquote von rund zehn Prozent auf. Die Fehler reichen von sachlich falschen Aussagen über veraltete Informationen bis hin zu Antworten, die zwar plausibel klingen, sich aber bei näherer Prüfung als inkorrekt erweisen.

    Google selbst äußert sich zurückhaltend zu konkreten Genauigkeitskennzahlen. Das Unternehmen betont, die Funktion kontinuierlich zu verbessern und auf Nutzerfeedback zu reagieren. Unabhängige Tests legen jedoch nahe, dass die Fehlerquote besonders bei spezifischen Fachfragen, medizinischen Themen und aktuellen Ereignissen höher ausfällt.


    Das Skalenproblem

    „Buchstäblich Millionen falscher Aussagen pro Stunde” – so beschreibt Ars Technica das Ausmaß der fehlerhaften AI Overviews bei Googles täglichem Anfragevolumen.

    Der entscheidende Faktor ist die schiere Reichweite: Google verarbeitet täglich mehrere Milliarden Suchanfragen. AI Overviews erscheinen mittlerweile bei einem erheblichen Anteil dieser Anfragen. Selbst eine vergleichsweise geringe Fehlerquote von zehn Prozent führt bei dieser Skalierung zu Millionen fehlerhafter Antworten täglich.

    Die Frage, ob 90 Prozent Treffsicherheit für ein Suchwerkzeug akzeptabel sind, ist dabei keineswegs trivial. Bei klassischen Suchergebnissen tragen Nutzer die Verantwortung, Quellen selbst zu bewerten. AI Overviews hingegen präsentieren eine einzelne, autoritativ formulierte Antwort – was das Risiko erhöht, dass Fehler ungeprüft übernommen werden.


    Relevanz für Unternehmen

    Für Unternehmen ergeben sich daraus zwei konkrete Problemfelder:

    1. Interne Informationsrisiken
    Mitarbeiter nutzen KI-gestützte Suchfunktionen zunehmend für schnelle Recherchen – etwa zu rechtlichen Anforderungen, Produktinformationen oder Wettbewerbsanalysen. Fehlerhafte AI Overviews können dabei stille Informationsrisiken erzeugen, die sich kaum nachverfolgen lassen.

    2. Fehlerhafte Außendarstellung
    Werden Informationen über ein Unternehmen, seine Produkte oder Preise in AI Overviews falsch zusammengefasst, kann das zu Fehlinformationen bei potenziellen Kunden führen – ohne dass das Unternehmen dies unmittelbar bemerkt oder korrigieren kann.


    Einordnung für den deutschen Markt

    Für deutschsprachige Unternehmen gilt: AI Overviews sind in Deutschland zwar weniger verbreitet als in den USA, werden aber schrittweise ausgerollt.

    Wer KI-generierte Suchergebnisse als zuverlässige Primärquelle behandelt, akzeptiert implizit eine nicht unerhebliche Fehlertoleranz.

    Der Einsatz von Large Language Models in internen wie externen Informationsprozessen sollte grundsätzlich mit einem klaren Verifikationsschritt verbunden sein – insbesondere bei geschäftskritischen Entscheidungen. Unternehmen, die intern Richtlinien für den Umgang mit KI-Tools entwickeln, sollten diesen Aspekt ausdrücklich adressieren.


    Quelle: Ars Technica – Analysis finds Google AI Overviews is wrong 10 percent of the time

  • Anthropic stellt Claude für Cybersicherheit vor: Neues KI-Modell speziell für Sicherheitsanwendungen

    Anthropic stellt Claude für Cybersicherheit vor: Neues KI-Modell speziell für Sicherheitsanwendungen

    Anthropic betritt mit Mythos einen neuen Markt: Das speziell für Cybersicherheit entwickelte KI-Modell soll Unternehmen helfen, Bedrohungen schneller zu erkennen und abzuwehren – und positioniert den Claude-Hersteller als ernsthaften Akteur in sicherheitskritischen Infrastrukturen.

    Anthropic stellt Mythos vor: Neues KI-Modell speziell für Cybersicherheit

    Anthropic hat eine Vorschau auf ein neues Large Language Model namens Mythos veröffentlicht, das speziell für den Einsatz im Bereich Cybersicherheit entwickelt wurde. Das Modell soll zunächst einer begrenzten Anzahl ausgewählter Unternehmen zur Verfügung stehen und dort defensive Sicherheitsaufgaben übernehmen.


    Fokus auf defensive Sicherheitsanwendungen

    Mythos richtet sich laut Anthropic explizit an Unternehmen, die ihre Abwehrfähigkeiten gegen Cyberangriffe stärken wollen. Im Gegensatz zu allgemein verfügbaren Modellen wie Claude ist Mythos von Grund auf auf sicherheitsspezifische Anwendungsfälle ausgerichtet – darunter:

    • Analyse von Bedrohungslagen
    • Erkennen von Schwachstellen
    • Unterstützung von Security-Teams bei der Incident Response

    Das Modell befindet sich derzeit in einer eingeschränkten Preview-Phase. Eine kleine Gruppe hochkarätiger Unternehmen arbeitet bereits mit Mythos zusammen, bevor ein breiterer Rollout erfolgt. Namen der beteiligten Firmen nannte Anthropic bislang nicht.


    Einbettung in eine breitere Cybersicherheits-Initiative

    Anthropic positioniert sich damit als Anbieter, der KI nicht nur als produktivitätssteigerndes Werkzeug versteht, sondern gezielt für sicherheitskritische Infrastrukturen entwickelt.

    Die Vorstellung von Mythos ist Teil einer größeren Sicherheitsinitiative, die Anthropic parallel zu dem Modell gestartet hat. Das Unternehmen arbeitet dabei nach eigenen Angaben mit Partnern aus dem Unternehmensumfeld zusammen – darunter offenbar auch Akteure aus dem Microsoft- und Amazon-Ökosystem, die beide bereits als Investoren und Cloud-Partner bekannt sind. Amazon hat zuletzt mehrere Milliarden Dollar in Anthropic investiert und integriert dessen Modelle tief in die AWS-Plattform.


    Abgrenzung zum Markt

    Der Schritt ist bemerkenswert, weil er zeigt, dass KI-Anbieter zunehmend spezialisierte Modelle für einzelne Branchen entwickeln, anstatt ausschließlich auf leistungsfähige Universalmodelle zu setzen. Konkurrenten wie Google mit seinen Sec-PaLM-Projekten oder spezialisierte Anbieter im Security-Segment dürften Mythos aufmerksam beobachten.

    Für Anthropic ist die Initiative auch ein strategischer Schachzug: Cybersicherheit gehört zu den Bereichen, in denen Unternehmen besonders hohe Anforderungen an Zuverlässigkeit, Nachvollziehbarkeit und Datenschutz stellen – Felder, auf denen Anthropic mit seinem sicherheitsorientierten Entwicklungsansatz punkten will.


    Einordnung für deutsche Unternehmen

    Für Sicherheitsverantwortliche in deutschen Unternehmen ist Mythos zunächst noch nicht direkt zugänglich. Die eingeschränkte Preview richtet sich an eine selektive Gruppe, und ein allgemeiner Verfügbarkeitstermin wurde nicht kommuniziert. Mittelfristig dürfte das Modell jedoch über AWS oder Microsoft Azure auch europäischen Nutzern zur Verfügung stehen.

    Angesichts wachsender Bedrohungen durch Ransomware und staatlich gesteuerte Cyberangriffe könnte ein KI-gestütztes Sicherheitsmodell dieser Art für regulierte Branchen wie Finanz, Energie und Gesundheitswesen ein relevantes Werkzeug werden.

    Entscheider sollten die Entwicklung verfolgen und prüfen, ob und wie solche spezialisierten Modelle in bestehende Security-Architekturen integrierbar sind.


    Quelle: TechCrunch AI

  • Trump plant weitreichendes Verbot chinesischer Technologie in kritischer Infrastruktur

    Trump plant weitreichendes Verbot chinesischer Technologie in kritischer Infrastruktur

    Die USA verschärfen ihren Kurs gegenüber chinesischer Technologie dramatisch: Die Trump-Administration plant ein weitreichendes Verbot chinesischer Komponenten in sicherheitskritischen Sektoren – von der Stromversorgung bis zur Wasserinfrastruktur. Die Folgen für globale Lieferketten und europäische Unternehmen könnten erheblich sein.

    Trump plant weitreichendes Verbot chinesischer Technologie in kritischer Infrastruktur

    Die US-Regierung unter Donald Trump bereitet offenbar umfassende Beschränkungen für chinesische Technologiekomponenten in sicherheitsrelevanten Bereichen vor. Betroffen wären Sektoren wie Energieversorgung, Telekommunikation, Wasserversorgung und Transportinfrastruktur. Die geplanten Maßnahmen würden die bisherige Regulierungspraxis deutlich verschärfen und hätten weitreichende Konsequenzen für globale Lieferketten.


    Hintergrund: Wachsende Sicherheitsbedenken

    Die Initiative reiht sich in eine längere Entwicklung ein. Bereits unter den Vorgängerregierungen wurden chinesische Anbieter wie Huawei und ZTE schrittweise aus US-Netzwerkinfrastrukturen verdrängt. Mit den nun geplanten Maßnahmen soll der Anwendungsbereich jedoch erheblich ausgeweitet werden – über Telekommunikation hinaus auf nahezu alle Bereiche kritischer Infrastruktur.

    Amerikanische Sicherheitsbehörden gehen davon aus, dass in chinesischen Hardware- und Softwarelösungen potenzielle Hintertüren für staatlich gesteuerte Spionage oder Sabotage existieren könnten.


    Konkrete Maßnahmen und betroffene Technologien

    Laut Berichten sollen unter anderem folgende Technologien reguliert oder vollständig verboten werden:

    • Steuerungssysteme für Stromnetze
    • Überwachungstechnologie (u. a. von Hikvision)
    • Drohnen (u. a. von DJI)
    • KI-gestützte Analyse- und Managementsysteme aus chinesischer Produktion

    Zusätzlich sollen Beschaffungsvorschriften für staatliche Stellen und Betreiber kritischer Infrastruktur deutlich restriktiver gestaltet werden.


    Auswirkungen auf globale Lieferketten

    Für international agierende Unternehmen entstehen durch solche Maßnahmen erhebliche Anpassungsbedarfe. Wer Produkte oder Dienstleistungen auf dem US-Markt anbietet oder in amerikanische Wertschöpfungsketten eingebunden ist, muss sicherstellen, dass die eigenen Zulieferer und Technologiekomponenten den neuen Anforderungen entsprechen.

    Analysten beobachten, dass ähnliche Überlegungen auch in der Europäischen Union an Fahrt gewinnen – nicht zuletzt vor dem Hintergrund eigener Sicherheitsdebatten um den 5G-Ausbau.

    Auch Zertifizierungsprozesse und Compliance-Prüfungen dürften deutlich aufwendiger werden.


    Geopolitische Dimension und Reaktionen

    Peking hat derartige Maßnahmen bislang als protektionistisch und diskriminierend zurückgewiesen. Chinesische Staatsmedien kritisierten die US-Politik als Instrumentalisierung von Sicherheitsargumenten zur wirtschaftlichen Abschottung. Technologieunternehmen auf beiden Seiten des Atlantiks beobachten die Entwicklung genau, da eine zunehmende Fragmentierung des globalen Technologiemarkts – häufig als „Tech-Decoupling” bezeichnet – langfristige strategische Investitionsentscheidungen beeinflusst.


    Einordnung für deutsche Unternehmen

    Für deutsche Unternehmen – insbesondere im Maschinen- und Anlagenbau, in der Energiewirtschaft sowie in der Betreiberlandschaft kritischer Infrastruktur – ist diese Entwicklung aus zwei Richtungen relevant:

    Risiken: Der Druck steigt, Lieferketten auf potenzielle Abhängigkeiten von chinesischen Technologiekomponenten zu prüfen – auch um kommende europäische Regulierungsanforderungen vorwegzunehmen.

    Chancen: Gleichzeitig eröffnen sich Marktchancen für europäische Alternativanbieter, sofern amerikanische und europäische Behörden verstärkt auf Technologie aus vertrauenswürdigen Partnerländern setzen.

    Unternehmen, die ihre Supply-Chain-Dokumentation und Sicherheitsnachweise frühzeitig aufbauen, dürften bei Ausschreibungen und Zertifizierungsprozessen mittelfristig im Vorteil sein.


    Quelle: TechRepublic