MediaKojo MVP

Blog

  • Führungsschwäche und Vertrauensverlust: Große KI-Unternehmen unter Druck

    Führungsschwäche und Vertrauensverlust: Große KI-Unternehmen unter Druck

    Ein neues Porträt über OpenAI-CEO Sam Altman wirft grundlegende Fragen über die Führungskultur der mächtigsten KI-Unternehmen der Welt auf. Was wie eine Personalstudie beginnt, entpuppt sich als Röntgenbild einer ganzen Branche – mit strukturellen Rissen, die weit tiefer reichen als eine einzelne Persönlichkeit.

    Führungsschwäche und Glaubwürdigkeitsprobleme: Die großen KI-Unternehmen unter Druck

    Vertrauen als knappes Gut

    Die KI-Branche hat in den vergangenen Monaten eine Reihe von Ereignissen erlebt, die das Vertrauen in ihre führenden Akteure nachhaltig belasten. Bei OpenAI reicht die Liste der Vorfälle von internen Machtkämpfen über den kurzfristigen Rauswurf und die Wiedereinsetzung Altmans bis hin zu anhaltenden Debatten über die Ausrichtung des Unternehmens zwischen gemeinnützigen Ursprüngen und kommerziellem Wachstum.

    Das Unternehmen strebt derzeit eine vollständige Umwandlung in eine gewinnorientierte Kapitalgesellschaft an – ein Schritt, der intern wie extern für erhebliche Spannungen sorgt.

    Strukturelle Widersprüche im Geschäftsmodell

    Viele der großen KI-Labore wurden ursprünglich mit einer sicherheitsorientierten Mission gegründet. Die Realität des Wettbewerbs um Marktanteile, Talente und Kapital zwingt sie jedoch zunehmend zu Entscheidungen, die mit diesen Ursprungswerten in Konflikt geraten. Schnellere Produktzyklen, öffentliche Versprechungen über Fähigkeiten zukünftiger Modelle und der Druck auf Quartalsergebnisse prägen inzwischen das operative Geschäft stärker als interne Sicherheitsdebatten.

    Ähnliche Spannungen sind bei anderen Akteuren der Branche zu beobachten:

    • Google DeepMind balanciert zwischen akademischer Forschungstradition und den Anforderungen eines Mutterkonzerns mit Werbeumsätzen.
    • Anthropic positioniert sich als sicherheitsbewusste Alternative, nimmt aber gleichzeitig Milliarden von Amazon und Google entgegen.

    Diese strukturellen Widersprüche sind kein individuelles Versagen einzelner Führungspersönlichkeiten, sondern Ausdruck eines systemischen Dilemmas der gesamten Branche.

    Kommunikation zwischen Hype und Rückzug

    Ein wiederkehrendes Muster ist die Diskrepanz zwischen öffentlichen Ankündigungen und tatsächlichen Lieferterminen. Produktversprechen werden mit großem Medienecho gemacht, Verzögerungen hingegen still kommuniziert oder gar nicht eingestanden. Dieses Muster untergräbt die Glaubwürdigkeit der Unternehmen bei institutionellen Kunden und Regulatoren gleichermaßen – gerade in einem Moment, in dem mit dem EU AI Act ein verbindlicher Rechtsrahmen in Kraft tritt.

    Governance bleibt das ungelöste Problem

    Die eigentliche Schwachstelle liegt im Bereich Governance. Weder die internen Kontrollmechanismen noch die externen Aufsichtsstrukturen haben sich bislang als ausreichend erwiesen. Das OpenAI-Board, das 2023 den dramatischen Führungswechsel ausgelöst hatte, wurde anschließend in seiner Zusammensetzung verändert –

    in eine Richtung, die Kritikern zufolge eher auf Stabilität für Investoren als auf unabhängige Kontrolle ausgerichtet ist.

    Wie echte Rechenschaftspflicht in einer Branche aussehen soll, die sich selbst als systemrelevant bezeichnet, ist bislang ungeklärt.

    Einordnung für deutsche Unternehmen

    Für Entscheider in deutschen Unternehmen, die KI-Lösungen evaluieren oder bereits einsetzen, ergibt sich eine klare praktische Konsequenz: Die Lieferanten-Due-Diligence sollte über technische Leistungsparameter hinausgehen. Relevante Prüfpunkte umfassen:

    • Finanzierungsstruktur des Anbieters
    • Governance-Architektur und Zusammensetzung der Kontrollgremien
    • Langfristige Produktstrategie und Versionsstabilität

    Wer Kernsysteme auf Modelle eines einzelnen Anbieters aufbaut, der aktuell strukturelle Unsicherheiten durchläuft, trägt ein Abhängigkeitsrisiko, das in keiner Beschaffungsrichtlinie fehlen sollte.

    Quelle: Ars Technica AI

  • Googles KI-Suche liefert in neun von zehn Fällen korrekte Antworten

    Googles KI-Suche liefert in neun von zehn Fällen korrekte Antworten

    Erstmals liefert eine systematische Analyse belastbare Zahlen zur Zuverlässigkeit von Googles KI-Suchfunktion – mit einem überraschend soliden Ergebnis und einer wichtigen Einschränkung für den Unternehmenseinsatz.

    Googles KI-Suche liefert in neun von zehn Fällen korrekte Antworten

    Was die Analyse zeigt

    Bisher fehlte eine belastbare, systematische Untersuchung zur Fehlerquote von Googles KI-Suche. Der Hinweis „KI kann Fehler machen, bitte Antworten überprüfen”, den Google unter jede generierte Suchantwort setzt, blieb damit weitgehend unquantifiziert. Die nun vorliegende Auswertung schließt diese Lücke: In etwa neun von zehn Fällen sind die durch AI Overviews generierten Antworten sachlich korrekt.

    Das Ergebnis positioniert Googles Ansatz vergleichsweise gut im Wettbewerbsumfeld der KI-gestützten Suchsysteme.

    Grundlage der Analyse war eine stichprobenartige Überprüfung von AI-Overview-Antworten anhand verifizierter Quellen – ein Verfahren, das zwar methodische Grenzen hat, aber erstmals quantitative Anhaltspunkte liefert.

    Wo Fehler auftreten

    Die verbleibenden rund zehn Prozent fehlerhafter Antworten sind nicht gleichmäßig über alle Themenbereiche verteilt. Komplexe, kontroverse oder zeitkritische Themen zeigen erwartungsgemäß höhere Fehlerquoten als faktisch klare Suchanfragen – etwa nach definierten Begriffen, historischen Daten oder technischen Spezifikationen. Besonders bei Anfragen, die eine Abwägung verschiedener Quellen erfordern oder bei denen aktuelle Entwicklungen eine Rolle spielen, steigt das Risiko ungenauer Zusammenfassungen.

    Hinzu kommt das strukturelle Problem der sogenannten Halluzinationen: KI-Sprachmodelle können inhaltlich plausibel klingende, aber faktisch falsche Aussagen produzieren – ohne dass dies für den Nutzer auf den ersten Blick erkennbar ist. Google adressiert dieses Risiko durch Quellenverweise innerhalb der AI Overviews, die eine manuelle Nachprüfung erleichtern sollen.

    Einordnung im KI-Suchmarkt

    Google steht mit AI Overviews in direktem Wettbewerb mit Anbietern wie Perplexity AI oder Microsofts Copilot-Integration in Bing, die ebenfalls auf Large Language Models zur Antwortsynthese setzen.

    Eine Fehlerquote von zehn Prozent mag im Vergleich zu alternativen Systemen moderat wirken – bei Milliarden von Suchanfragen täglich entspricht das jedoch einer signifikanten absoluten Anzahl an potenziell fehlerhaften Antworten.

    Google selbst hat seit der Einführung von AI Overviews im Jahr 2024 mehrere Anpassungen vorgenommen, nachdem einzelne fehlerhafte Antworten öffentlich für Aufmerksamkeit gesorgt hatten. Die aktuelle Analyse deutet darauf hin, dass diese Nachbesserungen Wirkung zeigen.

    Einordnung für deutsche Unternehmen

    Für Unternehmen, die KI-Suchwerkzeuge intern oder im Kundenkontakt einsetzen, liefert die Analyse einen praxisrelevanten Orientierungswert:

    • Eine Trefferquote von 90 Prozent reicht für viele informelle Recherchetätigkeiten aus.
    • Für compliance-relevante, rechtliche oder medizinische Fragestellungen ist sie keine ausreichende Verlässlichkeit.
    • Wer AI Overviews in Geschäftsprozesse integriert, sollte klare interne Richtlinien definieren – für welche Anwendungsfälle KI-generierte Suchantworten akzeptabel sind und wo eine Verifikation anhand primärer Quellen obligatorisch bleibt.

    Quelle: The Decoder

  • Anthropic startet branchenweite Initiative zum Schutz kritischer Infrastruktur vor KI-gestützten Cyberangriffen

    Anthropic startet branchenweite Initiative zum Schutz kritischer Infrastruktur vor KI-gestützten Cyberangriffen

    Mit dem Projekt „Glasswing” wagt Anthropic einen ungewöhnlichen Schritt: Der KI-Entwickler sucht gemeinsam mit Konkurrenten nach Wegen, Large Language Models gegen den Missbrauch als Cyberwaffen zu schützen – und könnte damit einen neuen Branchenstandard setzen.

    Anthropic startet branchenweite Initiative zum Schutz kritischer Infrastruktur vor KI-gestützten Cyberangriffen

    Anthropic hat gemeinsam mit mehreren Wettbewerbern eine neue Sicherheitsinitiative ins Leben gerufen, die verhindern soll, dass Large Language Models für Angriffe auf kritische Infrastrukturen missbraucht werden. Das Projekt namens „Glasswing” richtet sich gezielt gegen die wachsende Bedrohung durch KI-gestützte Hacking-Methoden und soll branchenweite Standards etablieren.

    Kooperation statt Konkurrenz im Sicherheitsbereich

    Bemerkenswert an der Initiative ist die Bereitschaft konkurrierender Unternehmen zur Zusammenarbeit. Anthropic hat unter dem Projektnamen „Mythos” – einem internen Forschungsprogramm – die Grundlagen entwickelt, die nun in das breitere „Glasswing”-Projekt einfließen. Ziel ist es, gemeinsam Abwehrmechanismen zu entwickeln, die verhindern, dass KI-Systeme als Werkzeug für automatisierte Cyberangriffe eingesetzt werden können. Welche Unternehmen konkret beteiligt sind, wurde bislang nicht vollständig offengelegt.

    Das Bedrohungsszenario

    Der Hintergrund der Initiative ist konkret: Sicherheitsforscher haben in den vergangenen Monaten wiederholt nachgewiesen, dass aktuelle Large Language Models in der Lage sind, Schwachstellen in Software zu identifizieren, Exploit-Code zu generieren und Phishing-Kampagnen erheblich zu professionalisieren.

    Besonders problematisch ist die Senkung der Einstiegshürde: Angriffe, die bislang tiefes technisches Fachwissen erforderten, werden durch KI-Assistenz auch für weniger erfahrene Akteure durchführbar.

    Anthropics internes Forschungsprogramm „Mythos” hat sich laut Wired gezielt damit befasst, wie Sprachmodelle in realen Angriffsszenarien eingesetzt werden könnten. Die dabei gewonnenen Erkenntnisse bilden die empirische Grundlage für „Glasswing”.

    Technische und regulatorische Dimension

    „Glasswing” setzt auf mehreren Ebenen an:

    • Technische Maßnahmen: Verbesserte Guardrails und Evaluierungsverfahren, die erkennen sollen, wenn ein Modell für schadhafte Zwecke genutzt wird
    • Gemeinsame Benchmarks: Branchenweite Standards, anhand derer die Sicherheit von KI-Systemen gegenüber Missbrauchsszenarien bewertet werden kann

    Dieser Ansatz steht im Einklang mit regulatorischen Entwicklungen auf beiden Seiten des Atlantiks. Der EU AI Act enthält explizite Anforderungen an die Robustheit und Missbrauchssicherheit von Hochrisiko-KI-Systemen. Branchenübergreifende Standards, wie sie „Glasswing” anstrebt, könnten künftig als Referenzrahmen für die Compliance-Bewertung herangezogen werden.

    Grenzen des Ansatzes

    Freiwillige Brancheninitiativen waren in der Vergangenheit selten ausreichend, um tatsächliche Sicherheitsverbesserungen durchzusetzen.

    Kritiker weisen darauf hin, dass ohne verbindliche Vorgaben und unabhängige Überprüfung die Wirksamkeit solcher Kooperationen schwer messbar bleibt. Zudem adressiert „Glasswing” primär die Angebotsseite – also die Modelle selbst – während die Absicherung nachgelagerter Anwendungen und APIs in der Verantwortung der jeweiligen Unternehmen verbleibt.

    Einordnung für deutsche Unternehmen

    Für Unternehmen in Deutschland, die KI-basierte Tools in ihre IT-Infrastruktur integrieren oder planen, ist die Initiative ein klares Signal: Die Branche nimmt das Missbrauchspotenzial ihrer Produkte zunehmend ernst. Praktisch bedeutet das:

    • Die Teilnahme an Sicherheitsinitiativen und Transparenz über Evaluierungsverfahren sollten künftig als Auswahlkriterium bei KI-Anbietern gelten
    • Die eigene Absicherung von Schnittstellen und der Einsatz KI-spezifischer Sicherheitsaudits bleiben eine Aufgabe, die keine externe Initiative abnehmen kann

    Quelle: Wired AI – Anthropic Mythos / Project Glasswing

  • Trump plant weitreichendes Verbot chinesischer Technologie in kritischer Infrastruktur

    Trump plant weitreichendes Verbot chinesischer Technologie in kritischer Infrastruktur

    Die USA verschärfen ihren Kurs gegenüber chinesischer Technologie dramatisch: Die Trump-Administration plant ein weitreichendes Verbot chinesischer Komponenten in sicherheitskritischen Sektoren – von der Stromversorgung bis zur Wasserinfrastruktur. Die Folgen für globale Lieferketten und europäische Unternehmen könnten erheblich sein.

    Trump plant weitreichendes Verbot chinesischer Technologie in kritischer Infrastruktur

    Die US-Regierung unter Donald Trump bereitet offenbar umfassende Beschränkungen für chinesische Technologiekomponenten in sicherheitsrelevanten Bereichen vor. Betroffen wären Sektoren wie Energieversorgung, Telekommunikation, Wasserversorgung und Transportinfrastruktur. Die geplanten Maßnahmen würden die bisherige Regulierungspraxis deutlich verschärfen und hätten weitreichende Konsequenzen für globale Lieferketten.

    Hintergrund: Wachsende Sicherheitsbedenken

    Die Initiative reiht sich in eine längere Entwicklung ein. Bereits unter den Vorgängerregierungen wurden chinesische Anbieter wie Huawei und ZTE schrittweise aus US-Netzwerkinfrastrukturen verdrängt. Mit den nun geplanten Maßnahmen soll der Anwendungsbereich jedoch erheblich ausgeweitet werden – über Telekommunikation hinaus auf nahezu alle Bereiche kritischer Infrastruktur.

    Amerikanische Sicherheitsbehörden gehen davon aus, dass in chinesischen Hardware- und Softwarelösungen potenzielle Hintertüren für staatlich gesteuerte Spionage oder Sabotage existieren könnten.

    Konkrete Maßnahmen und betroffene Technologien

    Laut Berichten sollen unter anderem folgende Technologien reguliert oder vollständig verboten werden:

    • Steuerungssysteme für Stromnetze
    • Überwachungstechnologie (u. a. von Hikvision)
    • Drohnen (u. a. von DJI)
    • KI-gestützte Analyse- und Managementsysteme aus chinesischer Produktion

    Zusätzlich sollen Beschaffungsvorschriften für staatliche Stellen und Betreiber kritischer Infrastruktur deutlich restriktiver gestaltet werden.

    Auswirkungen auf globale Lieferketten

    Für international agierende Unternehmen entstehen durch solche Maßnahmen erhebliche Anpassungsbedarfe. Wer Produkte oder Dienstleistungen auf dem US-Markt anbietet oder in amerikanische Wertschöpfungsketten eingebunden ist, muss sicherstellen, dass die eigenen Zulieferer und Technologiekomponenten den neuen Anforderungen entsprechen.

    Analysten beobachten, dass ähnliche Überlegungen auch in der Europäischen Union an Fahrt gewinnen – nicht zuletzt vor dem Hintergrund eigener Sicherheitsdebatten um den 5G-Ausbau.

    Auch Zertifizierungsprozesse und Compliance-Prüfungen dürften deutlich aufwendiger werden.

    Geopolitische Dimension und Reaktionen

    Peking hat derartige Maßnahmen bislang als protektionistisch und diskriminierend zurückgewiesen. Chinesische Staatsmedien kritisierten die US-Politik als Instrumentalisierung von Sicherheitsargumenten zur wirtschaftlichen Abschottung. Technologieunternehmen auf beiden Seiten des Atlantiks beobachten die Entwicklung genau, da eine zunehmende Fragmentierung des globalen Technologiemarkts – häufig als „Tech-Decoupling” bezeichnet – langfristige strategische Investitionsentscheidungen beeinflusst.

    Einordnung für deutsche Unternehmen

    Für deutsche Unternehmen – insbesondere im Maschinen- und Anlagenbau, in der Energiewirtschaft sowie in der Betreiberlandschaft kritischer Infrastruktur – ist diese Entwicklung aus zwei Richtungen relevant:

    Risiken: Der Druck steigt, Lieferketten auf potenzielle Abhängigkeiten von chinesischen Technologiekomponenten zu prüfen – auch um kommende europäische Regulierungsanforderungen vorwegzunehmen.

    Chancen: Gleichzeitig eröffnen sich Marktchancen für europäische Alternativanbieter, sofern amerikanische und europäische Behörden verstärkt auf Technologie aus vertrauenswürdigen Partnerländern setzen.

    Unternehmen, die ihre Supply-Chain-Dokumentation und Sicherheitsnachweise frühzeitig aufbauen, dürften bei Ausschreibungen und Zertifizierungsprozessen mittelfristig im Vorteil sein.

    Quelle: TechRepublic

  • Anthropic stellt Claude für Cybersicherheit vor: Neues KI-Modell speziell für Sicherheitsanwendungen

    Anthropic stellt Claude für Cybersicherheit vor: Neues KI-Modell speziell für Sicherheitsanwendungen

    Anthropic betritt mit Mythos einen neuen Markt: Das speziell für Cybersicherheit entwickelte KI-Modell soll Unternehmen helfen, Bedrohungen schneller zu erkennen und abzuwehren – und positioniert den Claude-Hersteller als ernsthaften Akteur in sicherheitskritischen Infrastrukturen.

    Anthropic stellt Mythos vor: Neues KI-Modell speziell für Cybersicherheit

    Anthropic hat eine Vorschau auf ein neues Large Language Model namens Mythos veröffentlicht, das speziell für den Einsatz im Bereich Cybersicherheit entwickelt wurde. Das Modell soll zunächst einer begrenzten Anzahl ausgewählter Unternehmen zur Verfügung stehen und dort defensive Sicherheitsaufgaben übernehmen.

    Fokus auf defensive Sicherheitsanwendungen

    Mythos richtet sich laut Anthropic explizit an Unternehmen, die ihre Abwehrfähigkeiten gegen Cyberangriffe stärken wollen. Im Gegensatz zu allgemein verfügbaren Modellen wie Claude ist Mythos von Grund auf auf sicherheitsspezifische Anwendungsfälle ausgerichtet – darunter:

    • Analyse von Bedrohungslagen
    • Erkennen von Schwachstellen
    • Unterstützung von Security-Teams bei der Incident Response

    Das Modell befindet sich derzeit in einer eingeschränkten Preview-Phase. Eine kleine Gruppe hochkarätiger Unternehmen arbeitet bereits mit Mythos zusammen, bevor ein breiterer Rollout erfolgt. Namen der beteiligten Firmen nannte Anthropic bislang nicht.

    Einbettung in eine breitere Cybersicherheits-Initiative

    Anthropic positioniert sich damit als Anbieter, der KI nicht nur als produktivitätssteigerndes Werkzeug versteht, sondern gezielt für sicherheitskritische Infrastrukturen entwickelt.

    Die Vorstellung von Mythos ist Teil einer größeren Sicherheitsinitiative, die Anthropic parallel zu dem Modell gestartet hat. Das Unternehmen arbeitet dabei nach eigenen Angaben mit Partnern aus dem Unternehmensumfeld zusammen – darunter offenbar auch Akteure aus dem Microsoft- und Amazon-Ökosystem, die beide bereits als Investoren und Cloud-Partner bekannt sind. Amazon hat zuletzt mehrere Milliarden Dollar in Anthropic investiert und integriert dessen Modelle tief in die AWS-Plattform.

    Abgrenzung zum Markt

    Der Schritt ist bemerkenswert, weil er zeigt, dass KI-Anbieter zunehmend spezialisierte Modelle für einzelne Branchen entwickeln, anstatt ausschließlich auf leistungsfähige Universalmodelle zu setzen. Konkurrenten wie Google mit seinen Sec-PaLM-Projekten oder spezialisierte Anbieter im Security-Segment dürften Mythos aufmerksam beobachten.

    Für Anthropic ist die Initiative auch ein strategischer Schachzug: Cybersicherheit gehört zu den Bereichen, in denen Unternehmen besonders hohe Anforderungen an Zuverlässigkeit, Nachvollziehbarkeit und Datenschutz stellen – Felder, auf denen Anthropic mit seinem sicherheitsorientierten Entwicklungsansatz punkten will.

    Einordnung für deutsche Unternehmen

    Für Sicherheitsverantwortliche in deutschen Unternehmen ist Mythos zunächst noch nicht direkt zugänglich. Die eingeschränkte Preview richtet sich an eine selektive Gruppe, und ein allgemeiner Verfügbarkeitstermin wurde nicht kommuniziert. Mittelfristig dürfte das Modell jedoch über AWS oder Microsoft Azure auch europäischen Nutzern zur Verfügung stehen.

    Angesichts wachsender Bedrohungen durch Ransomware und staatlich gesteuerte Cyberangriffe könnte ein KI-gestütztes Sicherheitsmodell dieser Art für regulierte Branchen wie Finanz, Energie und Gesundheitswesen ein relevantes Werkzeug werden.

    Entscheider sollten die Entwicklung verfolgen und prüfen, ob und wie solche spezialisierten Modelle in bestehende Security-Architekturen integrierbar sind.

    Quelle: TechCrunch AI

  • KI-Governance im Unternehmen: Strukturen aufbauen, bevor der Regulierungsdruck steigt

    KI-Governance im Unternehmen: Strukturen aufbauen, bevor der Regulierungsdruck steigt

    Der EU AI Act macht KI-Governance zur Pflichtaufgabe – doch wer jetzt proaktiv handelt, gewinnt nicht nur Rechtssicherheit, sondern auch einen echten Wettbewerbsvorteil. Ein strukturierter Rahmen ist keine bürokratische Last, sondern strategisches Fundament für den verantwortungsvollen KI-Einsatz.

    KI-Governance im Unternehmen: Strukturen aufbauen, bevor der Regulierungsdruck steigt

    Mit dem schrittweisen Inkrafttreten des EU AI Acts stehen Unternehmen vor der Aufgabe, interne Governance-Strukturen für den KI-Einsatz zu etablieren – oft ohne klare Vorlage. Wer jetzt einen strukturierten Rahmen schafft, verschafft sich nicht nur Rechtssicherheit, sondern auch einen operativen Vorteil gegenüber Wettbewerbern, die das Thema aufschieben.

    Warum Ad-hoc-Lösungen nicht ausreichen

    Viele Unternehmen haben KI-Werkzeuge bereits im Einsatz – von automatisierten Kundenservice-Systemen bis hin zu Large Language Models in internen Prozessen. Die wenigsten haben jedoch dokumentiert, welche Systeme welche Entscheidungen beeinflussen, wer die Verantwortung trägt und wie Fehler eskaliert werden.

    Genau das aber werden Aufsichtsbehörden künftig einfordern. Eine nachträglich aufgesetzte Governance ist aufwändiger und fehleranfälliger als eine, die von Anfang an mitgedacht wird.

    Die vier Kernelemente eines funktionierenden Rahmens

    Ein praxistaugliches KI-Governance-Framework besteht im Wesentlichen aus vier Bausteinen:

    Inventarisierung
    Zunächst braucht es eine vollständige, gepflegte Liste aller im Unternehmen eingesetzten KI-Systeme – inklusive Drittanbieter-Tools und eingebetteter Funktionen in bestehender Software. Ohne dieses Inventar ist kein systematisches Risikomanagement möglich.

    Risikoeinstufung
    Der EU AI Act kategorisiert Systeme nach Risikoklassen. Unternehmen sollten ihre eigenen Systeme anhand dieser Klassifizierung einordnen und entsprechende Maßnahmen ableiten – von einfacher Dokumentationspflicht bis hin zu verpflichtenden Konformitätsbewertungen.

    Verantwortlichkeiten
    Governance funktioniert nur mit klar benannten Rollen. Das bedeutet nicht zwingend eine neue Stabsstelle, aber es braucht definierte Zuständigkeiten – ob im Legal-, Compliance- oder IT-Bereich. In größeren Unternehmen empfiehlt sich ein interdisziplinäres AI-Governance-Committee.

    Richtlinien und Prozesse
    Mitarbeiter benötigen klare Leitlinien, welche KI-Werkzeuge sie unter welchen Bedingungen nutzen dürfen, wie mit sensiblen Daten umzugehen ist und wie Verstöße oder Anomalien gemeldet werden. Diese Richtlinien müssen regelmäßig aktualisiert und kommuniziert werden.

    Dokumentation als strategisches Instrument

    Über die reine Compliance-Funktion hinaus hat Dokumentation einen praktischen Wert: Sie macht KI-Entscheidungen nachvollziehbar, erleichtert Audits und schützt bei Haftungsfragen.

    Wer nachweisen kann, dass ein System nach definierten Kriterien ausgewählt, bewertet und überwacht wurde, steht bei Streitfällen deutlich besser da.

    Typische Stolperfallen

    Zu den häufigsten Fehlern beim Aufbau von KI-Governance zählen:

    • Zu viel Fokus auf technische Details statt auf organisatorische Abläufe
    • Fehlende Einbindung der Fachabteilungen
    • Governance-Dokumente, die zwar existieren, aber im Alltag nicht gelebt werden

    Besonders kritisch ist der letzte Punkt – ein Framework, das nur auf dem Papier besteht, bietet weder operativen Nutzen noch ausreichenden rechtlichen Schutz.

    Einordnung für deutsche Unternehmen

    Für Unternehmen in Deutschland kommt neben dem EU AI Act auch die bestehende DSGVO-Regulierung als Anforderungsrahmen hinzu – beide Regelwerke greifen bei datenverarbeitenden KI-Systemen ineinander. Die Bundesregierung hat zudem angekündigt, die nationale Umsetzung des AI Acts durch eigene Leitlinien zu begleiten.

    Unternehmen, die jetzt mit dem Aufbau eines dokumentierten Governance-Rahmens beginnen, müssen diesen später nicht unter Zeitdruck nachbessern – und positionieren sich gleichzeitig als vertrauenswürdige Partner gegenüber Kunden und Geschäftspartnern, für die KI-Verantwortung zunehmend ein Auswahlkriterium wird.

    Quelle: TechRepublic AI – AI Policy & Governance Starter Kit

  • Googles KI-Zusammenfassungen liegen in zehn Prozent der Fälle falsch

    Googles KI-Zusammenfassungen liegen in zehn Prozent der Fälle falsch

    Googles KI-generierte Suchantworten liefern bei etwa jeder zehnten Anfrage fehlerhafte Informationen – eine Quote, die angesichts von Milliarden täglicher Suchanfragen zu einem massiven Desinformationsproblem werden kann.

    Googles KI-Zusammenfassungen liegen in zehn Prozent der Fälle falsch

    Analysen deuten darauf hin, dass die AI Overviews in der Google-Suche bei etwa einer von zehn Anfragen fehlerhafte Informationen liefern. Angesichts von Milliarden täglicher Suchanfragen weltweit ergibt sich daraus eine erhebliche Anzahl potenziell irreführender Antworten – mit spürbaren Konsequenzen für Unternehmen, die auf diese Funktion vertrauen oder von ihr betroffen sind.

    Was die Analyse zeigt

    Untersuchungen der US-amerikanischen Technologiepublikation Ars Technica zufolge weisen Googles AI Overviews – jene KI-generierten Zusammenfassungen, die seit 2024 prominent über den organischen Suchergebnissen erscheinen – eine Fehlerquote von rund zehn Prozent auf. Die Fehler reichen von sachlich falschen Aussagen über veraltete Informationen bis hin zu Antworten, die zwar plausibel klingen, sich aber bei näherer Prüfung als inkorrekt erweisen.

    Google selbst äußert sich zurückhaltend zu konkreten Genauigkeitskennzahlen. Das Unternehmen betont, die Funktion kontinuierlich zu verbessern und auf Nutzerfeedback zu reagieren. Unabhängige Tests legen jedoch nahe, dass die Fehlerquote besonders bei spezifischen Fachfragen, medizinischen Themen und aktuellen Ereignissen höher ausfällt.

    Das Skalenproblem

    „Buchstäblich Millionen falscher Aussagen pro Stunde” – so beschreibt Ars Technica das Ausmaß der fehlerhaften AI Overviews bei Googles täglichem Anfragevolumen.

    Der entscheidende Faktor ist die schiere Reichweite: Google verarbeitet täglich mehrere Milliarden Suchanfragen. AI Overviews erscheinen mittlerweile bei einem erheblichen Anteil dieser Anfragen. Selbst eine vergleichsweise geringe Fehlerquote von zehn Prozent führt bei dieser Skalierung zu Millionen fehlerhafter Antworten täglich.

    Die Frage, ob 90 Prozent Treffsicherheit für ein Suchwerkzeug akzeptabel sind, ist dabei keineswegs trivial. Bei klassischen Suchergebnissen tragen Nutzer die Verantwortung, Quellen selbst zu bewerten. AI Overviews hingegen präsentieren eine einzelne, autoritativ formulierte Antwort – was das Risiko erhöht, dass Fehler ungeprüft übernommen werden.

    Relevanz für Unternehmen

    Für Unternehmen ergeben sich daraus zwei konkrete Problemfelder:

    1. Interne Informationsrisiken
    Mitarbeiter nutzen KI-gestützte Suchfunktionen zunehmend für schnelle Recherchen – etwa zu rechtlichen Anforderungen, Produktinformationen oder Wettbewerbsanalysen. Fehlerhafte AI Overviews können dabei stille Informationsrisiken erzeugen, die sich kaum nachverfolgen lassen.

    2. Fehlerhafte Außendarstellung
    Werden Informationen über ein Unternehmen, seine Produkte oder Preise in AI Overviews falsch zusammengefasst, kann das zu Fehlinformationen bei potenziellen Kunden führen – ohne dass das Unternehmen dies unmittelbar bemerkt oder korrigieren kann.

    Einordnung für den deutschen Markt

    Für deutschsprachige Unternehmen gilt: AI Overviews sind in Deutschland zwar weniger verbreitet als in den USA, werden aber schrittweise ausgerollt.

    Wer KI-generierte Suchergebnisse als zuverlässige Primärquelle behandelt, akzeptiert implizit eine nicht unerhebliche Fehlertoleranz.

    Der Einsatz von Large Language Models in internen wie externen Informationsprozessen sollte grundsätzlich mit einem klaren Verifikationsschritt verbunden sein – insbesondere bei geschäftskritischen Entscheidungen. Unternehmen, die intern Richtlinien für den Umgang mit KI-Tools entwickeln, sollten diesen Aspekt ausdrücklich adressieren.

    Quelle: Ars Technica – Analysis finds Google AI Overviews is wrong 10 percent of the time

  • Anthropic hält KI-Modell wegen Cyberangriffs-Potenzial zurück

    Anthropic hält KI-Modell wegen Cyberangriffs-Potenzial zurück

    Ein KI-Labor zieht eine seltene Konsequenz: Anthropic hat ein intern entwickeltes Modell mit dem Namen „Mythos” bewusst nicht veröffentlicht – weil es zu gut darin ist, Cyberangriffe zu unterstützen. Der Vorgang ist ein Präzedenzfall für die gesamte Branche.

    Anthropic hält KI-Modell wegen Cyberangriffs-Potenzial zurück

    Fähigkeiten jenseits der Veröffentlichungsschwelle

    Bei dem zurückgehaltenen System handelt es sich um ein Modell mit dem internen Namen „Mythos”, das laut Axios im Rahmen von Sicherheitstests Fähigkeiten gezeigt hat, die über das hinausgehen, was Anthropic als vertretbares Risiko für eine öffentliche Bereitstellung einstuft. Konkret soll das Modell in der Lage sein, bei Cyberangriffen auf einem Niveau zu unterstützen, das bislang spezialisierten Bedrohungsakteuren vorbehalten war – etwa bei der Entwicklung von Exploits oder der Analyse von Schwachstellen in komplexen Systemen.

    Anthropic verwendet intern ein Risikostufen-Framework namens „Responsible Scaling Policy”, das festlegt, unter welchen Bedingungen Modelle trainiert, eingesetzt oder zurückgehalten werden. „Mythos” soll dabei eine Schwelle überschritten haben, die eine öffentliche Freigabe nach aktuellem Stand ausschließt.

    Es ist einer der seltenen dokumentierten Fälle, in denen ein führendes KI-Labor ein fertiges Modell bewusst vom Markt zurückhält – aus Sicherheitsgründen.

    Kontrollierter Zugang statt vollständiger Sperrung

    Eine vollständige Sperrung bedeutet die Entscheidung jedoch nicht. Anthropic plant offenbar, das Modell einem eingeschränkten Kreis von Sicherheitsforschern und ausgewählten Partnern zugänglich zu machen – unter kontrollierten Bedingungen und mit entsprechenden Nutzungsvereinbarungen. Ziel ist es, die defensiven Möglichkeiten des Modells nutzbar zu machen, ohne offensive Kapazitäten breit zu streuen.

    Dieser Ansatz spiegelt eine wachsende Debatte in der KI-Branche wider: Leistungsfähige Modelle, die bei Penetrationstests oder der Bedrohungsanalyse nützlich sein können, sind strukturell schwer von solchen zu unterscheiden, die bei der Planung von Angriffen helfen. Die Dual-Use-Problematik ist bei Cybersecurity-Anwendungen besonders ausgeprägt.

    Signalwirkung für die Branche

    Die Entscheidung hat über Anthropic hinaus Bedeutung. Bislang dominierte in der Branche der Druck, Modelle möglichst schnell und breit zu veröffentlichen – nicht zuletzt aus Wettbewerbsgründen. Dass ein Anbieter diesen Druck zugunsten von Sicherheitsbedenken zurückstellt, ist bemerkenswert, auch wenn Anthropic mit seiner sicherheitsorientierten Unternehmenskultur eine Sonderstellung einnimmt.

    Regulierungsinitiativen wie der EU AI Act klassifizieren bestimmte KI-Anwendungen im Sicherheitsbereich bereits als Hochrisiko-Systeme. Die Entscheidung von Anthropic dürfte Behörden und Standardisierungsgremien zusätzliche Argumente liefern, Veröffentlichungspflichten und Risikobewertungsverfahren für leistungsfähige Modelle stärker zu formalisieren.

    Einordnung für deutsche Unternehmen

    Für IT-Sicherheitsverantwortliche in deutschen Unternehmen hat der Vorgang eine unmittelbare praktische Dimension: Wenn ein KI-Labor selbst zu dem Schluss kommt, dass ein Modell zu gefährlich für die allgemeine Verfügbarkeit ist, unterstreicht das die Notwendigkeit, die eigene Bedrohungsmodellierung um KI-gestützte Angriffsvektoren zu erweitern.

    Modelle mit vergleichbaren Fähigkeiten könnten über weniger regulierte Anbieter oder Open-Source-Wege dennoch zugänglich werden. Unternehmen sollten prüfen, ob ihre bestehenden Sicherheitsarchitekturen und -prozesse auf den Einsatz KI-unterstützter Angriffswerkzeuge durch externe Akteure vorbereitet sind.

    Quelle: Axios AI

  • Anthropic startet Cybersicherheits-Initiative mit Nvidia, Apple und Microsoft

    Anthropic startet Cybersicherheits-Initiative mit Nvidia, Apple und Microsoft

    Anthropic bündelt mit „Project Glasswing” erstmals die Rechenkapazitäten eines Frontier-Modells mit dem Sicherheits-Know-how von Tech-Schwergewichten wie Nvidia, Apple und Microsoft – und setzt damit einen neuen Maßstab für KI-gestützte Schwachstellenanalyse.

    Anthropic startet Cybersicherheits-Initiative mit Nvidia, Apple und Microsoft

    Anthropic hat mit „Project Glasswing” eine Cybersicherheits-Initiative gestartet, die auf einem neuen, nicht öffentlich verfügbaren Large Language Model basiert. Das Modell namens Claude Mythos Preview soll Schwachstellen in gängigen Betriebssystemen und Browsern aufspüren – weitgehend ohne menschliche Intervention.

    Geschlossenes Konsortium für kritische Sicherheitsanalysen

    Zu den Launch-Partnern des Projekts zählen Nvidia, Google, Amazon Web Services, Apple und Microsoft. Die beteiligten Unternehmen erhalten exklusiven Zugang zu Claude Mythos Preview, um ihre eigenen Systeme auf hochriskante Sicherheitslücken zu analysieren und diese gezielt zu beheben. Eine öffentliche Veröffentlichung des Modells ist laut Anthropic ausdrücklich nicht geplant – der Grund: die Befürchtung, dass Angreifer dasselbe Werkzeug nutzen könnten, um gezielt Schwachstellen auszunutzen.

    „Defender sollen Angreifern zeitlich voraus sein, indem Lücken identifiziert und geschlossen werden, bevor sie aktiv ausgenutzt werden können.” — Newton Cheng, Cyber-Spezialist, Frontier Red Team bei Anthropic

    Newton Cheng, der für das Frontier Red Team von Anthropic zuständige Cyber-Spezialist, beschreibt das Ziel des Projekts gegenüber The Verge als „Head Start” für Sicherheitsverantwortliche.

    Modell erkennt Schwachstellen in allen gängigen Systemen

    Claude Mythos Preview soll bereits in frühen Tests Sicherheitsprobleme in sämtlichen großen Betriebssystemen und Webbrowsern identifiziert haben. Details zu konkreten Befunden oder betroffenen Produkten nannte Anthropic nicht. Der restriktive Zugang soll sicherstellen, dass das Modell ausschließlich defensiv eingesetzt wird – ein Ansatz, der auch regulatorische Fragen aufwirft, da staatliche Stellen offenbar ebenfalls als potenzielle Nutzer in Betracht gezogen werden.

    Automatisierte Schwachstellenanalyse als strategischer Hebel

    Der Einsatz von KI-Modellen für Vulnerability Research ist nicht neu, doch der Ansatz, ein dediziertes Frontier-Modell in einem kontrollierten Partnerkreis zu betreiben, stellt eine strategische Weiterentwicklung dar. Bislang wurden Large Language Models zwar für einzelne Sicherheitsaufgaben genutzt – etwa Code-Analyse oder Penetrationstest-Unterstützung –, eine strukturierte Integration auf Unternehmens- und Plattformebene in diesem Umfang ist jedoch ungewöhnlich.

    Dass Anthropic ausgerechnet Apple und Microsoft in denselben Kreis aufnimmt, verdeutlicht den plattformübergreifenden Anspruch des Projekts. Beide Unternehmen stehen mit Windows und macOS im Zentrum globaler IT-Infrastrukturen.

    Einordnung für deutsche Unternehmen

    Für IT-Sicherheitsverantwortliche in Deutschland ist Project Glasswing zunächst ein Signal: Die systematische Nutzung spezialisierter KI-Modelle zur Schwachstellenerkennung wird bei großen Plattformanbietern zur strategischen Priorität. Unternehmen, die auf Windows, macOS oder gängige Browser setzen – also praktisch alle –, profitieren indirekt davon, sofern die beteiligten Hersteller identifizierte Lücken zügig schließen.

    Mittelfristig dürfte der Druck steigen, ähnliche Ansätze auch auf Unternehmensebene zu etablieren. Der deutschen Wirtschaft fehlt bislang ein vergleichbares Konsortium; BSI und europäische Initiativen wie ENISA sollten die Entwicklungen rund um KI-gestützte Schwachstellenanalyse eng verfolgen, um regulatorische und operative Konsequenzen rechtzeitig abzuleiten.

    Quelle: The Verge AI

  • Apple, Google und Microsoft bündeln Ressourcen für Open-Source-Sicherheitsinitiative

    Apple, Google und Microsoft bündeln Ressourcen für Open-Source-Sicherheitsinitiative

    Mit „Project Glasswing” wagen Apple, Google, Microsoft und Anthropic einen ungewöhnlichen Schritt: Vier Technologieriesen, die sonst im harten Wettbewerb stehen, bündeln Ressourcen, um die Sicherheit kritischer Open-Source-Infrastruktur grundlegend zu stärken – und senden damit ein Signal an die gesamte Branche.

    Apple, Google und Microsoft bündeln Ressourcen für Open-Source-Sicherheitsinitiative

    Drei der größten Technologiekonzerne weltweit haben sich unter dem Namen „Project Glasswing” zusammengeschlossen, um kritische Open-Source-Software besser gegen Sicherheitsbedrohungen abzusichern. Neben Apple, Google und Microsoft ist auch das KI-Unternehmen Anthropic an dem Vorhaben beteiligt. Die Initiative zielt darauf ab, systematische Schwachstellen in weit verbreiteten Software-Bibliotheken zu identifizieren und zu beheben, bevor diese in größeren Angriffen ausgenutzt werden können.

    Hintergrund: Warum Open-Source-Infrastruktur besonderer Schutz braucht

    Open-Source-Komponenten bilden das Fundament eines Großteils moderner Unternehmens-Software – von Web-Applikationen über Cloud-Infrastruktur bis hin zu KI-Systemen. Genau diese Abhängigkeit macht sie zu einem attraktiven Angriffsziel.

    Der Vorfall rund um die Log4Shell-Sicherheitslücke im Jahr 2021 hat exemplarisch gezeigt, welche Reichweite eine einzige Schwachstelle in einer weit verbreiteten Bibliothek haben kann: Hunderttausende Systeme weltweit waren innerhalb kürzester Zeit exponiert – darunter Systeme von Behörden, Finanzdienstleistern und Industrieunternehmen.

    Project Glasswing adressiert genau dieses strukturelle Problem. Statt reaktiv auf bekannte Vorfälle zu reagieren, soll die Initiative proaktiv Ressourcen bereitstellen – in Form von finanzieller Unterstützung, technischer Expertise und koordinierter Forschung.

    Koordinierte Reaktion auf ein systemisches Risiko

    Die beteiligten Unternehmen wollen im Rahmen der Initiative unter anderem Open-Source-Maintainer finanziell und technisch unterstützen, die oft ehrenamtlich oder mit sehr begrenzten Mitteln arbeiten. Viele kritische Bibliotheken werden von kleinen Teams oder sogar Einzelpersonen gepflegt – ein Umstand, der sowohl die Qualitätssicherung als auch die Reaktionsgeschwindigkeit bei Sicherheitsvorfällen erheblich einschränkt.

    Darüber hinaus ist geplant, gemeinsame Prüfprozesse und Sicherheitsstandards für besonders exponierte Softwarekomponenten zu etablieren. Die Einbindung von Anthropic deutet darauf hin, dass auch KI-gestützte Analysen zur automatisierten Erkennung potenzieller Schwachstellen eingesetzt werden sollen.

    Strategische Dimension für den Technologiemarkt

    Das Engagement der vier Unternehmen ist nicht allein altruistisch motiviert. Apple, Google und Microsoft sind selbst in erheblichem Maße von der Sicherheit der Open-Source-Ökosysteme abhängig, auf denen ihre eigenen Produkte und Cloud-Dienste aufbauen.

    Ein erfolgreicher Angriff auf eine weitverbreitete Bibliothek kann Lieferketten entlang der gesamten Branche beeinträchtigen – ein Risiko, das angesichts zunehmender KI-Integration in Unternehmenssoftware weiter wächst.

    Die Zusammenarbeit direkt konkurrierender Konzerne in Sicherheitsfragen ist dabei kein Novum, gewinnt jedoch an Bedeutung. Ähnliche Ansätze verfolgen etwa die Open Source Security Foundation (OpenSSF) oder der Sovereign Tech Fund auf europäischer Ebene, die ebenfalls gezielt kritische Infrastruktur-Projekte fördern.

    Einordnung für deutsche Unternehmen

    Für Unternehmen in Deutschland und dem deutschsprachigen Raum, die stark auf Open-Source-Software setzen, liefert Project Glasswing ein klares Signal:

    Die systematische Absicherung der eigenen Software-Lieferkette rückt auch auf Branchenebene in den Fokus.

    IT-Verantwortliche sollten die Entwicklungen rund um die Initiative aufmerksam verfolgen, da daraus möglicherweise neue Sicherheitsstandards und Zertifizierungsanforderungen entstehen, die auch für europäische Zulieferer und Software-Anbieter relevant werden könnten. Ergänzend bieten bestehende Rahmenprogramme wie der deutsche Sovereign Tech Fund bereits heute konkrete Ansatzpunkte zur Stärkung kritischer Open-Source-Abhängigkeiten im eigenen Portfolio.

    Quelle: ZDNet AI