In einer Zeit, in der KI-gestützte Programmierassistenten immer verbreiteter werden, hätte eine Routine-Entwicklungsaufgabe, die eigentlich dazu gedacht war, die „Hände der Menschen zu befreien“, fast einem Unternehmen einen hohen Preis gekostet. Kürzlich berichteten ausländische Medien, dass ein Ingenieur der Softwareentwicklungsberatung Softjourn bei der Verwendung eines KI-Agenten, der ein „sehr zuverlässiges“ Softwarepaket empfehlen sollte, einen Namen erhielt, der dem Format gängiger Bibliotheken sehr ähnlich war. Wäre es nicht für eine unauffällige, strikte Regel des Unternehmens gewesen, hätte dieses schadhafte Softwarepaket möglicherweise ihre Systeme infiltriert.
Laut Berichten forderte ein Ingenieur von Softjourn während eines Geschäftsprozesses den KI-Agenten auf, ein Softwarepaket für gängige Aufgaben zu empfehlen. Der KI-Agent gab schnell einen Namen an. In vielen Organisationen würden Entwickler die Vorschläge direkt annehmen und das Paket herunterladen und installieren. Softjourn hat jedoch eine streng durchgesetzte Regel: Alle Softwareempfehlungen von KI müssen doppelt überprüft werden, um ihre Legitimität sicherzustellen. Der Ingenieur folgte diesem Prozess und überprüfte einen Teil des Quellcodes des Pakets auf GitHub, wo er sofort Verdachtsmomente entdeckte – das Paket hatte extrem wenige Downloads und das Repository war erst vor wenigen Tagen erstellt worden.
Risiko von Lieferkettenangriffen durch KI-Modelle
Dies ist kein einmaliger Fehler des KI-Modells, sondern eine neue Art von Lieferkettenangriff, die als „slopsquatting“ (d.h. „KI-Illusions-Paketnamen-Übernahme“) bezeichnet wird. KI-Modelle „halluzinieren“ manchmal Namen von Paketen, die plausibel klingen, aber tatsächlich nicht existieren. Angreifer haben dieses Muster bereits erkannt und sichern sich im Voraus diese von der KI erfundenen Paketnamen, laden schadhafter Code hoch und warten darauf, dass Entwickler darauf hereinfallen. Sergiy Fitsak, Geschäftsführer von Softjourn, warnt, dass Angreifer darauf setzen, dass „Entwickler unter dem Druck von Fristen zuerst installieren und dann überprüfen“.
Softjourn hat dieses Risiko erfolgreich umgangen, aber Fitsak betont: „Wir konnten es entdecken, weil wir uns angewöhnt haben, die Downloadzahlen zu überprüfen und den Quellcode auf GitHub zu überprüfen, selbst wenn die von der KI empfohlene nur ein ganz gewöhnliches Paket zu sein scheint.“