Woa, spannend. Zeigt einmal mehr, dass man die Ausgaben der KI gut prüfen muss und blindes Vertrauen beileibe nicht angebracht ist. Weder bei Code noch bei Text.
Gestern machte ChatGPT einen aus IT-Security Sicht interessanten Fehler.💡 Es ging um die Auswertung und Aufbereitung von Daten mit Hilfe von Python. 📊 Gegen Ende des Python Skripts schrieb ChatGPT die folgenden Zeilen: import ace_tools as tools; tools.display_dataframe_to_user(name="Ergebnis", dataframe=result) print(result) Das erschien mir seltsam. Von ace_tools hatte ich noch nie gehört und für die Anzeige des Dataframes wäre die Bibliothek auch nicht notwendig. 🤔 Eine kurze Suche nach ace_tools führte mich zu einem Github Repo, das mehr als 300 Tools aus den Bereichen Phishing, BruteForce, Penetration Testing, Hacking und Spying installiert. 👾 Zum Glück muss man das Github Repo klonen, um die Tools zu installiert. Das passiert nicht mit einem für Python üblichen Weg über pip install. 😬 Auf Nachfrage erklärte ChatGPT selbst: "Die Library ace_tools ist eine benutzerdefinierte Bibliothek, die in der OpenAI-Umgebung verwendet wird. Sie ist speziell für die Interaktion mit OpenAI's internen Werkzeugen konzipiert und steht daher nicht über öffentliche Paketmanager wie pip zur Verfügung." 🤖 Sie wird also von ChatGPT selbst dazu verwendet, um Dataframes anzuzeigen. Aber der Code funktioniert nicht auf der Maschine des Benutzers. Daher hätte ChatGPT die letzte Zeile seines Codes besser weggelassen und durch einen Standardbefehl wie result.head() ersetzt. 🗑 Das Beispiel zeigt, dass sich hier neue Möglichkeiten für Hacker auftun. Einige Benutzer werden einfach den von ChatGPT vorgeschlagenen Code kopieren und ausführen. Dann erscheint die Meldung, dass ace_tools nicht installiert ist. ❎ Also wird ein pip install ace_tools ausgeführt. Die Installation funktioniert, wenn ein Hacker dieses Problem erkannt und rechtzeitig eine ace_tools Bibliothek auf pypi.org veröffentlicht hat. ✅ Der Aufruf von tools.display_dataframe_to_user könnte dann den Dataframe auf der Maschine des Users ganz normal anzeigen und zusätzlich im Hintergrund Schadcode ausführen. Ich bin gespannt, wann wir die ersten Exploits sehen, die genau solche Fehler von LLMs ausnutzen. Oder gibt es sie bereits? 🙈
