Die verschiedenen Sprachen der KI

Seit Chat GPT schießen sie wirklich wie Pilze aus dem Boden: Tools, Software und Geräte, die KI nutzen. Aber wussten Sie, dass die meisten dieser Tools auf ein paar wenigen Modellen basieren? Diese Modelle sind die Large Language Models, die ich Ihnen in diesem Video etwas näher bringen will. Large Language Models, auch abgekürzt mit LLMs, sind leistungsstarke Künstliche-Intelligenz-Systeme, die entwickelt wurden, um menschenähnliche Texte zu generieren, zu verstehen und darauf zu reagieren. Sie basieren auf Deep Learning und können grosse Mengen an Textdaten lernen und menschenähnliche Sprachmuster erfassen. Sie kombinieren also eigentlich all die Fähigkeiten, die Sie in den vergangenen Videos beobachten konnten. LLMs, eben Large Language Models, können dadurch Texte verstehen und dadurch auch Befehle entgegennehmen, Texte generieren und Texte verändern oder übersetzen. Es gibt sehr viele verschiedene LLMs. Maßgeblich beteiligt an deren Entwicklung sind unter anderem Google, Microsoft und Facebook, aber auch KI-Firmen wie OpenAI oder DeepMind. 2018 hat Google die Entwicklung von Large Language Models so richtig angestoßen mit BERT. BERT ist eigentlich eine Familie von Sprachmodellen und gehörte zu den ersten Modellen, die Wörter aufgrund des Kontexts besser einordnen konnten. 2020 hat OpenAI dann GPT-3 auf den Markt gebracht und damit eigentlich den grossen Run eröffnet. 2021 folgten MT-NLG von NVIDIA und Microsoft und LaMDA von Google. Auf LaMDA basiert übrigens auch BERT, der generative Chatbot von Google. 2022 hat Google dann nachgedoppelt mit PaLM, das besonders gut darin ist, Zusammenhänge zu verstehen. So kann PaLM zum Beispiel auch Witze erklären. Im selben Jahr wurde auch BLOOM eingeführt, ein mehrsprachiges LLM von Big Science. Im Vergleich zu BLOOM und PaLM ist Chat GPT richtig klein. Es wurde nämlich nur auf 20 Milliarden Parametern trainiert. Das klingt nach viel, ist aber übrigens sehr wenig. Trotzdem war Chat GPT sehr medienwirksam, als es zum ersten Mal veröffentlicht wurde. Im März 2023 wurde dann auch GPT-4 eingeführt. Darüber weiß man jedoch sehr wenig, auch nicht die Anzahl der Parameter. Jedoch ist GPT-4 schon funktional deutlich ausgereifter Chat GPT. Im Februar 2023 folgte auch noch Meta, der Konzern hinter Facebook, Instagram und WhatsApp, mit einem eigenen LLM namens LLaMA. Der Zugriff auf das Model ist jedoch nur Forschenden, Regierungsmitarbeitern und Wissenschaftler:innen und nur nach Einreichung eines Antrags bei Meta möglich. Auf LLaMA folgte dann auch noch Alpaca, eine Abwandlung von LLaMA aus der Stanford University mit Fokus auf Recherche und Forschung. Sie sehen, es gibt ein paar verschiedene Language Models und gleichzeitig sind es nicht so viele, wenn man sich überlegt, wie viele Tools die KI und die Language Models nutzen. Alle diese Language Models haben verschiedene Fokuspunkte und Fähigkeiten und sind unterschiedlich trainiert. Aber auch die Lizenzmodelle unterscheiden sich. Es gibt Open-Source-Modelle, gehostete Systeme und Tools mit mehr oder weniger Möglichkeiten zum manuellen Eingreifen. Das Spannende an LLMs ist, dass ein Modell für ganz viele verschiedene Aufgaben genutzt werden kann. Chat, Übersetzung, Code-Generierung, Zusammenfassung. Das hat einen bestimmten Grund. LLMs lernen nicht spezifische Inhalte, sondern eher Muster und Sprache, da sie mit unglaublich grossen Mengen an Text trainiert wurden. Sie funktionieren eigentlich ganz einfach. Es gibt Input-Text und das LLM generiert Text, der sehr wahrscheinlich folgen wird. "Im Garten gab es viele schöne" ... "Blumen". Also eigentlich können LLMs nicht sprechen. Sie sind einfach sehr gute Auto-Complete-Maschinen, die sehr gut Wahrscheinlichkeiten berechnen können. Das funktioniert dann aber auch mit Aufgaben, etwa einer Rechnung oder anderen Wissensfragen. Diese Rechnungen oder Antworten sind eben möglich, weil das Modell Wissen antrainiert hat durch Deep Learning und andererseits durch Natural Language Processing Sprache sehr gut verarbeiten kann.