Großes Sprachmodell

TLDR: Ein großes Sprachmodell (LLM) ist ein neuronales Netz, das auf Milliarden von Textwörtern trainiert wurde. Es generiert, übersetzt und analysiert Sprache. GPT-4, Claude und Gemini sind Beispiele.

Ein großes Sprachmodell (LLM) ist eine Art neuronales Netz, das auf massiven Textkorpora trainiert wurde. Es lernt, das nächste Token in einer Sequenz vorherzusagen. Durch dieses Ziel entwickelt es umfassendes Wissen über Sprache, Fakten und Schlussfolgerungen. LLMs sind die Kerntechnologie hinter modernen KI-Assistenten, Coding-Tools und Suchsystemen. Alle führenden LLMs basieren auf der Transformer-Architektur, die 2017 im Paper “Attention Is All You Need” vorgestellt wurde.

Wie LLMs trainiert werden

1. Pre-Training: Das Modell lernt, das nächste Token über Hunderte von Milliarden Text-Tokens vorherzusagen. Dies baut ein allgemeines Sprachverständnis auf.
2. Fine-Tuning: Das Modell wird weiter auf kuratierten aufgabenspezifischen Daten trainiert, um die Genauigkeit in bestimmten Bereichen oder Formaten zu verbessern.
3. RLHF: Reinforcement Learning aus menschlichem Feedback richtet das Modell an menschlichen Präferenzen für Hilfsbereitschaft und Sicherheit aus.

Bekannte LLMs

1. GPT-4: OpenAIs multimodales Modell. Treibt ChatGPT an.
2. Claude: Anthropics Modell. Entwickelt für Sicherheit und Aufgaben mit langem Kontext.
3. Gemini: Googles multimodales LLM. In alle Google-Produkte integriert.
4. LLaMA: Metas Open-Weight-Modell. Weit verbreitet in Forschung und Fine-Tuning.
5. DeepSeek R1: Open-Weight-Modell mit 671 Milliarden Parametern. Wettbewerbsfähige Leistung zu niedrigen Kosten.

LLM-Anwendungen

1. Konversations-KI: Chatbots und virtuelle Assistenten, die von LLMs betrieben werden.
2. Code-Generierung: Tools wie GitHub Copilot generieren und erklären Code.
3. Zusammenfassung: LLMs verdichten lange Dokumente zu prägnanten Zusammenfassungen.
4. Datenextraktion: LLMs parsen unstrukturierten Text und geben strukturierte Daten aus.
5. Suche: KI-gestützte Suche nutzt LLMs, um die Suchabsicht zu verstehen.

LLM-Trainingsdaten und das Web

LLMs benötigen Billionen von Token an Trainingstext. Das Web ist die primäre Quelle. Die Datenqualität bestimmt direkt die Modellqualität. Minderwertige, voreingenommene oder toxische Daten verschlechtern die Leistung. Von LLMs generierter Text im Web riskiert, Feedback-Schleifen in zukünftigen Trainings zu erzeugen. Domänenspezifische LLMs erfordern domänenspezifischen Text – rechtlich, wissenschaftlich, finanziell. Bright Datas Datensätze liefern strukturierte, hochwertige Web-Daten zum Aufbau und Fine-Tuning von LLMs. Siehe auch: Trainingsdaten, synthetische Daten.