Deep Learning

TLDR: Deep Learning verwendet neuronale Netze mit vielen Schichten, um komplexe Muster direkt aus Rohdaten zu lernen. Es treibt Computer Vision, Spracherkennung und große Sprachmodelle an.

Deep Learning ist ein Teilgebiet des maschinellen Lernens. Es verwendet neuronale Netze mit vielen versteckten Schichten — daher der Begriff ‘deep’. Jede Schicht lernt zunehmend abstrakte Darstellungen der Eingabe. Frühe Schichten erkennen einfache Merkmale wie Kanten und Texturen. Tiefere Schichten erkennen komplexe Konzepte wie Gesichter oder Satzbedeutungen. Deep Learning eliminiert weitgehend das manuelle Feature Engineering — das Netzwerk lernt direkt aus den Daten, worauf es achten soll.

Wichtige Architekturen

1. Convolutional Neural Network (CNN): Die dominante Architektur für Computer Vision. Lernt räumliche Merkmalshierarchien aus Bildern.
2. Recurrent Neural Network (RNN) / LSTM: Verarbeitet sequenzielle Daten. Wird für Sprache und frühe NLP-Aufgaben verwendet.
3. Transformer: Verwendet Self-Attention zur Modellierung weitreichender Abhängigkeiten. Heute die dominante Architektur für NLP und zunehmend auch für Vision.
4. Diffusionsmodell: Lernt Daten zu generieren, indem es einen Rauschprozess umkehrt. Siehe: Diffusionsmodell.

Wie Deep Learning funktioniert

1. Dateneingabe: Rohdaten (Bilder, Text, Audio) gelangen in die Eingabeschicht.
2. Vorwärtsdurchlauf: Daten fließen durch die Schichten. Jede wendet eine lineare Transformation und eine nichtlineare Aktivierungsfunktion an.
3. Verlustberechnung: Die Ausgabe wird mit dem Ground-Truth-Label verglichen.
4. Backpropagation: Fehlergradienten fließen rückwärts. Gewichte werden per Gradientenabstieg aktualisiert, um den Verlust zu reduzieren.
5. Iteration: Schritte 1–4 wiederholen sich über Millionen von Trainingsbeispielen.

Anwendungen

1. Computer Vision: Objekterkennung, semantische Segmentierung und Bildklassifikation.
2. Natürliche Sprachverarbeitung: Übersetzung, Zusammenfassung und Chatbots.
3. Spracherkennung: Präzise Umwandlung gesprochener Sprache in Text.
4. Autonomes Fahren: Fusion von Mehrfachsensordaten für die Echtzeiterkennung.
5. Wirkstoffentdeckung: Vorhersage molekularer Eigenschaften und Proteinstrukturen.

Deep Learning und Trainingsdaten

Deep Learning ist datenhungrig. Mehr Daten führen im Allgemeinen zu besserer Generalisierung. Datendiversität verhindert Overfitting auf enge Verteilungen. Transfer Learning reduziert den Datenbedarf durch den Start mit vortrainierten Gewichten. Die Datensätze von Bright Data liefern hochwertige Trainingsdaten für Deep-Learning-Teams.