Feature Engineering

TLDR: Feature Engineering verwandelt Rohdaten in aussagekräftige Eingaben, die maschinellen Lernmodellen helfen, schneller und genauer zu lernen.

Feature Engineering ist der Prozess der Erstellung von Eingabevariablen – Features –, die ein maschinelles Lernmodell zum Lernen verwendet. Ein Feature ist jede messbare Eigenschaft der Daten. Gute Features kodieren Domänenwissen darüber, was für die Vorhersageaufgabe relevant ist. Irrelevante Features fügen Rauschen hinzu und beeinträchtigen die Modellleistung. Feature Engineering war die dominante Fähigkeit im ML, bevor Deep Learning einen Großteil davon automatisierte.

Kerntechniken

1. Normalisierung und Skalierung: Werte auf einen gemeinsamen Bereich skalieren (0–1 oder z-Score). Verhindert, dass Features mit großer Magnitude dominieren.
2. Kategorische Kodierung: Kategorien mittels One-Hot-, Label- oder Target-Kodierung in Zahlen umwandeln.
3. Log-Transformation: Log auf schiefe Verteilungen anwenden (Einkommen, Bevölkerung). Macht Muster für das Modell linearer erfassbar.
4. Datums-/Zeitfeatures: Wochentag, Stunde oder Zeit-seit-Ereignis aus Zeitstempelspalten extrahieren.
5. Interaktionsfeatures: Zwei Features multiplizieren oder kombinieren, um gemeinsame Effekte zu erfassen, die das Modell einzeln übersehen könnte.
6. Textfeatures: Text in TF-IDF-Vektoren, Wortzählungen oder Embeddings für NLP-Aufgaben umwandeln.

Feature-Selektion

Nicht alle Features verbessern das Modell. Zu viele Features verursachen den ‘Fluch der Dimensionalität’. Gängige Selektionsmethoden: Korrelationsanalyse, gegenseitige Information und rekursive Feature-Eliminierung. Baumbasierte Modelle wie Random Forest liefern integrierte Feature-Importance-Scores. Regularisierungstechniken (L1/Lasso) eliminieren schwache Features automatisch.

Feature Engineering vs. Deep Learning

Traditionales ML (logistische Regression, Gradient Boosting) ist auf handgefertigte Features angewiesen. Deep Learning lernt Repräsentationen automatisch aus Rohdaten. CNNs lernen Bildfeatures ohne manuelles Engineering. Transformer lernen Textfeatures durchgängig aus großen Korpora. Feature Engineering bleibt für tabellarische und domänenspezifische Daten entscheidend, wo neuronale Netze keinen inhärenten Vorteil besitzen.

Datenqualität und Feature-Qualität

Features sind nur so gut wie die zugrunde liegenden Daten. Ground-Truth-Labels müssen konsistent sein, damit Features über Splits hinweg generalisieren. Fehlende Werte, Ausreißer und Schema-Drift verschlechtern Features im Laufe der Zeit. Die Datensätze von Bright Data liefern saubere, strukturierte Trainingsdaten, die ohne den Aufwand der Rohdatenbereinigung für die Feature-Extraktion bereit sind.