Transfer Learning

TLDR: Transfer Learning nutzt ein Modell, das für eine Aufgabe trainiert wurde, und passt es an eine neue an. Es reduziert den Daten- und Rechenaufwand, der zum Training effektiver KI-Systeme benötigt wird, erheblich.

Transfer Learning ist eine Technik im maschinellen Lernen. Ein Modell, das auf einer großen Quellaufgabe trainiert wurde, wird als Ausgangspunkt für eine andere Zielaufgabe wiederverwendet. Das Modell überträgt das Wissen, das es aus der ersten Aufgabe gewonnen hat. Dies ist besonders nützlich, wenn beschriftete Daten für die Zielaufgabe knapp sind. Das Training eines Modells von Grund auf erfordert enorme Datenmengen und Rechenleistung. Transfer Learning erzielt starke Ergebnisse mit weitaus weniger Beispielen.

Wie Transfer Learning funktioniert

1. Vortraining: Ein großes Modell wird auf einem großen, allgemeinen Datensatz trainiert. Für Vision ist dies häufig ImageNet. Für Sprache ist es ein großes Textkorpus.
2. Transfer: Die Gewichte des vortrainierten Modells werden auf ein neues Modell übertragen.
3. Feinabstimmung: Das neue Modell wird auf einem kleineren, aufgabenspezifischen Datensatz weiter trainiert. Frühe Schichten werden oft eingefroren; spätere Schichten werden aktualisiert.

Wichtige Ansätze

1. Merkmalsextraktion: Das vortrainierte Modell wird als fester Merkmalsextraktor verwendet. Nur ein neuer Klassifikator-Kopf wird trainiert.
2. Feinabstimmung: Das gesamte oder ein Teil des vortrainierten Modells wird mit einer niedrigen Lernrate auf dem neuen Datensatz neu trainiert.
3. Domänenanpassung: Das Modell passt sich von einer Domäne (z. B. Fotos) an eine andere (z. B. medizinische Scans) mit minimalen beschrifteten Zieldaten an.

Anwendungen

1. Computer Vision: Ein auf ImageNet vortrainiertes CNN wird für medizinische Bildgebung, Fehlerkennung oder Satellitenbilder feinabgestimmt. Siehe: computer vision.
2. NLP: Modelle wie BERT und GPT werden auf Web-Texten vortrainiert und dann für Stimmungsanalysen, Named-Entity-Erkennung oder Frage-Antwort-Systeme feinabgestimmt.
3. Robotik: In der Simulation erlernte Manipulationsfähigkeiten werden auf echte Roboter übertragen. Dies reduziert die aufwändige Sammlung von Trainingsdaten in der realen Welt.
4. Autonomes Fahren: Wahrnehmungsmodelle, die auf großen Datensätzen vortrainiert wurden, passen sich mit begrenzten neuen Daten an neue Fahrzeugtypen oder Umgebungen an.

Transfer Learning und Dateneffizienz

Transfer Learning ist eine der praktischsten Techniken in der modernen KI. Es reduziert den Bedarf an beschrifteten Daten von Millionen auf Tausende von Beispielen. Die Qualität der Quelldomänendaten spielt weiterhin eine Rolle. Ein Modell, das auf sauberen, vielfältigen Daten vortrainiert wurde, überträgt sich besser. Die Datensätze von Bright Data helfen Teams dabei, hochwertige Vortrainings-Korpora und Feinabstimmungs-Datensätze domänenübergreifend aufzubauen.