Was ist Few-Shot Learning?

Few-Shot-Learning hat die KI und das maschinelle Lernen verändert. Beim few-shot learning werden Algorithmen auf kleinen Datensätzen trainiert. Wenn Sie ein KI-Modell auf begrenzten Daten trainieren müssen, könnte few-shot genau die Lösung sein, nach der Sie gesucht haben.

Wo wird Few-Shot Learning eingesetzt?

Few-Shot-Learning wird in der realen Welt so gut wie überall eingesetzt. Ganz gleich, ob Sie ein echtes Allzweck-LLM oder nur ein KI-gestütztes Scraping benötigen, few-shot learning wird zumindest bis zu einem gewissen Grad auf Ihr Modell angewendet.

• hier
• Robotik: Wenn autonome Roboter lernen, Dinge aufzuheben, brauchen sie keine großen Datensätze. Sie erleben den Prozess und führen dann Verallgemeinerungen durch.
• Personalisierte Technik: Telefontastaturen und Fitnessuhren nutzen das Lernen mit wenigen Bildern sehr effektiv.
• Pharmazeutika: Bei der Entdeckung neuer Medikamente verwenden Wissenschaftler oft sehr begrenzte Datensätze. Few-Shot-Learning kann in frühen Versuchen eingesetzt werden, um die Dinge zu beschleunigen.
• Sprachverarbeitung: Linguisten und Archäologen müssen sich oft mit unbenutzten, toten Sprachen befassen. Quellen aus erster Hand zu diesen Schriften sind rar. Die künstliche Intelligenz kann bei der Entschlüsselung dieser Sprachen mit Hilfe von “few-shot learning” helfen.
• Bilderkennung: Die Gesichtserkennung erfordert Lernen mit wenigen Bildern. Die meisten Menschen werden eine KI nicht mit Tausenden von Bildern einer einzigen Person trainieren. Das gleiche Konzept gilt auch für gefährdete und seltene Arten.

Few-Shot Learning im Vergleich zu anderen Paradigmen

Few-Shot-Lernen ist Teil einer breiteren Familie von maschinellen Lerntechniken, die als n-Shot-Lernen bezeichnet wird. Beim n-shot-Lernen steht n für die Anzahl der markierten Beispiele pro Klasse, mit denen ein Modell trainiert wird.

Hier sind einige weitere Beispiele für n-shot-Lernen.

• Zero-Shot: Ein Modell verwendet Vorwissen, um eine Klasse zu erraten, die es noch nicht gesehen hat. Stellen Sie sich ein Modell vor, das auf Pferde und Tiger trainiert wurde. Dieses Modell hat noch nie ein Zebra gesehen, aber es kann daraus schließen, dass ein gestreiftes Pferd ein Zebra ist.
• One-Shot: Ein Modell wird auf nur ein Beispiel pro Klasse trainiert. Wenn ein Smartphone Ihr Gesicht aus einem einzigen Bild lernt und Ihnen erlaubt, den Bildschirm zu entsperren, ist dies One-Shot-Lernen.

Wie funktioniert Few-Shot Learning?

Few-Shot ist umfangreicher als Zero-Shot und One-Shot, stützt sich aber immer noch auf sehr begrenzte Datensätze. Mit den richtigen Trainingsdaten können die Modelle schnell Verallgemeinerungen vornehmen, um Muster und Trends zu erkennen.

Ähnlich wie seine Zero-Shot- und One-Shot-Verwandten basiert das few-shot-Lernen auf den folgenden Prinzipien.

• Nutzung von Vorwissen: Modelle nutzen Wissen und Training aus früheren Aufgaben, um Muster in neuen, ungesehenen Daten zu erkennen.
• Aufgabenspezifische Anpassung: Modelle ändern ihre internen Repräsentationen (Klassen) und ihren Entscheidungsfindungsprozess, um neue Daten mit begrenzten Beispielen richtig zu verarbeiten.
• Verallgemeinerung aus kleinen Datensätzen: Mit sorgfältig ausgewählten Trainingsdaten können Modelle bereits nach wenigen Stichproben effizient verallgemeinert werden.

Arten von Few-Shot Learning

Few-Shot-Learning ist nicht in Stein gemeißelt. Es ist Teil der größeren, sich ständig weiterentwickelnden KI-Branche. Die Branche hat jedoch einen allgemeinen Konsens über die in den folgenden Abschnitten aufgeführten Techniken erreicht.

Lernen übertragen

Wenn ein Modell aus einer Aufgabe lernt und dieses Wissen bei einer neuen Aufgabe einsetzt, nennt man dies “Transfer Learning”. Genau wie Menschen können auch KI frühere Erfahrungen nutzen, um sich an neue Situationen anzupassen. Das Wissen des Modells wird übertragen und wird relevant, wenn es versucht, die neue Aufgabe zu bewältigen.

Stellen Sie sich vor, Sie bringen einer KI das Spielen von Call of Duty bei. Dann brauchen Sie dieses Modell, um Fortnite zu spielen. Es weiß bereits, wie man zielt, sich bewegt und eine Kampfstrategie anwendet. Die frühere Call of Duty-Erfahrung des Modells erhöht seine Erfolgschancen beim Spielen von Fortnite.

Transferlernen ist nicht auf KI oder maschinelles Lernen beschränkt. Der Mensch nutzt Transferlernen jeden Tag. Transferlernen war die Haupttriebkraft hinter der landwirtschaftlichen Revolution. Die prähistorischen Menschen lernten, wie man bestimmte Arten von Lebensmitteln anbaut. Unsere Vorfahren übertrugen diese Fähigkeiten dann auf jede andere pflanzliche Nahrung, die sie finden konnten. Schließlich wandten sie dieselben Prinzipien auch bei der Domestizierung von Nutztieren an.

Datenerweiterung

Um das Lernen mit wenigen Schüssen zu erweitern, können wir Datenerweiterungen verwenden. In der realen Welt erzeugen wir oft fiktive Daten, die den realen Daten ähneln. Dabei werden den fiktiven Daten oft Zufälligkeiten und Rauschen hinzugefügt.

Interpolation und Extrapolation machen die Datenerweiterung leichter verständlich. Sehen Sie sich das folgende Diagramm an. Wie Sie sehen können, haben wir nur vier tatsächliche Datenpunkte. Unsere gepunktete Linie verwendet diese Punkte, um ein Muster zu erstellen. Anhand dieser Punkte können wir extrapolieren, dass bei X=5, Y=10 und bei X=0, Y=0. Wir können interpolieren, dass bei X=1,5, Y=3.

Wir können in unseren begrenzten Daten Trends erkennen. Sobald wir die Trends verstanden haben, können wir unendlich viele zusätzliche Daten generieren, indem wir den Regeln folgen, die von den ursprünglichen Daten vorgegeben wurden. Eine Formel (Y = 2X) erweitert unseren Datensatz mit 4 Aufnahmen in einen unendlichen Satz von Punkten.

In der realen Welt ist nichts perfekt, und Beispiele wie das oben genannte gibt es oft nicht. Stellen Sie sich vor, Sie trainieren eine KI für Pferde. Sie haben ein echtes Foto von einem braunen Pferd. Durch geschickte Bearbeitung haben Sie nun Fotos von einem roten Pferd, einem schwarzen Pferd, einem weißen Pferd und einem Zebra. Aus Ihrem einzigen Pferdefoto haben Sie einen viel größeren Datensatz erzeugt.

Mehr über die Datenerweiterung erfahren Sie hier.

Meta-Lernen

Beim Meta-Lernen geht es mehr um das Lösen von Problemen als um die eigentlichen Daten. Beim Meta-Lernen wird einem Modell beigebracht, größere Probleme in kleinere aufzuteilen und verschiedene Strategien für verschiedene Arten von Problemen zu verwenden. Erinnern Sie sich an die Reihenfolge der Operationen, die Sie in der Grundschule gelernt haben.

Betrachten Sie das folgende Problem: (2+(2*3))/4=?. Um diese Aufgabe zu lösen, müssen wir sie aufschlüsseln.

(2+(2*3))/4=?

1. 2*3=6. Wir können dies nun zu (2 + 6)/4 vereinfachen.
2. 2+6=8. Unser Problem ist jetzt 8/4.
3. 8/4=2. Die Kette kleinerer Probleme verbindet sich, um zu beweisen, dass (2+(2*3))/4=2 ist.

Indem wir das größere Problem in kleinere Schritte zerlegen, können wir zu dem Schluss kommen, dass unsere Antwort 2 ist. Wenn wir Maschinen beibringen, dass sie große Probleme lösen können, indem sie sie in kleinere Schritte zerlegen. Sie verwendet dann für jedes der kleineren Probleme geeignete Strategien. Dies wird als Meta-Lernen bezeichnet. Die Maschine erlernt Problemlösungsstrategien, die sie auf eine Vielzahl unterschiedlicher Szenarien anwenden kann.

Schauen wir uns ein weiteres Beispiel an, das Sie schon früh gelernt haben. Ein Satz muss mit einem Großbuchstaben beginnen und mit einem Interpunktionszeichen enden. Wenn ein Modell dies lernt, lernt es nicht nur, wie man einen Satz schreibt. Das Modell lernt, wie es alle seine Ideen effektiv in einer Weise kommunizieren kann, die Menschen lesen und verstehen können.

Wie die anderen oben genannten Beispiele wurde das Meta-Lernen von den Menschen seit Hunderttausenden von Jahren genutzt, bevor es an das maschinelle Lernen angepasst wurde.

Metrisches Lernen

Beim metrischen Lernen wird einem Modell beigebracht, Ähnlichkeiten zwischen Daten zu vergleichen, anstatt ihnen einfach nur Etiketten zuzuweisen. Es verwendet dann eine Funktion, um die Metriken zu vergleichen und zu sehen, wie nahe neue Daten den zuvor gesehenen Daten sind. Mit Teachable Machine können wir mit Bildern experimentieren und sehen, wie metrisches Training wirklich funktioniert.

Stellen Sie sich vor, wir trainieren ein Modell anhand einer Reihe von Katzenbildern. Das Modell analysiert diese Bilder und lernt, verschiedene Merkmale wie Fell, Schnurrhaare und Ohrenform zu vergleichen.

Sobald das Modell mit dem Training fertig ist, geben wir ihm ein neues Katzenbild. Es vergleicht die Daten dieses neuen Bildes mit seinen Trainingsdaten. Nachdem es Datenpunkte im Fell, in den Schnurrhaaren und in der Ohrform betrachtet hat, berechnet es einen Ähnlichkeitswert. Wenn das neue Bild zu 98 % mit den vorherigen Daten übereinstimmt, stellt das Modell fest, dass es sich bei dem Bild mit hoher Wahrscheinlichkeit um eine Katze handelt.

Wenn das Modell mit anderen Methoden darauf trainiert wurde, zu sagen “Katzen sind niedlich”, könnte es, nachdem es zu 98 % sicher ist, dass es sich bei dem neuen Bild um eine Katze handelt, zusätzliche Logik aus anderen Trainingsarten ausführen und sagen: “Dein Katzenbild ist niedlich!”

Inhärente Probleme mit Few-Shot Learning

Beim maschinellen Lernen sind die kleinen Datensätze sowohl eine Stärke als auch eine Schwäche. Maschinelles Lernen birgt eine Vielzahl von Fallstricken. Um die nachstehenden Probleme zu vermeiden, müssen kleinere Modelle mit den Konzepten trainiert werden, die wir in den vorherigen Abschnitten erläutert haben.

Verallgemeinerung

Modelle mit wenigen Aufnahmen können bei Dingen wie der Gesichtserkennung gut funktionieren, aber wenn es um völlig neue Szenarien geht, versagen sie oft, wenn die Daten nicht ähnlich genug zu dem sind, was sie schon gesehen haben.

Einem herkömmlichen LLM werden Millionen, manchmal sogar Milliarden oder Billionen von Datenpunkten zur Verfügung gestellt. Dadurch kann das Modell effektiv mit Ausreißern umgehen und gute Vorhersagen machen, wenn es mit Daten zu tun hat, die es noch nie gesehen hat.

Wenn ein Modell nur eine Handvoll mit Bleistift gezeichneter Katzenbilder gesehen hat, kann es sehr gut sein, dass es ein Bild einer echten Katze nicht erkennt. Ohne einen robusten Datensatz kann das Modell nicht immer robuste Verallgemeinerungen machen.

Datenvielfalt

Kleine Datensätze erfassen oft nicht die wahre Vielfalt, die in größeren Datensätzen vorhanden ist. Stellen Sie sich vor, ein Modell wurde mit einer kleinen Gruppe von Personen trainiert, deren Adressen alle in den USA liegen. Dieses Modell wird wahrscheinlich voreingenommen sein und annehmen, dass alle Personen aus den USA stammen. Sie können dieses Problem mit breiten, vielfältigen Datensätzen entschärfen. Unsere Datensätze können Ihnen helfen, die Leistung Ihres Modells zu verbessern.

In den späten 2010er Jahren plagte dieses Problem KI-Modelle auf der ganzen Welt. In der modernen KI taucht dieses Problem manchmal immer noch auf. Wenn ein Modell auf sozialen Medien trainiert wird, übernimmt es oft die Vorurteile, die es in den sozialen Medien sieht. Wir alle kennen die Geschichten über die rassistischen KI-Bots der späten 2010er Jahre. So geschieht es.

Darstellung von Merkmalen

Das Problem der Datenvielfalt ist ein zweischneidiges Schwert. Denken Sie zurück an unser hypothetisches Modell, das Tiere erkennt. Wenn dieses Modell nur lernt, dass alle Katzen vier Beine haben, wird es ein Bild von einem Pferd sehen und entscheiden, dass es einer Katze unglaublich ähnlich ist.

Wenn ein Gesichtserkennungsmodell lernt, dass ein Gesicht Augen, Ohren, einen Mund und eine Nase hat, ihm aber nicht beigebracht wurde, diese Merkmale richtig mit seinen Trainingsdaten zu vergleichen, wird das Modell falsche (und manchmal gefährliche) Ergebnisse liefern. Wenn jemand mit diesen Merkmalen Ihr Telefon entsperren kann, stellt dies ein massives Sicherheitsproblem dar.

Schlussfolgerung

Few-Shot-Learning kann den Bedarf an großen Datensätzen verringern. Menschen nutzen das “few-shot learning” schon seit den Anfängen. Wir haben es erst kürzlich für die KI angepasst. Dabei gibt es einige Hürden. Verallgemeinerung, Datenvielfalt und Merkmalsdarstellung stellen große Hindernisse bei der Erstellung kleiner Modelle dar. Transferlernen, Datenerweiterung, Meta-Lernen und metrisches Lernen geben uns großartige Werkzeuge an die Hand, um diese Herausforderungen nicht nur bei großen, sondern auch bei kleinen Modellen zu meistern.