AI

Robotics-Geschicklichkeit erklärt: Architektur, Modelle und der Daten-Engpass

Roboter-Geschicklichkeit entwickelt sich rasant, doch der Engpass sind Daten, nicht Hardware. Hier erfahren Sie, wie die Architektur funktioniert, welche Modelle dahinterstecken und wo Web-Daten eine Rolle spielen.
16 min lesen
Robotics Dexterity blog image

Roboter können seit Jahrzehnten Autos schweißen oder Paletten bewegen. Was sie nach wie vor nicht zuverlässig können, ist das, was ein Kleinkind ohne Nachdenken tut: einen unbekannten Gegenstand aufheben, ihn in einer Hand umdrehen und benutzen. Diese Fähigkeit nennt sich Roboter-Geschicklichkeit, und sie ist zur am stärksten finanzierten Grenze der Robotik geworden. Das Überraschende, wenn man genauer hinschaut, ist, dass das eigentliche Problem nicht mehr die Hand ist. Es sind die Daten.

Dieser Leitfaden erklärt Roboter-Geschicklichkeit so, wie ein technischer Leser sie verstehen muss: was sie ist, wie die führenden Systeme aufgebaut sind, welche Durchbrüche das Feld hierher gebracht haben und warum sich der entscheidende Engpass leise von Hardware und Algorithmen hin zu Trainingsdaten verlagert hat. An diesem letzten Punkt kommt Web-Scraping ins Spiel.

In diesem Artikel:

  • Was Roboter-Geschicklichkeit ist und warum sie so viel schwieriger ist als sie aussieht
  • Die Dual-System-Architektur hinter modernen geschickten Robotern
  • Die Modell-Durchbrüche, die das Feld von skriptgesteuerter Bewegung zu erlernter Fähigkeit gebracht haben
  • Warum Daten, nicht Rechenleistung oder Hardware, jetzt der Engpass sind
  • Wo webbasierte Daten passen und wie Teams sie tatsächlich zusammenstellen

Was Roboter-Geschicklichkeit wirklich bedeutet

Roboter-Geschicklichkeit ist die Fähigkeit eines Roboters, Objekte geschickt zu manipulieren, so wie es eine menschliche Hand tut. Die nützlichste Unterscheidung besteht zwischen einfachem Pick-and-Place, bei dem ein Greifer ein bekanntes Objekt von A nach B bewegt, und geschickter Manipulation, bei der der Roboter ein Objekt in seinem Griff neu ausrichtet, die Kraft spontan anpasst und Formen und Materialien handhabt, für die er nie explizit programmiert wurde. Die Handhabung innerhalb der Hand, nicht das Anheben, ist der Teil, der ein echtes geschicktes System von einem Industriearm unterscheidet.

Drei Dinge machen dies wirklich schwierig.

Freiheitsgrade. Die menschliche Hand hat 27 Freiheitsgrade. Eine Forschungs-Roboterhand wie die Shadow Hand hat etwa 24 aktuierte Gelenke. Die Koordination so vieler Gelenke in Echtzeit unter Kontakt ist ein hochdimensionales Steuerungsproblem, das mit jedem zusätzlichen Finger und Gelenk stark wächst.

Die Taktil-Lücke. Menschen manipulieren Objekte größtenteils durch Gefühl. In der Haut einer einzelnen menschlichen Hand befinden sich etwa 17.000 taktile Mechanorezeptoren, die dichtes, hochfrequentes Feedback über Gleiten, Druck und Textur liefern. Die meisten Roboter arbeiten noch immer mit spärlichem oder keinem Tastsinn, weshalb ein Roboter ein Ei zerquetschen oder ein Weinglas fallenlassen kann, obwohl es den Anschein hat, als hätte er einen perfekten Griff.

Generalisierung unter Kontakt und Verdeckung. Während der Manipulation ist das Objekt meist teilweise durch die Hand selbst verdeckt, und kleine Unterschiede in Reibung, Gewicht oder Form ändern die richtige Aktion vollständig. Ein System, das mit den genauen Tassen funktioniert, auf denen es trainiert wurde, kann bei einer Tasse mit einem etwas anderen Griff versagen. Die Verallgemeinerung auf unbekannte Objekte ist der eigentliche Preis und der schwierigste.

Das ist auch der Grund, warum Geschicklichkeit ebenso sehr ein Software- und Lernproblem ist wie ein mechanisches. Bessere Hände helfen, aber die Lücke zwischen einem Roboter, der greift, und einem Roboter, der manipuliert, besteht hauptsächlich aus Wahrnehmung, Denken und erlernter Steuerung. Für einen Überblick über die Softwareseite ist die Zusammenfassung der Robotik-KI-Bibliotheken ein guter Begleiter zu diesem Artikel.

Wie es funktioniert: die Dual-System-Architektur

Moderne geschickte Roboter werden zunehmend auf Vision-Language-Action (VLA)-Modellen aufgebaut: ein einziges gelerntes System, das Kamerabilder und eine Sprachanweisung aufnimmt und Motoraktionen ausgibt. Das dominante Designmuster, das in verschiedenen Formen von Physical Intelligence, NVIDIA, Google DeepMind und Figure verwendet wird, ist eine Dual-System-Architektur, die lose auf der Idee des schnellen und langsamen Denkens basiert.

Dual-System-Roboter-Geschicklichkeitsarchitektur: Eine webbasierte Datenschicht aus Bild-Text, menschlichem Video und Produktbildern trainiert das System-2-VLM-Gehirn vor, während Teleoperations-Demos und Simulation den System-1-Aktionsexperten trainieren, der Sensorik, Steuerung und eine geschickte Hand antreibt

Der Dual-System-Stack. Webbasierte Daten trainieren das System-2-Denkgehirn vor, während Teleoperation und Simulation die System-1-Motorpolitik trainieren. Sensorik, Wahrnehmung, Steuerung und die Hand bilden einen geschlossenen Regelkreis.

Die Komponenten, von Eingabe bis Aktion:

  • Sensorik. RGB-D-Kameras, Gelenkencodierer für Propriozeption und zunehmend taktile Sensoren liefern den Rohzustand in das System.
  • Wahrnehmung. Ein vortrainierter Vision-Encoder, oft etwas wie SigLIP oder DINOv2, wandelt Pixel in Merkmale um, über die der Rest des Modells nachdenken kann. Diese Encoder werden selbst auf enormen Bildsammlungen trainiert.
  • System 2, das Gehirn. Ein Vision-Language-Modell erledigt die langsame, semantische Arbeit: die Szene verstehen, die Anweisung analysieren und entscheiden, was zu tun ist. Diese Komponente wird auf internetweiten Bild- und Textdaten vortrainiert, was dem Roboter allgemeines Wissen über Objekte gibt, die er noch nie physisch berührt hat.
  • System 1, der Aktionsexperte. Eine schnelle Policy, oft ein Diffusions- oder Flow-Matching-Modell, wandelt die Absicht des Gehirns in flüssige, hochfrequente Motorbefehle um. Dies ist der Teil, der auf tatsächlichen Roboter-Demonstrationen trainiert wird.
  • Controller und Hand. Ein Low-Level-Controller führt eine Impedanz- oder PD-Schleife mit Hunderten von Hertz aus, um die Bewegung an der physischen Hand und dem Arm auszuführen, wobei Sensorrückmeldung den Regelkreis schließt.

Die Aufteilung ist wichtig, weil die beiden Systeme völlig unterschiedliche Datendiäten haben. System 1 benötigt echte Aktionsdaten, die knapp und teuer sind. System 2 wird auf der Art von webweiten Bild-, Text- und Videodaten vortrainiert, die bereits im Überfluss vorhanden sind. Diese Unterscheidung im Kopf zu behalten macht den Rest des Feldes verständlich. Beispiele dieses Musters in der Praxis sind Physical Intelligence’s pi-0, NVIDIA’s GR00T N1, Google DeepMinds Gemini Robotics und Figures Helix.

Die Durchbrüche, die das Feld hierher gebracht haben

Geschicklichkeit entwickelte sich in einem kurzen, dichten Lauf von Ergebnissen von skriptgesteuert zu gelernt.

Imitationslernen wurde gut. Der Action Chunking Transformer (ACT) und dann Diffusion Policy zeigten, dass Roboter feine Manipulation direkt aus menschlichen Demonstrationen lernen konnten. Diffusion Policy, eingeführt auf der RSS 2023, berichtete von einer durchschnittlichen Verbesserung von 46,9% gegenüber dem vorherigen Stand der Technik über 15 Aufgaben, indem die Aktionserzeugung als Entrauschungsprozess behandelt wurde, was die multimodale, mehrdeutige Natur echter Manipulation weit besser handhabt als frühere Methoden.

Generalistische Policies kamen an. Physical Intelligence’s pi-0, Ende 2024 veröffentlicht, war eine flussbasierte VLA, die über viele Robotertypen hinweg trainiert wurde und langfristige, kontaktreiche Aufgaben wie das Falten von Wäsche aus einem Wäschekorb demonstrierte, eine Aufgabe, die Wahrnehmung, Handhabung verformbarer Objekte und nachhaltige Planung kombiniert.

Synthetische Daten skaliert. NVIDIA’s GR00T N1, im März 2025 angekündigt, setzte auf Simulation zur Herstellung von Trainingsdaten: seine Pipeline generierte 780.000 synthetische Trajektorien, das Äquivalent von etwa neun Monaten menschlicher Demonstrationen, in ungefähr 11 Stunden, und die Kombination dieser synthetischen Daten mit echten Daten verbesserte die Leistung um etwa 40% gegenüber echten Daten allein.

On-Device-Lernen wurde stichprobeneffizient. Google DeepMinds Gemini Robotics On-Device, 2025 gezeigt, konnte mit nur 50 bis 100 Demonstrationen an eine neue Aufgabe angepasst werden, ein Zeichen dafür, wie sehr das vortrainierte Gehirn die Menge an roboterspezifischen Daten reduziert, die jede neue Fähigkeit erfordert.

Auch der Tastsinn verbessert sich, wobei dichte taktile Sensoren wie Metas DIGIT-Linie das gefühlsbasierte Feedback bringen, das reine Sicht vermisst. Aber beachte das Muster bei jedem dieser Erfolge: Der Hebel sind fast immer bessere oder mehr Daten, kein grundlegend neuer Greifer.

Warum Daten, nicht Hardware, der Engpass sind

Hier ist die Behauptung, die das gesamte Feld neu rahmt. Laut einer Analyse von Epoch AI aus dem Jahr 2025 werden die größten Roboter-Manipulationsmodelle nur mit etwa 1% der Rechenleistung trainiert, die für frontier große Sprachmodelle verwendet wird, und der bindende Engpass ist nicht Rechenleistung oder Modellgröße, sondern ein Mangel an Trainingsdaten. Robotik leidet unter Datenmangel auf eine Weise, die Sprache und Sicht nicht mehr tun.

Der Grund ist brutal in seiner Einfachheit. Sprachmodelle hatten das Internet: Billionen von Wörtern öffentlich verfügbar, bereit zur Erfassung. Geschickte Manipulation hat kein Äquivalent. Wie die Autoren von Apples EgoDex-Datensatz es klar ausdrücken, gibt es kein internetweites Korpus von Daten für geschickte Manipulation. Die Daten müssen erstellt werden, und jede Quelle hat einen Haken:

  • Teleoperation produziert Gold-Standard-Aktionsdaten, ein Mensch steuert den Roboter, aber sie ist langsam und teuer. Sie skaliert nicht auf die Millionen von Stunden, die das Vortraining eines Gehirns erfordert.
  • Simulation ist günstig und parallelisierbar, leidet aber unter der Sim-to-Real-Lücke: Eine Policy, die in der Simulation funktioniert, versagt oft auf einem echten Roboter, weil Physik, Reibung und Sensorrauschen nie genau übereinstimmen.
  • Menschliche Videos sind reichlich vorhanden und reich, aber es fehlen Roboter-Aktionen und Kraftbeschriftungen, sodass sie weit besser lehren, was zu tun ist, als genau wie ein bestimmter Manipulator bewegt werden soll.
  • Webweite Bild- und Textdaten sind die einzige Eingabe, die bereits in dem Maßstab existiert, den ein Foundation-Modell benötigt, und es ist das, was die Wahrnehmungs- und Denkschichten vortrainiert.

Diese Taxonomie ist die strategische Karte des Feldes. Wenn du den breiteren Kontext darüber möchtest, wie diese Eingaben zu einem Modell werden, übersetzt sich der Erklärer darüber, wie KI-Modelle trainiert werden, und der tiefere Blick auf LLM-Trainingsdaten direkt in den Robotik-Kontext. Der Grund, warum Web-Daten immer wieder auftauchen, ist, dass, wie eine wachsende Reihe von Arbeiten argumentiert, Web-Daten der Eckpfeiler moderner KI-Infrastruktur sind, einschließlich Robotik.

Wo webbasierte Daten passen

Web-Daten lehren einen Roboter nicht, wie er seine Finger bewegen soll. Sie tun etwas wohl Wichtigeres: Sie lehren den Roboter über die Welt, bevor er jemals etwas aufhebt. Es gibt drei konkrete Beiträge, alle durch veröffentlichte Ergebnisse unterstützt.

Semantische Verankerung. DeepMinds RT-2 zeigte, dass das gemeinsame Training einer Roboter-Policy auf webweiten Bild-Text-Daten, zusammen mit Roboter-Daten, seine Fähigkeit zur Generalisierung auf neue Objekte und Hintergründe etwa verdoppelte und emergente Verhaltensweisen wie das Aufgreifen des Objekts, das ein improvisiertes Werkzeug ist, oder die Identifizierung einer Kategorie, die es nur im Internet gesehen hatte, freisetzte. Das Web-Wissen überträgt sich in physische Aktion. Das ist dieselbe Transfer-Learning-Logik hinter dem Fine-Tuning eines Modells auf Web-Daten, angewendet auf einen Roboter.

Objektvielfalt. Eine Studie aus dem Jahr 2025 zu Datenskalierungsgesetzen beim Roboter-Imitationslernen ergab, dass die Generalisierung als Potenzgesetz mit der Vielfalt der Objekte und Umgebungen im Trainingssatz verbessert, nicht nur mit der Anzahl der Demonstrationen. Die Autoren fanden heraus, dass das Sammeln von Daten über etwa 32 verschiedene Objekte ausreichte, um eine Erfolgsrate von etwa 90% bei völlig unbekannten Objekten zu erreichen. Objektvielfalt ist in der Praxis ein webweites Bildproblem: Produktkataloge, Marktplätze und Bildsuche sind der Ort, an dem diese Vielfalt lebt, was genau das ist, was Leitfäden zum Sammeln von Bilddaten in großem Maßstab behandeln.

Manipulations-Priors aus menschlichem Video. Egozentrische Videos von Menschen, die ihre Hände benutzen, sind das Nächste zu einem natürlichen Manipulationskorpus. Metas Ego4D stellte 3.670 Stunden davon zusammen, und Apples EgoDex fügte 829 Stunden über 338.000 Episoden und mehr als 90 Millionen Frames speziell für geschickte Aufgaben hinzu. Dies ist das Rohmaterial, das Forscher abbauen, um Robotern menschenähnliche Manipulationsstrategie beizubringen, auch ohne Aktionsbeschriftungen.

Zusammengenommen sind diese drei Eingaben, Bild-Text-Paare, diverse Objektbilder und menschliche Anleitungsvideos, das, was das System-2-Gehirn füllt. Sie sind alle öffentliche Web-Daten, und sie zuverlässig in großem Maßstab zusammenzustellen ist ein Datenerfassungsproblem. Die strategische Version dieser Idee, bei der bessere Daten zu einem besseren Modell führen, das bessere Daten generiert, ist das Daten-Schwungrad, das die stärksten KI-Teams jetzt bewusst aufbauen.

Die Datenschicht in der Praxis aufbauen

Das Sammeln dieser Art von Daten klingt einfach, bis man es in großem Maßstab versucht. Die Bild- und Videoquellen, die wichtig sind, sind genau die, die stark gesichert sind: Marktplätze, Suchmaschinen und große Medienplattformen begrenzen die Rate, schränken geografisch ein und blockieren aktiv die automatisierte Erfassung, und sie rendern einen Großteil ihres Inhalts mit JavaScript. Ein sauberes, diverses, multiregionales Korpus zusammenzustellen ist ein Infrastrukturproblem, bevor es ein maschinelles Lernproblem ist.

Hier passt Bright Data als Web-Datenschicht unter einem Robotik-Trainingsstack. Es ist die Erfassungsinfrastruktur, die das offene Web in strukturierte, modellfertige Daten verwandelt, die Upstream-Eingabe in das System-2-Gehirn im obigen Diagramm.

  • Die Web Scraper API verwandelt Bild- und Produktquellen in strukturierte Endpunkte, mit vorgefertigten Scrapern, die Anti-Bot-Systeme automatisch handhaben, sodass ein Objektvielfalt-Korpus gezogen werden kann, ohne Sammler manuell aufzubauen und zu warten.
  • Ein Residential-Proxy-Netzwerk mit 400M+ ethisch beschafften IPs weltweit macht geografische und visuelle Vielfalt erreichbar: dasselbe Produkt oder dieselbe Szene, die über viele Regionen gesammelt wurde, was die Datenskalierungsgesetzergebnisse besagen, dass es mehr zählt als das rohe Volumen.
  • Der Scraping-Browser rendert JavaScript-lastige Medien- und Katalogseiten, die statische Erfassung verpassen würde, wo ein großer Teil der realen Objektbilder tatsächlich lebt.
  • Fertige und benutzerdefinierte KI- und LLM-Datensätze liefern vorgesammelte, strukturierte Korpora direkt, exportiert als JSON, CSV oder Parquet, sodass ein Team eine Vortrainings-Pipeline speisen kann, ohne überhaupt eine Erfassung aufzubauen.

Zuverlässigkeit ist der Teil, der ein verwendbares Korpus von einem vergifteten trennt, weil ein stiller Erfassungsfehler den Datensatz still verzerrt. Bright Data berichtet von einer durchschnittlichen Erfolgsrate von 98,44% in einem unabhängigen Benchmark von elf Anbietern und hält GDPR-, CCPA-, SOC-2- und ISO-27001-Konformität aufrecht, während nur öffentlich verfügbare Daten gesammelt werden, die Art von Provenienz, die wichtig ist, wenn der Datensatz ein physisches System trainieren wird. Wenn du abwägst, wie du diese Daten beschaffst, legen die Vergleiche von Datensätzen versus Web-Scraping-APIs und der Überblick über KI-Trainingsdatenanbieter die Optionen dar, und die Grundlagen zu was ein Datensatz ist und strukturierten und unstrukturierten Daten decken die Grundlagen ab. Dieselben gesammelten Web-Daten unterstützen auch angrenzende Techniken wie Embeddings, KI-fertige Vektor-Datensätze und die RAG-versus-Fine-Tuning-Entscheidung, sobald die rohe Datenextraktion erledigt ist.

Die ehrlichen Grenzen

Es ist wichtig, präzise darüber zu sein, was Web-Daten tun und nicht tun, weil es hier leicht ist, zu viel zu behaupten, und das wäre falsch.

Web-Daten trainieren das Gehirn vor, nicht die motorischen Fähigkeiten. Sie geben einem Roboter semantisches Verständnis, Objektwissen und visuelle Priors. Sie enthalten nicht die Aktionstrajektorien, Kontaktkräfte oder 3D-Interaktionsbeschriftungen, die System 1 benötigt, um tatsächlich eine Hand zu bewegen. Diese kommen immer noch aus Teleoperation, Simulation und On-Robot-Lernen. Web-Daten erhöhen die Obergrenze dessen, was ein Roboter verstehen und auf was er generalisieren kann; sie ersetzen nicht die physische Übung, die geschickte Bewegung erzeugt.

Die Taktil-Lücke ist auch real und durch keine Menge an Bildmaterial gelöst. Der Robotiker Rodney Brooks argumentierte 2025, dass die heutigen Humanoiden aus Bewegungsdemonstrationen und Video allein keine echte Geschicklichkeit lernen werden, weil ihnen das reiche, hochbandbreitige Tastsensing fehlt, von dem menschliche Manipulation abhängt. Diese Kritik ist ein nützliches Gegengewicht: Bessere Wahrnehmungsdaten sind notwendig, aber nicht ausreichend, und das Feld braucht noch Fortschritte in taktiler Hardware und Sim-to-Real-Transfer. Die richtige Art, all das zu lesen, ist, dass Daten der aktuelle Engpass sind, nicht der einzige.

Wohin das führt

Die Trajektorie ist klar, auch wenn der Zeitplan es nicht ist. Geschickte Manipulation konvergiert auf große, vortrainierte, multimodale Modelle, dasselbe Rezept, das für Sprache und Sicht funktioniert hat, und das Feld selbst nennt jetzt bessere Daten, insbesondere Video und webweites Vortraining, als den Weg aus der Datenbeschränkung. Während Hände, taktile Sensoren und Sim-to-Real-Methoden parallel verbessert werden, wird das Differenzierungsmerkmal zwischen Teams zunehmend die Qualität und Vielfalt der Daten sein, die sie zusammenstellen können.

Das ist die stille Schlussfolgerung unter all den Humanoid-Finanzierungsankündigungen. Die Roboter, die lernen, die Welt zu manipulieren, werden diejenigen sein, die auf dem besten Bild davon trainiert wurden, und der größte Teil dieses Bildes sind öffentliche Web-Daten. Bright Data ist die Schicht, die das offene Web in zuverlässige, strukturierte, modellfertige Daten verwandelt. Bereit, die Datenschicht für deine KI-Systeme aufzubauen? Gratis testen und sehen, wie schnell das offene Web zu Trainingsdaten werden kann.

Häufig gestellte Fragen

F: Was ist Roboter-Geschicklichkeit?

Roboter-Geschicklichkeit ist die Fähigkeit eines Roboters, Objekte geschickt zu manipulieren, so wie es eine menschliche Hand tut, einschließlich der Neuausrichtung eines Objekts in seinem Griff, der Anpassung der Kraft in Echtzeit und der Handhabung von Formen und Materialien, für die er nicht explizit programmiert wurde. Es geht weit über einfaches Pick-and-Place hinaus, bei dem ein Greifer ein bekanntes Objekt zwischen festen Punkten bewegt. Die definierende Fähigkeit ist die In-Hand-Manipulation unbekannter Objekte.

F: Warum ist geschickte Manipulation so schwer für Roboter?

Drei Gründe. Erstens hohe Freiheitsgrade: Eine menschliche Hand hat 27 und eine Forschungs-Roboterhand etwa 24 aktuierte Gelenke, was ein schwieriges Echtzeit-Steuerungsproblem ist. Zweitens die Taktil-Lücke: Menschen verlassen sich auf etwa 17.000 Tastrezeptoren pro Hand für dichtes Feedback, während die meisten Roboter wenig oder kein Tastsensing haben. Drittens Generalisierung: Während der Manipulation ist das Objekt oft durch die Hand verdeckt, und kleine Änderungen in Form oder Reibung ändern die richtige Aktion, sodass die Übertragung von Fähigkeiten auf unbekannte Objekte sehr schwer ist.

F: Was ist ein Vision-Language-Action (VLA)-Modell?

Ein VLA-Modell ist ein einziges gelerntes System, das Kamerabilder und eine natürlichsprachliche Anweisung aufnimmt und Roboter-Motoraktionen ausgibt. Moderne geschickte Roboter verwenden oft eine Dual-System-Version: ein langsames Vision-Language-Gehirn, das die Szene versteht und plant, vortrainiert auf internetweiten Bild- und Textdaten, gepaart mit einem schnellen Aktionsexperten, oft eine Diffusions- oder Flow-Matching-Policy, die diesen Plan in hochfrequente Motorbefehle umwandelt, trainiert auf echten Roboter-Demonstrationen.

F: Warum sind Daten der Engpass für Roboter-Geschicklichkeit statt Hardware?

Eine Analyse von Epoch AI aus dem Jahr 2025 ergab, dass die größten Roboter-Manipulationsmodelle nur etwa 1% der Rechenleistung von Frontier-Sprachmodellen verwenden und dass der limitierende Faktor ein Mangel an Trainingsdaten ist, nicht Rechenleistung oder Modellgröße. Im Gegensatz zu Sprache hat geschickte Manipulation keinen internetweiten Datensatz zum Lernen, sodass die Aktionsdaten durch teure Teleoperation oder unvollkommene Simulation erstellt werden müssen, während die Wahrnehmungs- und Denkschichten auf webweiten Bild- und Textdaten vortrainiert werden.

F: Wie helfen Web-Daten beim Training eines geschickten Roboters?

Web-Daten trainieren das Wahrnehmungs- und Denkgehirn des Roboters vor, nicht seine Motorsteuerung. Sie tragen auf drei Arten bei: semantische Verankerung, bei der Web-Bild-Text-Vortraining die Generalisierung in DeepMinds RT-2-Arbeit etwa verdoppelte; Objektvielfalt, bei der Studien zu Datenskalierungsgesetzen zeigen, dass die Generalisierung mit der Vielfalt der Objekte und Szenen verbessert, was ein webweites Bildproblem ist; und Manipulations-Priors aus menschlichem Video wie Ego4D und EgoDex. Es ersetzt nicht die Aktions- und Kraftdaten, die physische Übung liefert.

F: Kann ein Roboter Geschicklichkeit aus Web-Daten und Video allein lernen?

Nein. Web-Daten und Video geben einem Roboter semantisches Verständnis und visuelle Priors, aber sie enthalten nicht die Aktionstrajektorien, Kontaktkräfte und 3D-Interaktionsbeschriftungen, die zur Steuerung einer Hand benötigt werden. Diese kommen aus Teleoperation, Simulation und On-Robot-Lernen. Kritiker wie Rodney Brooks argumentieren auch, dass echte Geschicklichkeit reiches Tastsensing benötigt, das aktuelle Humanoide weitgehend vermissen lassen. Web-Daten erhöhen, was ein Roboter verstehen und auf was er generalisieren kann, aber physische Übung und besseres Tastsensing sind immer noch erforderlich.