Die versteckten Roboter-Trainingsmomente des Webs in öffentlichen Web-Videodaten

Videodaten können dabei helfen, Roboter, einschließlich humanoider Roboter, darin zu trainieren, physische Aufgaben zu verstehen und auszuführen. Dies umfasst VLA-Modelle, die visuelle Beobachtungen und Sprachanweisungen mit Aktionen verknüpfen, sowie World-Modelle, die lernen, wie sich eine Umgebung im Laufe der Zeit verändert. Das öffentliche Web enthält Millionen von Videos, in denen Menschen diese Arbeiten ausführen, und das Auffinden einer bestimmten Aktion darin ist schwierig, da ein Titel das allgemeine Thema eines Videos beschreibt, während die Aktionen im Filmmaterial unbenannt bleiben. Beschreibungen und Tags sind in der Regel nicht besser.

Für diese Studie haben wir die Video Search API von Bright Data verwendet. Die Video Search API ist ein Tool, das es ermöglicht, Momente in Web-Videos visuell zu durchsuchen.

Man übergibt ihr eine Beschreibung einer Aktion in natürlicher Sprache, sie durchsucht den visuellen Inhalt öffentlicher Videos anstelle der daran angehängten Texte und gibt Kandidatenvideos zusammen mit Zeitstempeln zurück, an denen die Aktion möglicherweise erscheint. Die herkömmliche Keyword-Suche funktioniert umgekehrt: Sie gleicht Ihre Wörter mit Titel, Beschreibung und Tags eines Videos ab, sodass die beiden Ansätze sehr unterschiedliche Aufnahmen erreichen.

Wir haben ihr 141 physische Aktionen gesendet und 10.828 Momente in 7.549 Videos zurückerhalten. Für jeden behaltenen Moment haben wir geprüft, ob ein Wort des Aktionsnamens im Titel, der Beschreibung oder den Tags des Videos vorkommt. In 90,8% der Fälle war dies nicht der Fall.

Wenn Sie Trainingsmaterial per Keyword sammeln, sind diese 90,8% die Daten, die Sie verpassen, und das macht die Ausbeute der API 10-mal größer als das, was die Textsuche erreichen könnte. Diese zusätzlichen Momente zeigen dieselben Aktionen, nach denen Sie gefragt haben, in Videos, deren Titel über etwas anderes sprechen, und sie bleiben für eine Text-Pipeline unsichtbar, egal wie viele Abfragen Sie gegen diese Felder ausführen.

Wir haben wörtliche Teilzeichenketten mit Titel, Beschreibung und Tags abgeglichen und innerhalb des Korpus gezählt, den die API selbst zurückgegeben hat, sodass das Verhältnis unter diesen beiden Bedingungen gilt. Semantische Suche, mehrsprachige Suche, Transkriptsuche und YouTubes eigenes Ranking liegen außerhalb dessen, was wir getestet haben.

Das Ergebnis in drei Zahlen

Die Zeitstempel haben eine zweite Konsequenz. Erlaubt man jedem Moment höchstens 10 Sekunden Aktion, werden aus den 5.066,5 Stunden Quellvideo, in denen diese Treffer liegen, 24,58 Stunden Clips, was das zu Bewegende, Speichernde und Überprüfende um das 206,1-Fache reduziert.

Was die Suche tatsächlich zurückgab. Dass die Suche zuversichtlich ist, bedeutet nicht, dass sie richtig liegt, daher haben wir aus fast jedem Treffer einen echten Frame gezogen und ein Vision-Modell alle davon bewertet. Abschnitt 3.5 enthält die Raten. Diese Prüfung liefert Kandidatenmaterial zur Entdeckung und Kuratierung; keine Richtlinie, kein World-Modell und kein Roboter wurde damit trainiert.

Sechs Beispiel-Videos und ihre Titel auf YouTube

Was ein Vision-Modell sah, dem das Bild ohne Titel gezeigt wurde, verglichen mit dem eigenen Titel des Videos, ins Englische übersetzt, wo eine Ausgangssprache angegeben ist. Eine KI hat jeden Titel im Korpus auf einen Hinweis auf die jeweilige Aktion geprüft und diese sechs als nicht verwandt eingestuft: ein bloßes Datum, ein Koranvers, ein Wirtschaftsnachrichtenblock. Wir haben jeden Frame manuell bestätigt und jedes Video ist live. Klicken Sie auf einen Frame, um das Video ab dieser Sekunde abzuspielen.

Der Moment	Was der Frame zeigt	Wie das Video heißt
mix_cement	Person schaufelt Zement in Mischwanne	Tawbah Sure, Vers 26. “Aber wohin geht ihr?” (aus tr)
refuel	Hand steckt Zapfpistole in Tankstutzen	Bangladeschs wirtschaftliche Reformherausforderungen und IWF-Botschaft | Bangladesch Wirtschaft | IWF (aus bn)
fold	Zwei Hände falten grünes Papier in der Mitte	24. Dezember 2023 (aus zh)
cut_knife	Hand schneidet Avocado auf Schneidebrett	Essen auf Mondboden angebaut… Wissenschaftler erschraken? (aus hi)
emergency_stop	Hand schlägt auf roten Pilz-Not-Aus-Knopf	(Cheongju City/Hauptlinie) Woojin Sanjeon Apollo 1100 Elektrisch Ultra-Niederflur Modell PEV Standard 2024 Juni Ausgabe 2027 Dongil Transportation 712 (aus ko)
chisel_carve	Hand führt Meißel in Holzschnitzerei	adapt and overcome 🌱

90,8% der abgerufenen Momente sind in ihren Metadaten nirgends benannt

Dieser Anteil ist die Lücke zwischen dem, was die Inhaltssuche in diesem Korpus erreichte, und dem, was ein wörtlicher Metadaten-Abgleich erreicht hätte.

Der naheliegende Einwand ist die Sprache, da wir englische Aktionswörter gegen Titel testen, die oft nicht auf Englisch sind. Beschränkt man sich auf modellbestätigte englische Titel, bleibt die Zahl bei 85,8%; Abschnitt 3.3 zeigt jeden Ausschnitt.

Wo die Aktion benannt wird, über alle 10.828 abgerufenen Momente

Ein echter Moment aus jeder Kategorie, denn “531 Momente sind nur in der Beschreibung benannt” ist eine Behauptung, und ein tatsächlicher Titel mit dem markierten übereinstimmenden Wort ist ein Beweis:

Unsichtbarer Anteil, nach Domäne

Jedes übereinstimmende Video in jeder Domäne enthielt gescrapte Metadaten, daher ist jedes n der vollständige abgerufene Satz dieser Domäne. Niemand betitelt ein Video “einen Block in eine Schüssel legen”; Reparaturvideos kündigen hingegen an, was sie reparieren, weshalb Automotive die einzige Domäne ist, die ein wörtlicher Matcher teilweise erreicht.

1 Was ein Zeitstempel aus der Pipeline entfernt

Angenommen, Sie möchten zehn Sekunden davon, wie jemand eine Lötstelle lötet. Der übliche Weg umfasst fünf Schritte, und jeder davon läuft auf einer ganzen Videodatei: ein Video anhand seines Titels finden, es vollständig extrahieren, Ihre eigene Kopie nach dem Moment durchsuchen, diesen Moment herausschneiden und dann beschriften, was er zeigt.

Schritt eins verfehlt 90,8% dieser Momente direkt. Das Durchsuchen des Filmmaterials hingegen liefert das Video und die Sekunde darin, und einer der fünf Schritte hört auf zu existieren. Es gibt nichts mehr im extrahierten Video zu suchen, da Sie bereits wissen, wo der Moment ist. Das Schneiden muss noch erfolgen, da die Media Data API ganze Videos, Audio, Untertitel und Storyboards liefert und keinen Zeitstempel entgegennimmt, aber Sie schneiden gegen einen bekannten Offset statt nach einem zu suchen. Aus fünf Schritten werden vier.

Offline-Sammel-Pipelines teilen diese Arbeit häufig auf mehrere Systeme auf: Videos in Cloud-Speicher verschieben, sie Frame für Frame manuell oder halbautomatisch annotieren und zwischen Robotik-Formaten wie ROS oder MCAP und allgemeinen Videoformaten konvertieren. Jede Übergabe ist ein Ort, an dem Durchsatz verloren geht und an dem die zeitliche Ausrichtung zwischen Kameraströmen und Motorbefehlen driften kann. Nichts davon haben wir hier gemessen. Es ist der Kontext, der einen zurückgegebenen Zeitstempel wertvoll macht.

Herkömmlicher Weg (fünf Schritte, bezahlt für ganze Videos):

1. Videos finden · Keyword-Suche über Titel
2. Extrahieren · 5.066,5 Stunden Quellvideo (der teure Schritt, gemessen an der gescrapten Dauer jedes übereinstimmenden Videos)
3. Suche ausführen · ein zweites Tool, über Ihre eigene Kopie
4. Schneiden · jeden Clip auf den Moment zuschneiden
5. Beschriften · annotieren, was geschnitten wurde

Mit Momenten-Suche (vier Schritte, bezahlt pro Sekunde):

1. Szenen finden · Inhaltssuche gibt die Sekunde zurück
2. Abrufen · ~24,58 Stunden rund um die zurückgegebenen Offsets (Schätzung: setzt voraus, dass jeder Moment höchstens 10 Sekunden Aktion ist)
3. Schneiden · lokal schneiden, gegen einen bekannten Offset
4. Beschriften · ein Frame pro Moment

2 Methode

Wir haben einen Satz für jede der 141 Aktionen verfasst und sie an die Video Search API gesendet. Der Satz für das Löten lautete:

einer der 141 Sätze, die wir gesendet haben

Nahaufnahme einer Hand, die einen Lötkolben an eine Leiterplattenverbindung hält, während die andere Hand Lötzinn zuführt, Tischlampenbeleuchtung

Anschließend haben wir den Titel, die Beschreibung und die Tags jedes zurückgegebenen Videos gescrapt. Bright Data dokumentiert den Index als auf gesampelten Frames basierend und nicht auf Titel, Beschreibung oder Tags, sodass die von uns bewerteten Felder nicht das sein sollten, was das Filmmaterial gefunden hat. Wir haben das nicht unabhängig getestet.

Wir haben 22 Aktionsnamen aus den Task-Strings von DROID entnommen, die wir auf Verbhäufigkeit hin gelesen haben, und die verbleibenden 119 als handverfasste Aktionen hinzugefügt, um die Prüfung über DROIDs Abdeckung hinaus zu erweitern.

3 Ergebnisse

3.1 Was jeder Weg kostet

Alles hier ist in Stunden über diesen Korpus, mit Dauern, die vom Scraper summiert wurden, sodass die Ausgangszahl eine Zählung und keine Schätzung ist. Wir haben kein Video extrahiert, daher erheben wir keinen Anspruch auf eine Byte-Zahl.

Hinter dem Wert 206,1× stehen zwei Zählungen. Die 5.066,5 Stunden sind eine echte Summe über 7.549 Videos. Die Clip-Zahl zählt jede (Video, Sekunde) einmal, über 8.849 verschiedene Sekunden, und multipliziert mit dem 10-Sekunden-Fenster.

Das Verhältnis hängt von zwei Entscheidungen ab: wie lang ein Clip ist und ob der lange Schwanz zählt, und der lange Schwanz ist der größere Hebel der beiden: 483 Videos von drei Stunden oder mehr sind ~6% des Sets und tragen ~60% der Stunden. Die vollständige Sensitivitätstabelle:

Derselbe Korpus, auf beiden Wegen erhalten: 10.828 Match-Zeilen auf 8.849 verschiedenen Video-Sekunden. Zählt man jeden Treffer statt jede einzelne Sekunde, ergibt das 30,08 Clip-Stunden und eine Reduktion von 168,4×. Dasselbe Verhältnis gilt für die Überprüfungszeit nur, wenn die Alternative jedes Quellvideo vollständig überprüft, die Überprüfungszeit linear mit der Dauer skaliert und das Durchgehen von 8.849 separaten Clips keinen Overhead pro Clip verursacht.

3.2 Die Abgleichregel und was ihre Verschärfung bewirkt

Für jeden behaltenen Kandidatenmoment haben wir den Titel, die Beschreibung und die Tags des Videos geprüft – die wichtigsten in dieser Prüfung verfügbaren Metadatenfelder.

Ein Moment gilt als benannt, wenn ein Wort des Aktionsnamens mit mehr als zwei Zeichen als Teilzeichenkette ohne Berücksichtigung der Groß-/Kleinschreibung vorkommt, sodass “change” allein change_tire_wrench markiert und “car” in “carpet” gefunden wird. Das ist die großzügigste Regel, die wir hätten wählen können, was die Schlagzeile zu einem Mindestwert macht. Verschärft man sie, steigt sie:

Jede Regel, die strenger als die veröffentlichte ist, erhöht den Wert, was 90,8% zu einem Mindestwert statt einem Bestfall macht: 395 der 992 Momente, die die veröffentlichte Regel als benannt zählt, verdanken das einem Fragment innerhalb eines längeren Wortes. Jeder Wert ist gemessen, vier echte Durchläufe über den Korpus (supply_gap.py _variants()).

3.3 Viele sind in einer anderen Sprache betitelt

Wir haben für jeden der 10.828 übereinstimmenden Momente eine Titelsprache gelesen, sodass dies der gesamte Korpus und keine Stichprobe ist. Von diesen befinden sich 4.863 (~45%) in einem Video, das in einer von 77 benannten Nicht-Englisch-Sprachen betitelt ist, plus einem Titel, den das Modell nicht einordnen konnte. Dieselben englischen Aktionsbeschreibungen lieferten 423 Momente aus Hindi-betitelten Videos und 509 aus Portugiesisch-betitelten. Es wurden keine geografischen Felder gesammelt, daher sagt dies nichts darüber aus, wo die Videos produziert wurden.

Titelsprache jedes übereinstimmenden Moments, über alle 79 gefundenen Sprachen.

Diese Mischung ist der Grund, warum wir den Korpus vor dem Vertrauen in die Schlagzeile auf Englisch eingeschränkt haben. Die Beschränkung auf bekannte englische Titel verschiebt die Zahl um einige Punkte und lässt den größten Teil bestehen, sodass ein Teil der Lücke ein Sprachunstimmigkeit ist und der Rest ein Beschreibungsfehler, der nach Beseitigung der Unstimmigkeit bestehen bleibt:

3.4 Pro Aktion

Sortiert nach dem Anteil ohne wörtlichen Aktionsbegriff in den verfügbaren Metadaten. 17 Aktionen haben keinen behaltenen Moment, dessen Metadaten die Zielaktion benennen. Über alle 141 Aktionen mit mindestens 8 geprüften Momenten liegt der Anteil zwischen 50,0% und 100,0%, Median 94,1%. Die 12 am wenigsten verborgenen:

Auffindbarkeit pro Aktion. ‘Benannt’ zählt Momente, deren eigener Titel, Beschreibung oder Tags ein Wort des Aktionsnamens unter der veröffentlichten Teilzeichenkettenregel enthalten. Die Extrapolationsspalten multiplizieren die gemessene Ausbeute pro Shard jeder Aktion mit der Shard-Anzahl des Index und dividieren durch die gemessene aktionsübergreifende Überschneidung; ‘Ratenbasis’ gibt an, ob die nutzbare Rate an den eigenen Frames der Aktion gemessen, von ihrer Domäne oder vom korpusweiten Wert übernommen wurde.

3.5 Die Frames abrufen

Um zu prüfen, ob die Suche überhaupt korrekt war, haben wir aus jedem übereinstimmenden Video einen echten Frame gezogen und ihn betrachtet. Was YouTube ohne Extraktion des Videos bereitstellt, ist das Storyboard, ein Sprite-Sheet mit Thumbnails, dessen Abtastintervall mit der Laufzeit zunimmt: wir maßen 1 s bei Videos bis zu 109 s, 2 s von 175 s bis 275 s, 5 s von 454 s bis 892 s und 10 s ab 1.366 s aufwärts. Die Schrittgrenzen zwischen diesen Bereichen wurden durch die 12 untersuchten Videos nicht aufgelöst. Das beurteilte Bild ist das nächste Sample bei oder vor der übereinstimmenden Sekunde, sodass es bis zu ein Intervall früh sein kann – im schlimmsten Fall 10 s und für etwas mehr als die Hälfte der Frames 5 s oder 10 s. Gemessen durch storyboard_probe.py; die Spezifikationen pro Video befinden sich in data/storyboard_spec.json.

Ein Vision-Modell hat alle 10.750 von 10.828 erhaltenen Frames bewertet, sodass jede Rate hier auf 99,3% des Korpus und nicht auf einer Stichprobe gemessen wird. 93,8% sind echtes Filmmaterial und keine Animation, kein Spiel oder Bildschirmaufzeichnung; 25,7% zeigten die Aktion sichtbar im Gange und 57,4% zeigten sie im Gange oder vorbereitet; 34,5% erzielten 3 oder besser auf einer Nutzbarkeits-Skala von 0 bis 5. Diese letzte Zahl ist ein Urteil über einen nachgelagerten Trainingsprozess, den das Modell nicht beobachten kann, und verhält sich entsprechend: Bei einer 60-Frame-Stichprobe umspannten vier Durchläufe mit identischer Konfiguration 3,4 Punkte, und eine Umformulierung der Bewertungsrubrik verschob sie um 20. Der sichtbare Aktionsanteil verschob sich über dieselbe Rubrikänderung um 1,7, was ihn zur Kennzahl macht, die über Durchläufe hinweg verglichen werden sollte.

Frame-Akquisition:

Frame-Akquisition. Wir haben Storyboards direkt abgerufen und bei 863 der 10.828 Momente Rate-Limiting getroffen, von denen 856 in einem späteren Durchlauf wiederhergestellt wurden, sodass keiner der 78 verlorenen Momente auf einem 429 endete; die Media Data API ist der unterstützte Weg für diesen Schritt und gibt Storyboards direkt zurück. Diese Prüfung hat keinen Aufruf dazu gemacht. Diese Momente befinden sich auf 7.549 Videos, und ein Video kostet einen Watch-Page-Abruf plus mindestens ein Sprite-Sheet, pro Video gecacht.

4 Die Momente, abspielbar

Treffer werden gegen den nächsten Storyboard-Frame bei oder vor der Sekunde angezeigt, für die sie übereinstimmten. Das Ranking ist nicht kuratiert. 10.750 der 10.828 Momente haben einen eigenen Frame, und die vollständige Galerie enthält 10.761 Zeilen, da 11 weitere ein Bild mit einer anderen Aktion teilen, die bei derselben Sekunde übereinstimmte. Diese Zeilen basieren auf 8.792 verschiedenen Bildern, da der Dateiname ein Video und eine Sekunde und keine Aktion benennt.

Unten sind die am höchsten bewerteten übereinstimmenden Momente, einer pro Aktion, direkt aus dem Ranking. Klicken Sie auf einen Frame, um das Quellvideo ab der übereinstimmenden Sekunde abzuspielen.

measure_tape · 0,391 · nützlich 4/5 Hand benutzt Maßband auf Holzbrett Shootout review and a work story!	cut_pipe · 0,388 · nützlich 2/5 Hände halten Kupferrohrschneider-Werkzeug How Raw Copper Turns into a Masterpiece with Artistic Hammer Strikes⚒️🔥🇮🇷	machine_load · 0,386 · nützlich 2/5 Rosa behandschuhte Hände ordnen kleine weiße Metallteile an THK rail | Installation guide | THK rail | Rail removal and installation | 0363.
forklift_controls · 0,383 · nützlich 5/5 Hände an Gabelstapler-Bedienelementen und Lenkrad JUST DRIVE : Forklift #38	solder · 0,382 · nützlich 3/5 Hände nahe Leiterplatte, unklares Löt-Setup ⚡ Simple DIY Repair Old Bike Battery And Install Separate USB Charging Port For	steering_turn · 0,378 · nützlich 5/5 Beide Hände greifen Lenkrad, drehen 1995 Volvo 850 T5-R Wagon – POV Driving Impressions
tape_box · 0,376 · nützlich 1/5 Hand nahe Kleberollenrollen und Verpackungsmaterial Cell 32140 high discharge line – battery pack accessories 0824457979	wipe · 0,374 · nützlich 3/5 Hände manipulieren weißen Stoff auf Oberfläche Washed Notebook ASMR 📘✨ Radiator‑Dried Pages With Intense Crinkles	machine_unload · 0,373 · nützlich 1/5 Behandschuhte Hände nahe industrieller Maschineneinrichtung Transmission Assembly – 1929 Ford Model A
nail_gun · 0,371 · nützlich 4/5 Hände positionieren Nagelpistoile auf Holzrahmen Building a deck for garden raised bed – Part 1	sit_stand · 0,371 · nützlich 5/5 Person erhebt sich mit Armlehnen vom Stuhl Flexibility and Mobility Senior Chair Exercise	count_stock · 0,371 · nützlich 2/5 Hand schreibt in Notizbuch nahe Klemmbrett [26.4.16.Thu.] Study with me | Studying together | Thursday meet-up! | Firefight
probe_test · 0,371 · nützlich 5/5 Zwei Hände halten Multimeter-Prüfspitzen an Schaltkreis How to Measure Electronic Components with a Multimeter (Complete Guide)	open_carton · 0,369 · nützlich 2/5 Hände halten Flaschen nahe Kartonöffnung, kein Schneiden Oddly Satisfying Video-How to Cutting New Wooden Fruits and Vegetables ASMR – Cu	kneel_work · 0,369 · nützlich 3/5 Person liegt auf dem Boden in Arbeitsposition Lupimorphie, animal-performance by Régis Moulu, Capsule 114, dance
push_heavy_cart · 0,367 · nützlich 4/5 Person schiebt schweren Wagen mit beiden Händen 2321FI”2-Step Multi-Functional Aluminum Alloy Step Trolley: Comprehensive Usage	chisel_carve · 0,366 · nützlich 5/5 Hand führt Meißel in Holzschnitzerei adapt and overcome 🌱	lathe_operate · 0,362 · nützlich 5/5 Hand dreht Drehbank-Querschlitten-Handrad mit drehendem Teil Unbelievable Damage! Caterpillar Cylindrical Roller Bearing Destroyed 😱

Jede Zelle: die Aktion, für die sie übereinstimmte, und ihr Relevanz-Score, dann was das Vision-Modell im Frame sah (dem das Bild ohne Titel gezeigt wurde), dann der eigene Titel des Videos auf Englisch. Zeitstempel öffnen zwei Sekunden früh, damit der Moment ins Bild kommt.

5 Verwandte Arbeiten

Das Abrufen eines Moments per Beschreibung ist eine etablierte Aufgabe: zeitliche Verankerung auf Charades-STA, Highlight-Erkennung auf QVHighlights, natürlichsprachige Abfragen in Ego4D. Wir stellen hier keine neue Methode vor.

Das Konstrukt hat Vorläufer. TVR (2020) hat seine 108.965 Abfragen danach beschriftet, ob Video, Untertitel oder beides sie beantwortete, und berichtete 74,2% nur Video. Was sich unterscheidet, ist der Korpus und der Zweck: offene Web-Videos statt sechs TV-Sendungen, physische Aktionen, eine verifizierte Teilstichprobe und ein Kostenverhältnis. Das Veröffentlichungsformat folgt AVA und HowTo100M: Kennung, Zeitstempel und Label, ohne Video weiterzugeben. Die Suche erfolgt durchgehend über die Video Search API. Frames wurden hier durch Parsing des YouTube-Storyboards von der Watch-Page gewonnen; zu keinem Zeitpunkt wurde ein Clip extrahiert. Für einen Produktionslauf ist die Media Data API der unterstützte Weg.

Was die Prüfung feststellt, ist enger als ein Ersatz für Roboter-Demonstrationen. Das Web enthält eine große und schlecht indizierte Schicht von Filmmaterial mit physischen Aktionen, und zeitgestempelte visuelle Suche macht diese Schicht erheblich leichter erreichbar. Ob auf diese Weise kuratiertes Filmmaterial ein Robotik- oder World-Modell-System messbar verbessert, ist die nächste Frage, und ihre Beantwortung erfordert ein Trainingsexperiment, das diese Prüfung nicht durchgeführt hat.

6 Zitierung

@misc{webmoments2026,
  title        = {Finding the Web's Hidden Robot Training Moments in
                  Public Web Video Data},
  author       = {Bright Data},
  year         = {2026},
  howpublished = {Technical report},
  note         = {141 physical actions, 10,828 retrieved match rows over
                  8,849 distinct video-second moments, and
                  10,750 frames reviewed by a vision model}
}