Erstmals prädiktives Weltmodell in menschliches Gehen: WM-LOCO bringt Roboter vor Ort

Wenn ein menschlicher Roboter sich mit komplexen Geländen wie Pflaumenstäufen, gebrochenen Brücken und schmalen Treppen konfrontiert, ist die wahre Prüfung, die vor ihm liegt, weit mehr als so einfach, seine Füße zu sehen.

Auf kontinuierlich flachem Boden gibt es in der Regel auch Anpassungsraum für eine ungenaue Landung; Doch in dünnen, diskreten, geometrisch begrenzten Fußbereichen kann ein paar Zentimeter Verschieben der Handfläche auf die Leere treten. Sobald der Roboter im Augenblick falsche Entscheidungen trifft und sich oft noch nicht anpassen kann, verliert der Körper sein Gleichgewicht.

Daraus ergibt sich eine entscheidende Frage: Kann der Roboter vorher bestimmen, in welche Zukunft dieser Schritt ihn bringen wird, bevor er den aktuellen Schritt unternimmt?

Um dieses Problem zu lösen, hat das Team von Pumpkin-Roboter-Algorithmen World Model Augmented VisualLocomotion, kurz WM-LOCO, vorgeschlagen.

WM-LOCO führt ein Weltmodell für zukünftige Vision- und Bewegungszustandsprognosen in den humanoid-robotischen komplexen Geländewander ein, führt ein End-to-End-gemeinsames Training in der Simulation durch und ermöglicht eine Zero-Shot-Maschinenmigration. Dies bedeutet, dass in der Simulation trainierte Strategien direkt auf den physischen Roboter eingesetzt werden können, ohne dass eine zweite Anpassung erforderlich ist.

WM-LOCO-Architekturdiagramm: PPO-Strategie auf der linken Seite und Zyklus-Weltmodell auf der rechten Seite, beide Coder gemeinsam und gemeinsames End-to-End-Training

Einfach ausgedrückt, Roboter der Vergangenheit entschieden eher über den nächsten Schritt, basierend auf dem, was sie gesehen haben. Mit WM-LOCO lernt der Roboter „zuerst die Zukunft vorherzusagen und dann zu entscheiden, wie er weiter geht“.

　　Nur die Vergangenheit zu verstehen, warum reicht es nicht aus?

Traditionelles visuell verstärktes Lernen gibt in der Regel aktuelle und historische visuelle Informationen zusammen mit dem physischen Zustand des Roboters in ein strategisches Netzwerk ein und gibt dann die einzelnen Gelenksteuerungsanweisungen in Echtzeit aus.

Diese Art von Strategien, die auf der Beobachtungsgeschichte basieren, können Informationen "sehen", die der Roboter bereits erlebt hat, und durch die Eingabe eines aufeinanderfolgenden Bildes mit mehreren Frames oder einer Geschichte des Körperzustands beurteilen, wie sich der Roboter zuvor bewegt hat, wie sich das Gelände verändert hat, und entsprechend die aktuelle Bewegung generieren.

Aber das Problem besteht darin, dass die Strategien immer "vergangene" Informationen nutzen und nicht explizit "zukünftige Zustandsänderungen lernen, die durch eine bestimmte Aktion verursacht werden können". Diese Einschränkung ist auf flachem und regelmäßigem Gelände noch nicht offensichtlich, aber sobald es sich um Gelände mit stark begrenzten Geländebereichen wie Pflaumenstäufen, gebrochenen Brücken und schmalen Treppen handelt, wird die Entscheidungsfindung auf der Grundlage der Beobachtungsgeschichte stark verstärkt.

Aufgrund des komplexen Geländewanders ist es niemals eine einfache Überlagerung einer Reihe unverhältnismäßiger Schrittbewegungen.

Wo dieser Fuß momentan tritt, beeinflusst den Schwerpunkt des Körpers, die Unterstützungsbeziehung, die Bewegungsbahn der Beine und welche Bereiche man als nächstes erreichen kann. Eine Aktion, die im Moment durchführbar erscheint, könnte den Roboter im nächsten Moment weglos versetzen.

Also muss der Roboter nicht nur verstehen, was zuvor passiert ist, sondern auch vorhersagen: Was könnte als nächstes passieren, wenn diese Aktion ausgeführt wird?

　　Ein Verständnis der „Zukunft“ für die Strategie

WM-LOCO empfängt nebenbei Tiefensicht- und Körperwahrnehmungsinformationen von Robotern an Bord und lernt kontinuierlich die dynamischen Beziehungen zwischen Robotern, Bewegungen und Umgebung im Hidden Space durch ein zyklisches Weltmodell.

Es ist wichtig zu betonen, dass das Ziel dieses Weltmodells nicht darin besteht, ein zukünftiges Video zu erstellen, das man sehen kann, sondern eine kompaktere und besser in Echtzeit steuerbare Darstellung des zukünftigen Zustands zu lernen. WM-LOCO versucht in jedem Moment drei Fragen zu beantworten:

In welchem Zustand stehen Roboter und Gelände?

Wie verändert sich der körperliche und visuelle Zustand nach der Bewegung?

Sind diese Veränderungen positiv für den nächsten stabilen Lauf?

In einer konkreten Realisierung besteht das Weltmodell gemeinsam aus einer deterministischen Gedächtnisbahn und einer zufälligen Hidden Variable: Erstere sammelt Geschichte entlang des Zeitzyklus, letztere folgt aus aktuellen Beobachtungen.

Durch das Lernen von Beobachtungsrekonstruktionen, potenziellen Zustandsveränderungen und Vorhersagen von Aufgabenfeedback extrahiert das Weltmodell schrittweise dynamische Darstellungen, die zukünftige Bewegungstrends enthalten, und gibt diese Informationen in die PPO-Strategie zurück.

Dadurch erhält die Strategie nicht mehr nur Treppen, Hindernisse und Bodenbereiche im aktuellen Tiefenbild, sondern auch keine historische Bewegungsbahn, sondern auch zukunftsweisende Informationen darüber, wie sich der Körperzustand des Roboters als nächstes entwickeln könnte.

GT für die wahre nächste Bildtiefe, Recon. für die Modellvorhersage und Error für den Pixelfehler

Dies ist der Kernunterschied zwischen WM-LOCO und einer normalen Multiframe-Eingabestrategie. Die Beobachtung der Geschichte hilft vor allem Strategien zu verstehen, was in der Vergangenheit passiert ist; Weltmodelle lernen die dynamischen Beziehungen zwischen Beobachtungen, Aktionen und zukünftigen Zuständen weiter, so dass Strategien ableiten können, was als nächstes passieren könnte.

Somit ist die Entscheidungsfindung der Strategie nicht mehr nur auf historische Informationen angewiesen, sondern ist wirklich zukunftsorientiert.

　　3. End-to-End-Training, Abschied von mühsamen Prozessen

Um den Roboter durch komplexes Gelände zu ermöglichen, unterteilen viele technische Routen das System in mehrere Module wie Wahrnehmung, Planung von Standorten, Bahnerzeugung, Lehrstrategie und Grundsteuerung.

Einige Programme erfordern zudem die Ausbildung einer "offenen" Lehrstrategie mit vollständigen topologischen Werten, bevor die Fähigkeiten durch die Destillation von Wissen auf eine Schülerstrategie mit an Bord befindlichen Sensoren übertragen werden. Diese Lösung kostet längere Trainingsverbindungen, mehr menschliche Konstruktion, höhere Kosten für den Datenaufbau und die Möglichkeit, dass Fehler zwischen mehreren Modulen stufenweise übertragen und auf Schichten vergrößert werden.

WM-LOCO hat sich dagegen für einen direkteren und einfacheren Weg entschieden: Das Weltmodell und die Gehstrategie werden im selben Trainingsprozess von Ende zu Ende optimiert.

Das gesamte System erfordert keine künstliche Markierung von Standorten, keine Vorplanung von Fußstrecken, keine mehrstufige Destillation zwischen Lehrer und Schüler, keine komplexe Struktur mit mehreren Experten oder die Ausbildung mehrerer unabhängiger Module. Von visuellen Eingaben bis hin zu Gelenkbewegungen, Training Schritt für Schritt.

Auch die dynamischen Informationen, die das Weltmodell lernt, werden nicht für die Rekonstruktion neu aufgebaut, sondern dienen direkt einem Ziel: Strategien zu helfen, bessere Entscheidungen zu treffen.

　　Höhere Erfolgsquote und natürlicher Gang

Unter den gleichen visuellen Eingaben und Aufgabeneinstellungen verglich das Algorithmusteam WM-LOCO mit der Basis-PPO-Strategie.

Da die Bodenbereiche immer dünner, enger und inkontinuierlicher wurden, zeigten sich beide Ansätze deutliche Lücken. Eine reine PPO-Strategie, die sich ausschließlich auf die Beobachtungsgeschichte stützt, ist anfälliger für vorzeitige Absetzungen, häufige Versuche, inkonsistente Rhythmen des linken und rechten Beins und Probleme, bei denen lokale Bewegungen durchführbar sind, nachfolgend aber nicht fortgesetzt werden können. In einigen schwierigen Geländen ist es einfach nur schwer, eine stabile Durchfahrtfähigkeit zu bilden.

Nach der Einführung des Weltmodells stieg die Erfolgsquote des Roboters in komplexen Szenarien wie Pflaumenstöcken, gebrochenen Brücken, schmalen Treppen und Einzelbrücken deutlich zu fast 100 Prozent in der Simulation. Gleichzeitig verringerte der Roboter plötzliche Korrekturen und zögernde Schritte.

Mit anderen Worten, das Weltmodell bringt nicht nur die "Fähigkeit, vorbei zu gehen", sondern ermöglicht es dem Roboter auch, eine kontinuierlichere und stabilere Bewegungsbeabsicht zu zeigen, während er geht - die Beine, das Setzen und die Schwerpunktverschiebung des Körpers sind kohärenter, der Rhythmus des linken und rechten Beins ist koordinierter und die gesamte Bewegung ist natürlicher und näher dem menschlichen Gehen.

Auf der realen Maschine wurden die gleichen Gewichte auf der Unitree G1 als Zero-Shot-Methode eingesetzt: Treppensteine, Treppen und Spalten wurden jeweils zehnmal getestet, mit einer durchschnittlichen Erfolgsquote von 93,3%. Von diesen 0,8 Meter breiten Spalten überschritt der Roboter Schritt für Schritt in einer vollständigen "Leg-over-land" -Bewegung - aus Sicherheitsgründen hat das Team nicht weiter die breiteren Spalten getestet, aber dies ist bereits die seltene echte Maschinenreise in der öffentlichen Arbeit.

　　Prüfung vor Ort: Mehr als nur Demo

Arbeiten auf dem Markt zeigen allgemein gescreene Demovideos, die oft schwierig sind, die Stabilität des Algorithmus in realen Umgebungen vollständig widerzuspiegeln.

Die Live-Ausstellung ist ganz anders. Der Roboter muss mit realem Sensorgeräusch, Gerätezustandsänderungen, Lichtstörungen und einem einzigen Betrieb konfrontiert werden, der nicht wiederholt werden kann. Jeder Wahrnehmungs- oder Kontrollfehler wird direkt dem Publikum ausgesetzt.

Auf der jüngsten Medienkonferenz von Asahi S600 hat der menschliche Roboter mit WM-LOCO vor Ort eine öffentliche Präsentation der realen Maschine abgeschlossen. Die Algorithmen laufen in Echtzeit auf realen Robotern, realen Sensoren und der Berechnungsplattform Asahi S600 und schließen den kompletten Schleifen von der visuellen Wahrnehmung über die Weltmodellierung bis hin zur ganzkörperlichen Bewegungssteuerung.

Der offene Live-Betrieb stellt höhere Anforderungen an die Stabilität, Echtzeit und Bereitstellungszuverlässigkeit der Algorithmen als die komplexen Terrainmodeos, die hauptsächlich in Form von Videodemos dargestellt werden, was die technische Zuverlässigkeit, die reale Bereitstellungsfähigkeit und die hohe Erfolgsquote von WM-LOCO weiter bestätigt.

Weltmodelle werden nicht nur verwendet, um die Zukunft zu generieren, sondern können auch Robotern helfen, die Zukunft zu verstehen.

Wenn der Roboter von der Entscheidungsfindung auf der Grundlage seiner Beobachtungsgeschichte zu der proaktiven Vorhersage der Folgen seiner Bewegungen geht, ändert sich seine Gehlogik: zuerst die Zukunft vorhersagen und dann den nächsten Schritt machen.

　(Auswahl)