KI generiert Videos in Echtzeit während du die Maus bewegst – 29 FPS ohne Verzögerung

Forscher haben MotionStream vorgestellt - ein Modell, das Videos on the fly generiert, während du die Maus bewegst. Kein vorheriges Rendering. Keine nachträgliche Bearbeitung. Direkt jetzt.

Wie es funktioniert:

• Läuft auf einer einzigen H100
• 29 FPS und 0,4 Sekunden Latenz
• Steuerung der Objekt- und Kamerabewegung über Tracking-Punkte
• Du ziehst mit der Maus - die Tasse bewegt sich, das Wasser folgt ihr

Technisch ist es ein Video-Diffusion-Modell mit Causal Distillation und Attention Sink gegen Fehlerakkumulation. Plus ein Lightweight-VAE-Decoder für die Geschwindigkeit.

Interessant ist, dass man Videos in Echtzeit bearbeiten kann: Das Modell nimmt den eingehenden Stream, bewertet die Tracking-Punkte und generiert das Ergebnis on the fly basierend auf dem bearbeiteten ersten Frame.

Einer der Autoren, Xun Huang, schreibt: "Wenn Video-Modelle in Echtzeit interaktiv werden, fühlt es sich ganz anders an. Du schaust nicht mehr nur ein Video - du spielst damit".

Der Code befindet sich noch im internen Review der Firma. Es gibt keine Release-Termine. Aber die Methodik ist im Paper beschrieben, und da sie auf Open-Source-Entwicklungen basiert, lassen sich die Ergebnisse reproduzieren.

Alle Demos sind rohe Bildschirmaufnahmen ohne Nachbearbeitung.