Heise 26.03.2026
16:32 Uhr

„Vibe Coding XR“: Gemini generiert VR-Apps in unter einer Minute


Google stellt mit Vibe Coding XR einen KI-Workflow vor, mit dem sich aus Prompts VR-Apps für Android XR direkt im Browser generieren und testen lassen.

„Vibe Coding XR“: Gemini generiert VR-Apps in unter einer Minute

Googles interne Forschungseinheit hat einen KI-Workflow vorgestellt, der beim Prototyping immersiver Anwendungen helfen soll. Nutzer beschreiben per Textprompt oder natürlicher Sprache, was sie erstellen möchten, und Gemini generiert daraus in unter einer Minute funktionsfähige, physikbasierte WebXR-Anwendungen für Android XR. Mit einem entsprechenden Headset erfolgen Eingabe, Generierung und anschließendes Testen und Iterieren vollständig im Browser.

Der Workflow setzt auf das KI-Werkzeug Gemini Canvas und das von Google Research eigens entwickelte Open-Source-Framework XR Blocks (Github). Während Gemini laut Google die Rolle eines XR-Designers übernimmt und bewährte Vorgehensweisen für XR-Entwicklung befolgt, stellt XR Blocks die Bausteine und Infrastruktur bereit, die aus generiertem Code lauffähige XR-Anwendungen machen. Der Workflow soll Entwicklern und Laien damit ermöglichen, neue Benutzeroberflächen, 3D-Interaktionen und räumliche Visualisierungen schnell und unkompliziert auszuprobieren.

Google Research illustriert den Ansatz anhand mehrerer Beispiele: Ein per Prompt erzeugter Mathe-Tutor visualisiert Eulers Polyedersatz anhand dreidimensionaler Körper, ein Physik-Labor ermöglicht das Ausbalancieren von Gewichten auf einer Waage, und ein Chemie-Szenario simuliert verschiedene Verbrennungsprozesse. Die Beispiele kombinieren räumliche Interaktion, physikalisches Verhalten und visuelle Darstellung und zeigen, welche Arten von XR-Prototypen sich mit dem Workflow umsetzen lassen.

Einen großen Haken hat die Sache jedoch: Der Workflow ist offenbar auf das Betriebssystem Android XR und damit kompatible Headsets beschränkt. Derzeit gibt es nur ein Gerät dieser Art: das bisher einzig in den USA und Südkorea verfügbare Samsung Galaxy XR. Es ist jedoch zu erwarten, dass künftig weitere Geräte auf Basis von Android XR erscheinen, darunter Project Aura. Bis es soweit ist, können Nutzer die Anwendungen auch am Desktop erstellen und mithilfe eines integrierten Simulators testen, sagt Google.

Während Vibe Coding, also das promptbasierte Programmieren, mittlerweile viele Bereiche der Softwareentwicklung abdeckt, ist das Spezialfeld der XR-Entwicklung noch wenig erschlossen und stellt entsprechende Ansätze vor besondere Herausforderungen, etwa bei der Integration räumlicher Interaktion und Gerätesensorik. Neben Google arbeitet vor allem Meta an KI-Werkzeugen für die XR-Entwicklung: Auf der GDC 2026 stellte das Unternehmen unter anderem agentische KI-Workflows für Unity und KI-gestützte Iteration für Horizon OS in den Vordergrund.

(tobe)