Laut veröffentlichten Materialien von NVIDIA ist Cosmos 3 das weltweit erste vollständig offene omnimodale physische KI-Grundmodell. Es basiert auf der proprietären hybriden Transformer-Architektur von NVIDIA und integriert sowohl Verstehens- als auch Generierungszweige, was visuelles Verständnis, Weltenzeugung und Aktionsvorhersage innerhalb eines einzigen Modells ermöglicht. Es kann reale physische Regeln wie Gravitation, Kollision und Reibung genau reproduzieren. Im Gegensatz zu allgemeinen multimodalen Modellen, die hauptsächlich für die Erstellung von Unterhaltungsinhalten entwickelt wurden, unterstützt Cosmos 3 nativ die Eingabe und Generierung von fünf Modalitäten: Text, Bilder, Video, Umgebungsgeräusche und menschliche sowie robotische Bewegungen. Vortrainiert auf groß angelegten physikalisch annotierten Datensätzen kann das Modell realistische Szenendaten und Bewegungsbahnen autonom erzeugen, die den physikalischen Gesetzen der realen Welt folgen.
Offiziellen Informationen zufolge ist Cosmos 3 in mehreren Modellstufen geplant. Die Super-Version mit größeren Parametern ist für Automobilhersteller und humanoide Robotikunternehmen für die großflächige Datensynthese und die Entwicklung fortschrittlicher Algorithmen konzipiert. Die Basisversion richtet sich an kleine und mittelgroße F&E-Teams in verschiedenen Branchen, während die Tiny-Version für die lokale Implementierung auf Edge- und eingebetteten Hardware optimiert ist. NVIDIA hat das Modellgewicht, den Quellcode und die unterstützenden Bewertungsdatensätze vollständig offen zugänglich gemacht, wobei verwandte Ressourcen auf offenen Plattformen wie Hugging Face und GitHub verfügbar sind. Globale Entwickler können die Ressourcen kostenlos nutzen und bei Bedarf anpassen. In Bezug auf die Implementierungseffizienz sagt NVIDIA, dass das Modell die traditionellen Simulations- und Debugging-Zyklen für Robotik, autonomes Fahren und industrielle digitale Zwillingsprojekte von mehreren Monaten auf nur wenige Tage komprimieren kann, was hilft, die Kosten für Datenerhebung und Tests für die Entwicklung physischer KI zu senken.
Neben der Produktankündigung stellte NVIDIA auch seine Ökosystemstrategie vor, indem es die NVIDIA Cosmos Coalition gründete, ein globales Kooperationsbündnis. Zu den Gründungsmitgliedern gehören führende KI-Labore und Robotikunternehmen wie Agile Robots, Black Forest Labs, Runway, LTX und Skild AI. Im Rahmen des Kooperationsrahmens der Koalition können Mitgliedsorganisationen den vollständigen Cosmos 3-Technologiestack teilen, bei Bedarf auf NVIDIA DGX Cloud-Rechenressourcen zugreifen und Algorithmen, Benchmarks sowie reale Testdaten aus der Industrie austauschen. Das Bündnis hat sich zum Ziel gesetzt, gemeinsam Standards für offene Weltmodelle zu entwickeln und die Iteration sowie Kommerzialisierung nächster Generation physischer KI-Technologien zu beschleunigen.
Öffentlich zugängliche Informationen deuten darauf hin, dass mehrere Automobilhersteller und Hersteller von Automatisierungsgeräten bereits mit internen Tests von Projekten begonnen haben, die auf Cosmos 3 basieren. Zu den potenziellen Implementierungsszenarien gehören die Entwicklung humanoider Roboter, Simulationen des autonomen Fahrens, industrielle visuelle Inspektion und die Erstellung realistischer digitaler Inhalte.