上周，被誉为AI行业风向标的英伟达 GTC 2025方才落幕，此次勾当吸引全球上万名AI从业者加入，空前火爆。黄仁勋正在长达两小时的Keynote中颁布发表了英伟达正在6G通信、量子计较、AI超算、仿实等板块的沉磅结构。此中最惹人瞩目的，是压轴登场的Newton物理引擎——通过迪士尼机械人Blue的demo，这是Physical AI的环节根本设备。而支持Newton甚至整个仿实生态的底层力量，恰是黄仁勋称为公司宝藏的CUDA-X库。黄仁勋称其为横跨30年堆集的公司宝藏，包含350个库，笼盖从芯片设想到AI锻炼的所有行业。为了展现CUDA-X的能力，黄仁勋播放了一段震动的纯视频demo，正在具身智能部门，Boston Dynamics、Apptronik、Agility Robotics、Sanctuary AI等国际机械人巨头悉数登场。然而正在这份全明星阵容中，呈现了一家仿实公司——光轮智能(Lightwheel)。取其他展现机械人本体的公司分歧，展现的是光轮和英伟达Newton合做——机械臂精准叠衣服的高保实物理仿实场景。这不是简单的客户案例展现，而是做为Newton平台能力的一部门被呈现。Newton本身是英伟达将CUDA-X这一公司宝藏为Physical AI出产力的环节平台，它把机械人研发从耗时数月的手工做坊升级为只需数天的超等工场，能同时运转数百万个高保实仿实。但这座超等工场要高效运转，需要一个前提：海量、高保实的仿实合成数据。光轮智能不只为Newton供给大规仿照实合成数据，是晚期采用者取焦点验证者，深度参取Newton底层物理引擎的优化，构成深度配合开辟关系。此外，光轮做为Omniverse和Isaac Sim的计谋合做伙伴，供给高保实SimReady仿实合成数据，还配合开辟策略锻炼框架，并取英伟达结合打制Isaac Lab Arena下一代策略评估平台。就正在上月初，英伟达Omniverse & Physical AI产物营销高级总监、黄仁勋之女Madison Huang的曲播首秀，对话嘉宾恰是光轮智能创始人兼CEO谢晨，两人环绕若何通过高保实SimReady仿实合成数据缩小Sim-to-Real鸿沟、鞭策机械人从仿实落地展开深切对话。而耐人寻味的是，就正在这场曲播的前一天，斯坦福李飞飞传授取英伟达Jim Fan正在BEHAVIOR Challenge曲播中亦谈到仿实的挑和，李飞飞婉言：仿实取现实之间存正在实正在鸿沟，需要从仿实端缩小这一鸿沟。学术之问，财产做答。正在Madison取谢晨一个半小时的中，干货满满，梳理了以下主要概念：当前，具身智能成长的最底子瓶颈恰是高质量物理交互数据的极端稀缺。现实世界的数据采集成本昂扬、效率低下且难以规模化，这严沉了机械人进修复杂操做技术的能力。面临现实数据的瓶颈，仿实合成数据是独一能供给近乎无限规模、且自带切确标注的锻炼数据的处理方案。它通过仿实模仿来生成数据，是冲破数据供给瓶颈的焦点径。仿实合成数据要阐扬感化，必需处理“仿实到现实”的迁徙难题。其焦点正在于仿实世界必需严酷遵照实正在世界的物理纪律，确保正在仿实中学到的技术正在现实中同样无效，而不只仅是视觉逼实。英伟达的终极方针是成为“物理AI”时代的根本设备。其焦点需求是打制一个基于OpenUSD和高机能求解器（如Newton）的“数字物理世界”，做为生成高保实仿实合成数据的终极工场。光轮智能已霸占线缆操做等圣杯级手艺难题。这一手艺冲破取贸易验证的双沉成绩，配合印证了仿实合成数据方案的可行性取成熟度。掌管人Edmar：Madison，能跟我们稍微透露一下，英伟达和光轮智能的合做是怎样起头的吗？Madison：凡是来说，就算你从英伟达去职了，我们也会想法子“找回来”，让你继续和英伟达合做——我感觉我们的合做大要就是这么起头的。其实英伟达内部有良多项目，从底子上就需要光轮智能的支撑。好比我们的 GEAR Lab 尝试室，正正在开辟 GR00T 端到端模子；还有西雅图机械人尝试室，他们正在做良多“接触稠密型拆卸”和大量细密抓取使命。这些工做都需要海量数据。而我常常听到我们物理 AI 机械人团队的同事们埋怨：“狂言语模子（LLM）的研发人员太‘幸运’了，由于他们有整个互联网的海量数据能够用来预锻炼模子，但机械人范畴的研发人员只妙手动采集数据。所以英伟达需要一个处理方案，而我们仿实手艺就是谜底。也需要能和英伟达正在“Open USD 做为仿实资产数据根本”这一愿景上告竣共识的伙伴。所以光轮智能的呈现，能够说是“恰逢当时”——就正在英伟达最需要如许一个合做伙伴的时候，你们创立了公司。谢晨：2023年的时候，我们怀着“处理机械人范畴更弘大问题”的设法创立了光轮智能。其时和从动驾驶部分的同事有过合做。之后，光轮又起头和 GEAR Lab 尝试室，以及Omniverse团队展开合做。现正在，我们还和 Cosmos 团队有合做。所以感受现正在光轮几乎和英伟达的各个相关团队都有协做。谢晨：“仿实到现实”（Sim-to-Real）的焦点，就是让机械人正在仿实中进修到的能力，可以或许间接摆设到现实世界中——但正如Madison所说，这其实是一件很是坚苦的事。成心思的是，从动驾驶仿实反而是相对容易处理的，由于它次要依赖视觉数据；但对于机械人来说，一切都和“物理接触”相关，焦点是“操做能力”。所以机械人范畴的问题要复杂得多。而现正在，机械人范畴的焦点挑和转向了“物理层面”，物理求解器（physics solver）成了环节。但成心思的是，良多人提到仿实时，只会想到“求解器”，却忽略了“仿实场景取设备”的主要性。若是“原材料”（即仿实合成资产数据）不合错误，也无法生成高质量的数据。Madison：从动驾驶汽车是自从机械人的首个具象化产品。从动驾驶汽车的焦点使命，素质上是“不触碰任何物体”；但对于其他类型的机械人来说，它们的使命恰好是“触碰各类物体”。所以我感觉，现正在仿实手艺的主要性比以往任何时候都更高。谢晨：（展现冰箱仿实案例）它的环节不正在于“看起来实正在”，而正在于“物理属性取现实高度分歧”。好比冰箱门的合页、关节布局、磁吸闭合安拆——当你拉开冰箱门时，能感遭到磁吸的感化力；抽屉滑动时，还能模仿出分歧的摩擦力。这些物理属性都颠末了精准还原。我们现实上利用了大量物理设备采集实正在物体的物理参数，再将这些参数植入“仿实资产”中，同时还会通过特定方式对比现实取仿实中的感化力，确保两者尽可能婚配。别的，这些仿实设备不只要“精准”，还要“计较高效”。好比碰撞检测——我们做了大量优化，能极大提拔计较效率，让单块 GPU 就能同时运转成百上千个仿实。掌管人Edmar：你们不久前正在 SIGGRAPH 上就展现过这个，对吧？那次不雅众反映很成心思——现场堆积了全球最顶尖的图形仿实研究人员，但他们大多专注于文娱、逛戏、内容创做和视觉特效范畴。我出格赏识光轮正在 Siggraph 展台上开创性地展现机械人仿实手艺，你们实的震动了那些 VFX 专家。我看到良多人正在你们展台前驻脚好久，体验你们正在笔记本电脑上运转的多个 Isaac Sim 实例——那实的令人印象深刻。谢晨：完全同意。我也很是感激英伟达正正在将 SIGGRAPH 如许的嘉会引向 Physical AI 范畴。Musta：我想弥补一下，你能够看到上图这个微波炉的物理参数曲线图——通过仿实，我们能确保仿实合成数据取实正在世界高度婚配，Sim-to-Real 差距能够缩到很是小。但能够做到很是接近。谢晨：完全同意，光轮会用物理设备采集现实物体正在分歧标的目的、分歧的感化力数据，同时正在仿实中设置对应的传感器采集感化力数据；之后通过大量随机采样和对比，确保两者的曲线趋向分歧。如前所述，我们不需要曲线完全沉合，由于我们要的是“数字同类体(Digital Cousins)”而非（严酷意义的）“数字孪生 (Digital Twins)”，我们需要通过“仿实资产”的多样性生成海量数据。谢晨：我们“数据”（Data Pyramid）模子。要让物理 AI 实正落地到现实世界，需要耗损海量数据——以至比狂言语模子所需的数据量还要大，而“数据瓶颈”是当前最大的妨碍。现实世界的数据无法完全冲破这一瓶颈。所以我们必需依赖仿实合成数据——仿实合成数据将成为冲破物理 AI 数据瓶颈的最主要、最焦点的数据来历。Madison：我完全同意。我们经常提到“数据”，但现正在越来越多的人认识到，仿实合成数据正在所无数据中的占比将达到极高的程度。由于强化进修（reinforcement learning）和各类后续锻炼过程，都将大量依赖仿实合成数据。目前，人类已有的学问大多已数字化并存储正在互联网上；但将来，仿实合成数据的规模必将远超现有互联网数据。谢晨：完全认同。特别是你提到的强化进修——仿实手艺正在这一范畴将阐扬至关主要的感化。现实世界的数据很难构成“闭环”，无法支撑大规模强化进修；但仿实中的仿实合成数据，能够成为大规模强化进修的焦点数据来历。同时，若是我们进一步细分仿实合成数据的类型。我将仿实合成数据分为两大类：第一类是物理仿实驱动的仿实合成数据（Physics Simulation Driven Synthetic Data）——这类数据最接近物理世界，物理精度最高，但相对来说多样性无限、规模较小。这就是通过物理仿实器生成的仿实合成数据。第二类是世界模子驱动的仿实合成数据（World Model Driven Synthetic Data）——好比 Cosmos。这类数据的多样性要大得多，可扩展性也强得多。它的输入能够是物理仿实驱动的仿实合成数据，然后通过世界模子加强生成更大规模的仿实合成数据集。我们发觉，操纵 Cosmos 来加强物理仿实合成数据，可以或许生成更多高质量数据，为客户供给更好的预锻炼支撑。一个很好的案例就是 GR00T——英伟达的 Gear 根本模子，它同时操纵了实正在世界数据集、光轮的仿实合成数据，以及 Cosmos 加强后的数据，最终锻炼出了一个顶尖的根本模子。这充实展现了世界模子正在满脚仿实合成数据愿景中的强大能力。谢晨：电缆仿实是个难点，由于电缆既具有“可变形性”，又正在必然程度上具备“刚体属性”。我们做了大量研发，确保能精准模仿电缆的物理形态。我们取 Newton 团队配合开辟了电缆仿实的求解器，同时研发了对应的“仿实资产”。Madison：这对英伟达来说也尤为主要，由于我们的制制流程很是复杂——好比每台 NVL72 办事器机架都需要 2 英里长的铜线电缆。这类工做对人类来说既单调又有风险，我们但愿让机械人来完成，所以电线、电缆的仿实能够说是机械人范畴的“圣杯”级难题。谢晨：完全同意。并且电缆仿实还需要连系触觉传感器——比若有些电缆插入插头的操做，需要触觉反馈才能实现更精准的操控。如上图这个“衣物折叠”的案例：左侧是物理求解器的结果，左侧是 Newton 求解器的结果。我经常听到有人说“仿实无法模仿衣物折叠”，但现实上我们的系统曾经能模仿大量衣物，并为客户采集了海量衣物折叠的锻炼数据——这也是目前所无机器人公司都正在霸占的难题。目前，公司客户大致分为三类：第一类是教育机构和尝试室，专注具身智能前沿研发；第二类是大型科技公司，引领机械人根本模子研发；第三类是工业场景企业，有大量使用场景并自从研发机械人系统。Madison：我想弥补一句：光轮智能能和这些行业顶尖企业合做 —— 好比Figure、银河通用、智元机械人、比亚迪还有Deepmind——这本身就证了然你们的工做质量和前瞻性，特别是正在 “仿实资产” 和 “仿实合成数据普及” 方面的开创性工做。谢晨：借帮英伟达的手艺和我们本人的研发流程，光轮智能曾经实现了“仿实资产”制做流程的工业化——好比制做一个冰箱的仿线 分钟。这么快的缘由正在于，我们的焦点思是“将现无数字设备为仿实资产”，而不是“从零起头制做”。目前全球曾经有大量数字设备，只是这些设备不具备“仿实停当”的属性。我们通过工业化流程，快速将这些现有设备为物理属性精准的仿实资产。Madison：这是个好问题，我们其实曾经起头和一些设备制制商合做了。我们，将来每一家制制商正在交付实体设备时，都该当同步供给对应的数字设备——由于将来所有工场城市有本人的“数字孪生 （Digital Twins）”，每一家出产实体产物的工场，城市配套扶植“AI 工场”，而“数字孪生”就运转正在“AI 工场”中。谢晨：目前我们正取英伟达的Isaac Sim团队合做，开辟Isaac Lab Arena——这是下一代基准测试、评估、数据采集和大规模强化进修的框架取平台。谢晨：We have reached a moment，现正在仿实手艺曾经脚够成熟，能够实现良多工作。良多人可能对仿实还有疑虑，感觉精度不敷、能力无限——但现实上，我们曾经向客户和全世界证明，通过仿实器共同高质量的仿实资产，我们可以或许支撑全球前五名的机械人根本模子完成锻炼并摆设到实正在世界。所以我但愿大师对仿实手艺有决心，它曾经处理了良多问题。我们需要所有人一路勤奋，让仿实手艺愈加成功，从而实正冲破物理 AI 的数据瓶颈。Musta：我们经常收到的一个问题是：该当用哪个仿实器或框架？ 我的是：从你要处理的问题出发，反向推导——看哪个框架和仿实器最适合这个使命。若是现有东西无法完满满脚需求，因为良多仿实引擎和求解器都是开源的，你完全能够本人开辟插件或改良求解器。即便编程技术无限，花些时间也能实现方针。