概述
Virtual Teardown Assistant 将实时 3D 数据与 LLM 相结合,实现基准测试过程的自动化。
用例
使用精确的3D图像渲染进行AI驱动的车辆部件分析。
解决方案
Unity Asset Manager、Unity 管道自动化、Unity Asset Transformer SDK
客户
宝马集团
在汽车工程不断发展的格局中,了解错综复杂的产品细节并优化每个组件比以往任何时候都更为关键。传统上,这需要物理检查,这种方法需要大量资源、耗时且难以扩展
但是,如果你可以拆卸汽车的零部件,而从来没有接触过扳手呢?
这是驱使Dr.宝马集团发展战略部门人工智能驱动活动的技术项目负责人萨沃·阿萨宁(Savo Asanin)寻找更好的方法。任务很明确:通过对零部件进行严格的技术分析来比较设计理念。
通过与 Unity 合作,Savo 和他的团队已经超越了物理限制。他们创建了虚拟拆卸助手,这是一种将实时3D数据与大型语言模型(LLM)相结合的新工具,用于自动化设计概念比较和基准测试过程。在本案例研究中,我们听取了 Savo 和 Unity 高级软件开发顾问 Daniel Bierwith 是如何创建的。
从物理限制到数字可扩展性
萨沃解释说,宝马集团的部件分析多年来严重依赖人工检测。工程师对零件进行物理检查或搜索数据库以查找所需信息。这种方法奏效了,但需要耗费大量资源、耗费大量时间且难以扩展。
挑战不在于缺乏数据;宝马拥有海量的CAD数据存储库。面临的挑战是无障碍和口译。比较车辆各代不同部件的几何形状需要大量劳动力。
宝马集团3D矿山的基础就在这里。正如我们在之前关于宝马资产管理解决方案的故事中详细介绍的那样,3D Mine 是一个集中的解决方案,有助于在整个组织内实现 3D 数据访问的民主化。
在基本层面上,Virtual Deardown Assistant 在此基础上构建,并添加了一层智能自动化。
目标是创建一个工具,可以比较汽车部件的几何形状,以自动找到潜在的改进 - 并以高可扩展性实现这一点,让机器完成分析部件的重任。
机房:Unity Asset Manager 和管道自动化
要构建 Virtual Deardown Assistant,您需要的不仅仅是一个 3D 模型;您需要一个能够理解它正在看什么的系统。
工作流程从复杂的CAD数据开始,通常是整个车辆模型。该系统使用Unity Asset Manager和管道自动化系统,将车辆分解为座位或制动系统等组成系统。
正如萨沃所解释的那样,工作流程是取一个CAD模型,将其分解成各个部分,对它们进行颜色编码,然后在编辑器中将它们与白色背景“拍照 ” 。所有这些都是自动发生的。
Unity 的企业解决方案大放异彩:
- 3D Mine,由 Unity Asset Manager 提供支持:作为真相的唯一来源,检索选定的3D模型和相关元数据文件。
- 管道自动化:处理重物。它基于数据隔离零件,分解视图,使每个螺钉和支架都可见,并呈现高质量的图像以供分析。
生成的图像与包含关键元数据(如零件号和尺寸)的物料清单(BOM)一起输入到LLM中。AI"查看"爆炸视图,读取数据,并提供工程分析,确定减轻重量、节约成本或大规模功能改进的机会。
迄今为止,令人惊讶的洞察力和显著的成本节约
当团队首次推出概念验证 (POC) 时,他们不确定 AI 如何处理可视化数据。
萨沃的团队不确定会有什么预期,但他们对模型在有限的几何信息下工作得如何愉快感到惊讶。它产生了宝贵的见解,并了解几何。该团队已经在优先系统上看到了积极的成果。
这种效率的影响是巨大的。通过跨不同系统的整车管路自动化,宝马正在提高效率,实现更快的工程分析。
在整个组织内推出 Virtual Deardown Assistant 使团队能够更快速、更一致地比较概念、设计和供应商解决方案。这支持更快的基准测试,并帮助工程师在开发早期确定最有前途的选项。
协作创新
Virtual Deardown Assistant的成功凸显了宝马集团与Unity之间不断深化的企业关系。它不仅仅是购买软件,而是共同开发解决方案。
Savo 的团队与 Unity 密切合作构建了此解决方案,可以直接从 Unity 面向客户的团队获得技术专业知识。这就产生了一个易于上马的平台,在高质量可视化零件方面的性能正是团队所希望的。
对于宝马的最终用户,即做出关键设计决策的工程师来说,后端的复杂性是看不见的。他们看不到Unity解决方案,如资产变压器SDK转换文件或在后台运行的管道自动化脚本。POC 的反馈绝大多数是积极的,团队渴望在广泛的车辆部件上使用该工具。

示例显示汽车模型上下文中的标记系统。宝马集团的礼遇
技术深潜:虚拟拆卸助手如何构建
好奇这个变革性工具是如何产生的?Unity 高级软件开发顾问 Daniel Bierwith 将在下一节中详细介绍使 Virtual Teardown Assistant 栩栩如生的体系结构、技术和工程方法。
基本组件
Virtual Teardown Assistant 由 Unity Asset Manager 提供支持,这是一个可扩展的平台,可简化详细爆炸渲染的创建。通过自动化API直接连接到LLM管道,系统可以毫不费力地传输输出数据。
该解决方案的核心是 Unity Pipeline Automation,这是一个低代码接口,可链接系统、转换数据并大规模更新 3D 内容。管道在灵活群集上的虚拟机中运行,可由事件、计划或按广告需求/广告主触发。有关详细信息,请参阅下面的附录。
Unity Asset Transformer SDK 支持 70 多种 3D 和 CAD 文件格式,加快了这一过程。它可以处理摄取、优化和标准化,从而轻松地将素材资源集成到任何实时 3D 工作流中。
一个集中的数字资产管理中枢(这里指宝马集团的3D矿山)使一切都井然有序,随时可以访问。团队可以在一个地方检索、管理和协作复杂的实时 3D 素材资源,从而加快制作速度,并创建可扩展的高质量数字体验。

输入数据上传到 Unity Asset Manager 以创建中央共享存储库,用于虚拟拆卸管道上的协作。宝马集团的礼遇
虚拟拆卸助手流水线步骤
Virtual Teardown Assistant 管道通过将自动化数据处理、可视化和人工智能驱动的见解相结合,简化了分析复杂 3D 工程模型的过程。
管道概述
当模型加载操作从 Unity Asset Manager/3D Mine 中检索 JT 格式的选定 3D 工程模型时,工作流开始。同时,加载系统筛选器文件,以隔离完整产品模型中的特定子系统。这两个动作都是通过图形管道接口配置的。
在典型的用例中,流水线处理超过多个 GB 的 JT 文件,这些文件包含具有数千个组件和数百万个多边形的完整工程模型。

管道步骤与资产检索和资产转换器执行隔离和呈现爆炸视图。
数据处理和转换
从 Asset Manager 加载模型后,管道将通过在配备 Asset Transformer SDK 的虚拟机上运行的自定义 Python 脚本执行主要处理任务。脚本加载完整的JT模型。Asset Transformer SDK 用于对数据集的发生应用过滤机制,以使用在上一个流水线步骤中从 CSV 文件导入的过滤表隔离相关的系统部件。
接下来,使用 SDK 算法提取和调整材料属性,为每个组件分配独特的颜色,以实现清晰的视觉区分。这是标记的发生表示,LLM 将与 BOM 和几何属性一起使用。

示例显示了在汽车模型上下文中标记的前轴系统。宝马集团的礼遇
孤立的组件使用自定义算法爆炸,该算法既考虑了层次关系,也考虑了几何关系。对于LLM的视觉分析,保持零件的适当分离并确保捕获相机能够清晰地看到它们是非常重要的。
管道界面允许应用程序将自定义设置作为爆炸应用,并渲染配方以根据产品和系统特性动态修改管道设置。
Asset Transformer SDK 提供云渲染功能,用于渲染作为处理管道一部分的系统已标记爆炸视图。生成的可视化数据可作为人类审查和人工智能分析的基础。

前轴系统的爆炸渲染示例。左图显示孤立系统,右图显示生成的爆炸视图。宝马集团的礼遇
数据导出和人工智能分析
此外,自定义脚本函数将 BOM 导出为包含所有系统组件元数据的 CSV 文件,并使用资产转换器 SDK 函数计算每次出现的几何特征。BOM 与渲染的爆炸视图一起存储在 3D Mine 中。

前保险杠系统的爆炸渲染示例。左图显示孤立系统,右图显示生成的爆炸视图。宝马集团的礼遇
人工智能组件接管了管道自动化接口向大型语言模型 (LLM) 发送 HTTP 请求,提供分解视图、BOM 和系统描述:
- 首先,流水线步骤通过将渲染的图像和请求正文中的 BOM 以及系统描述、LLM 指令和提示进行编码来创建 LLM 请求的有效载荷。
- LLM 对输入数据进行综合分析,并返回包含关键架构见解、材料和接合策略、可制造性评估、一阶性能 KPI 估计、具有置信度评级的假设以及设计改进建议的文本文件。

Virtual Teardown Assistant 管道步骤通过 API 建立到 LLM 管道的连接,方便管道输出数据的传输,无需手动干预。
结果和影响
最后一个流水线步骤将 AI 生成的基准报告并标记爆炸视图上传回资产管理器,为团队提供集中参考。这样可以在任何物理拆卸发生之前进行早期基准测试。
Virtual Teardown Assistant 管道可自动执行复杂的 CAD 处理和可视化任务,同时集成人工智能驱动的见解,为早期产品分析创建强大的工具。它结合了可扩展的管道自动化、实时渲染和高级 LLM 评估功能,可显著降低获得可操作的工程基准所需的时间和成本。
未来的道路
Virtual Deardown Assistant 当前已部署,并为高优先级系统提供一致的渲染。但萨沃和他的团队才刚刚开始。
在接下来的两年里,计划优化系统的规模,并将工具直接连接到宝马的内部系统,如他们的CAD存储库。这将允许从不同角度拍摄照片并专注于单个组件以提高质量的更精细的分析。Savo的团队了解到,将Vision算法与大型语言模型相结合是可扩展性的关键。
对于其他有意采用类似解决方案的公司,建议是明确的。挑选一个真正的问题,建立一个快速的POC,让结果说话。战略固然重要,但没有什么能说服一个组织喜欢看到它发挥作用。一旦影响明显,扩展就成为业务的拉动因素,而不是IT的推动因素。
通过利用Unity的生态系统,宝马集团不仅实现了汽车的可视化;他们还在教导机器理解汽车,推动汽车工程实现更智能、更快、更注重数据的未来。



