合成数据在 DMS 中的应用：Seeing Machines × Devant 合作案例

发布时间： 2026-03-11 22:45
关键词： 合成数据、DMS、Seeing Machines、数据增强

---

问题：DMS 的长尾场景困境

传统 DMS 数据采集的痛点：

场景	数据量	采集难度
正常驾驶	充足	低
疲劳驾驶	中等	中等
极端疲劳	稀缺	高
酒驾/药物影响	极稀缺	极高
罕见人群（罕见病、极端外貌）	极稀缺	极高

长尾场景定义： 单个发生频率低，但集合起来占比可观，且往往是事故高发场景。

---

解决方案：合成数据

Seeing Machines × Devant 合作

2024 年 7 月，Seeing Machines 宣布与合成数据公司 Devant 合作：

• 目标： 加速 DMS 神经网络训练
• 方法： 计算机生成的”数字人类”数据
• 优势： 可控、可扩展、覆盖长尾场景

合成数据特点

特性	真实数据	合成数据
采集成本	高	低
标注成本	高	自动生成
场景多样性	受限	无限可能
长尾覆盖	稀缺	可定制生成
隐私合规	需授权	无隐私问题

---

Anyverse 方案

Anyverse 提供物理级合成数据生成：

3D 场景建模 → 光学仿真 → 传感器仿真 → 合成图像
     ↓            ↓           ↓
  多样化环境   真实光照    IR/RGB 模拟

可定制维度

• 人物多样性： 年龄、性别、种族、发型、面部特征
• 装备多样性： 眼镜、墨镜、口罩、帽子
• 环境多样性： 光照、背景、时间
• 状态多样性： 疲劳程度、情绪、眼动模式

---

合成数据的 DMS 应用场景

1. 罕见行为训练

场景	合成数据优势
极端疲劳（几乎无法睁眼）	可生成大量样本
酒驾微表情	无需真实酒驾数据
罕见疾病面容	覆盖医学罕见场景
异常头部姿态	极端角度覆盖

2. 跨人群公平性

合成数据生成：
├── 多肤色（Fitzpatrick I-VI）
├── 多年龄段（18-80岁）
├── 多性别特征
└── 多面部形态（眼镜、胡须、妆容）

目标： 消除 DMS 在特定人群上的性能差异。

3. 遮挡鲁棒性

遮挡类型	合成数据覆盖
墨镜	多种款式、镜片颜色
口罩	多种类型、颜色
帽子	多种样式、遮挡角度
手部遮挡	多种姿态

---

合成数据流程

1. 场景定义
   └─ 定义需要增强的场景（如"戴墨镜的疲劳驾驶员"）

2. 参数化生成
   └─ 设置参数范围（墨镜类型、疲劳程度、光照条件）

3. 批量渲染
   └─ 生成数千到数万张图像

4. 自动标注
   └─ 标签自动生成（眼动、疲劳等级、遮挡类型）

5. 模型训练
   └─ 与真实数据混合训练

6. 验证测试
   └─ 在真实数据上验证泛化能力

---

对 IMS 的启示

近期可做

1. 评估合成数据工具

   • Anyverse、Unity Perception、NVIDIA Omniverse
   • 选择适合 DMS 场景的工具

2. 验证合成数据效果

   • 生成 1-2 个长尾场景数据
   • 对比真实数据 vs 合成数据训练效果

中期规划

1. 建立合成数据流水线

   • 自动化生成 + 标注
   • 与真实数据混合训练

2. 覆盖 IMS 长尾场景

   • 手机使用误报场景
   • 手势识别混淆场景
   • 身高分类边界样本

数据配比建议

数据类型	建议比例
真实数据	60-70%
合成数据	30-40%

注意： 合成数据过多可能导致 Domain Gap，需要 Domain Adaptation 技术。

---

行业趋势

公司	合成数据应用
Seeing Machines	Devant 合作，DMS 训练
Anyverse	DMS 验证数据生成
Waymo	自动驾驶场景生成
Tesla	仿真训练自动驾驶

---

总结

合成数据是 DMS 突破长尾困境的关键：

1. 降低采集成本 - 罕见场景无需实地采集
2. 提升泛化能力 - 覆盖更多人群和场景
3. 加速开发周期 - 快速迭代训练
4. 保障隐私合规 - 无真实人脸数据

IMS 应将合成数据纳入数据战略，优先验证效果后规模化应用。

---

参考：Seeing Machines - Incorporating synthetic data in driver monitoring development (2024)