Driver-Net：多摄像头融合评估自动驾驶接管准备度

发布时间： 2026-03-11 22:55
关键词： 接管准备度、L3 自动驾驶、多摄融合、Euro NCAP

---

背景：L3 级自动驾驶的接管难题

L3 级自动驾驶定义：系统在特定条件下完全控制车辆，但驾驶员必须随时准备接管。

核心问题：

• 驾驶员在 L3 模式下可能”脱离状态”（看电影、睡觉、玩手机）
• 当系统请求接管时，驾驶员需要多长时间恢复？
• 如何评估驾驶员是否”准备好接管”？

---

Driver-Net 解决方案

2025 年 arXiv 论文提出 Driver-Net：

核心思路

多摄像头输入 → 驾驶员状态评估 → 接管准备度评分
     ↓                ↓                  ↓
  面部摄像头        眼动/姿态          0-100%
  手部摄像头        手部位置
  身体摄像头        坐姿/活动

多摄架构

摄像头	视角	检测内容
DMS 主摄	面部	眼动、疲劳、分心
侧向摄	手部	手部位置、是否握方向盘
广角摄	身体	坐姿、活动状态

---

接管准备度评分

评分维度

维度	权重	检测指标
眼动状态	30%	视线方向、眨眼频率
头部姿态	20%	是否朝向前方
手部位置	25%	是否握方向盘
身体姿态	15%	坐姿是否正常
活动状态	10%	是否在执行其他任务

评分输出

接管准备度评分（Take-Over Readiness Score）：

90-100%：完全就绪
    └── 驾驶员注意力在道路，手握方向盘

70-90%：部分就绪
    └── 驾驶员眼睛朝前，但手不在方向盘

50-70%：轻度脱离
    └── 驾驶员偶尔看其他方向

30-50%：中度脱离
    └── 驾驶员在看手机或其他活动

0-30%：严重脱离
    └── 驾驶员睡觉或完全分心

---

与 Euro NCAP 的契合

2024-2026 GSR 要求

要求	Driver-Net 支持
无响应驾驶员检测	✅ 多摄融合检测
接管准备度评估	✅ 核心功能
智能干预策略	✅ 评分驱动的分级响应

Euro NCAP Driver Engagement

Driver-Net 的评分可直接用于：

接管请求时机决策：
├── 高准备度（>80%）：正常接管请求
├── 中准备度（50-80%）：提前警告 + 延长接管时间
├── 低准备度（<50%）：强烈警告 + 降低车速
└── 无响应（<20%）：紧急停车（MRM）

---

技术架构

┌────────────────────────────────────────────┐
│              多摄像头输入层                  │
├──────────────┬──────────────┬──────────────┤
│   面部摄      │    手部摄     │    身体摄     │
│  (眼动/姿态)  │  (位置/活动)  │  (坐姿/状态)  │
└──────┬───────┴──────┬───────┴──────┬───────┘
       │              │              │
       └──────────────┼──────────────┘
                      ↓
              ┌───────────────┐
              │  特征融合网络   │
              │  (Transformer) │
              └───────┬───────┘
                      ↓
              ┌───────────────┐
              │  准备度预测头   │
              │   (0-100%)    │
              └───────────────┘

---

对 IMS 的启示

近期可做

1. 评估当前 DMS 对接管准备度的支持

   • 现有眼动检测是否能满足 L3 接管评估？

2. 补充手部检测能力

   • 手部位置检测（是否握方向盘）
   • 手部活动检测（是否在玩手机）

中期规划

1. 多摄融合架构

   • 设计 DMS + 手部摄 + 身体摄融合方案
   • 实现接管准备度评分

2. 与 ADAS 域控制器对接

   • 输出接管准备度评分
   • 支持分级接管请求

数据需求

数据类型	用途
L3 接管场景数据	训练接管准备度预测
手部位置数据	手部检测模型训练
多摄同步数据	融合网络训练

---

行业趋势

厂商	接管准备度方案
Waymo	多摄 + 脑电备选
Tesla	方向盘电容传感器 + 视觉
Mercedes	L3 Drive Pilot 内置 DMS
Volvo	EX90 双 IR 摄 + 雷达

---

总结

接管准备度是 L3+ 自动驾驶的核心安全需求：

1. 多摄融合 - 单一摄像头信息不足
2. 综合评分 - 眼动 + 手部 + 身体融合
3. 分级响应 - 根据准备度调整干预策略
4. 法规驱动 - Euro NCAP 2026 明确要求

IMS 应提前布局接管准备度评估能力，为 L3 级自动驾驶做好准备。

---

参考：arXiv - Driver-Net: Multi-Camera Fusion for Assessing Driver Take-Over Readiness in Automated Vehicles (2025)