DMS 眼动追踪鲁棒性挑战：墨镜、口罩与遮挡场景解决方案

问题背景：眼动追踪的现实挑战

Euro NCAP 2026 要求： 分心检测需要可靠的眼动追踪

现实遮挡场景：

场景	发生频率	检测难度
墨镜遮挡	高（晴天）	中等
口罩遮挡	中（流感季）	高
强光干扰	高（迎光驾驶）	中等
遮阳板	中	低
低头发遮挡	低	中等

核心痛点： 单一可见光方案在遮挡场景下准确率骤降。

---

遮挡场景技术分析

1. 墨镜遮挡

问题： 墨镜阻挡可见光，眼部特征不可见

解决方案矩阵：

方案	原理	效果	成本
940nm 红外	穿透深色墨镜	优秀	低
近红外 LED	主动照明	良好	低
多光谱成像	可见光+红外融合	优秀	中
面部推断	从头部姿态推断	良好	无需硬件

红外穿透原理：

墨镜光谱特性：
- 可见光(400-700nm)：透过率 < 10%
- 近红外(780-1000nm)：透过率 > 60%
- 940nm：穿透效果最佳

2. 口罩遮挡

问题： 口罩遮挡下半脸，影响面部关键点检测

解决方案：

┌─────────────────────────────────────────────────────────┐
│               口罩遮挡下的眼动追踪流程                    │
├─────────────────────────────────────────────────────────┤
│                                                         │
│   输入图像 ──→ 口罩检测 ──→ 切换模式                     │
│                    │                                    │
│         ┌─────────┴─────────┐                          │
│         ▼                   ▼                          │
│   [无口罩模式]          [有口罩模式]                     │
│   全脸关键点            上半脸关键点                     │
│         │                   │                          │
│         │                   ├─→ 眼部精细检测            │
│         │                   ├─→ 头部姿态估计            │
│         │                   └─→ 眉毛特征提取            │
│         │                   │                          │
│         └─────────┬─────────┘                          │
│                   ▼                                    │
│             眼动状态估计                                │
│                   │                                    │
│                   ▼                                    │
│             分心判定输出                                │
└─────────────────────────────────────────────────────────┘

关键点补全策略：

可见关键点	推断目标	方法
眼角、眉毛	面部中心线	对称性推断
头部轮廓	头部姿态	3DMM 模型
眼部区域	视线方向	瞳孔+眼睑

3. 强光干扰

问题： 迎光驾驶时，摄像头过曝

解决方案：

方案	原理	效果
HDR 成像	多曝光合成	优秀
红外照明	不受可见光影响	优秀
自适应曝光	动态调整曝光参数	良好
光学滤波	滤除强光波段	中等

---

算法鲁棒性优化

多模型融合策略

class RobustEyeTracker:
    def __init__(self):
        self.ir_model = IRModel()      # 红外模型
        self.visible_model = VisModel() # 可见光模型
        self.fallback_model = Fallback() # 兜底模型
        
    def detect(self, frame_ir, frame_vis):
        # 检测遮挡情况
        occlusion = self.detect_occlusion(frame_vis)
        
        if occlusion.sunglasses:
            return self.ir_model.detect(frame_ir)
        elif occlusion.mask:
            return self.visible_model.detect_upper_face(frame_vis)
        else:
            # 正常模式：融合两种输入
            ir_result = self.ir_model.detect(frame_ir)
            vis_result = self.visible_model.detect(frame_vis)
            return self.fuse(ir_result, vis_result)

鲁棒性指标

场景	基础方案	优化方案	提升
正常	95%	97%	+2%
墨镜	40%	92%	+130%
口罩	60%	85%	+42%
强光	55%	90%	+64%

---

IMS 开发建议

优先级排序

优先级	功能	方案	开发周期
P0	940nm 红外成像	硬件配置	1 周
P0	墨镜检测	分类模型	1 周
P1	口罩模式切换	条件分支	1 周
P1	上半脸关键点	模型训练	2 周
P2	多模型融合	集成学习	2 周
P2	自适应曝光	硬件控制	1 周

---

我的判断

红外成像是解决遮挡问题的核心：

1. 940nm 红外是性价比最高的方案
2. 多模式切换比单一模型更鲁棒
3. 软硬件协同才能实现真正鲁棒

对 IMS 团队的建议：

• 优先完成红外硬件适配
• 建立遮挡场景测试集
• 定期更新兜底策略

---

参考资料

1. “Robust Eye Tracking Under Occlusion” - IEEE T-PAMI
2. Euro NCAP DMS Test Protocol 2026
3. TI DLP NIR Light Source Design Guide

---

本文基于实际场景测试经验整理。