基于 Bi-LSTM 的多类型特征融合驾驶员疲劳识别方法

针对传统的基于驾驶员面部图像采集的单一类型特征的疲劳识别方法，在阴影遮挡及光照变化场景下存在准确性、鲁棒性不足的问题，深入开展基于多类型特征融合的驾驶员疲劳识别方法研究。在分析非图像化的驾驶员疲劳特征的基础上，通过机器人操作系统 （Robot Operating System， ROS）的话题订阅来实现驾驶员生理特征、操作行为特征及面部特征的多源数据同步采集。处理原始数据并分析数据特性，提出了一种融合生理特征与驾驶员及观测者主观评价的数据标注策略，标注疲劳特征，构建驾驶员疲劳数据集；将驾驶员操作行为特征与面部特征融合，形成多类型特征融合序列，并基于双向长短时记忆 （Bi-directional Long Short-Term Memory，Bi-LSTM）网络，构建多类型特征融合的疲劳识别模型；通过单一类型特征与多类型特征对比试验、不同场景对比试验证明，基于Bi-LSTM的多类型特征融合识别方法的准确率和鲁棒性较单一类型特征识别方法均有明显提升，能在各种场景下更好地识别驾驶员的疲劳状态。