怎么用Python实现驾驶员疲劳检测

这篇文章主要讲解了“怎么用Python实现驾驶员疲劳检测”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么用Python实现驾驶员疲劳检测”吧！

先决条件

该Python项目需要一个网络摄像头，用于捕获图像。您需要在系统上安装Python(建议使用3.6版)，然后使用pip安装所需的软件包。

• OpenCV – 使用pip安装opencv-python(面部和眼部检测)。

• TensorFlow – 使用pip安装tensorflow(keras使用TensorFlow作为后端)。

• Keras – 使用pip安装keras(建立分类模型)。

• Pygame – 使用pip安装pygame(播放警告提示音)。

数据集

需要创建用于此模型的数据集。为创建数据集，我们编写了一个脚本来捕获摄像机中的人眼图像并将其存储在本地磁盘中，将人眼图像分为“睁开”或“闭合”状态两类，通过删除构建模型不需要的图像来手动清理数据。

数据包括大约7000张在不同光照条件下的人眼图像。在数据集上训练模型后，我们附加了最终权重和模型结构文件“models  /cnnCat2.h6”。现在，你可以使用此模型按人眼睁开还是闭合对图像进行分类。

模型结构

我们使用的模型是Keras通过卷积神经网络(CNN)构建的。卷积神经网络是一种特殊类型的深度神经网络，在图像分类方面表现非常出色。

CNN基本上由一个输入层、一个输出层和一个可以包含多个层的隐藏层组成。通过过滤器在这些层上执行卷积运算，该滤波器在层和过滤器上执行2D矩阵乘法。

CNN模型结构包括以下几层：

• 卷积层;32个节点，内核大小为3

• 卷积层;32个节点，内核大小为3

• 卷积层;64个节点，内核大小为3

• 完全连接层;128个节点

最后一层也是具有2个节点的完全连接层。在所有层中，除了使用Softmax的输出层外，均使用Relu激活函数。

Python项目进行驾驶员疲劳检测的步骤

从zip下载python项目源代码并提取系统中的文件：Python项目Zip文件。

zip的目录为：

1.“haar级联文件/ cascade files”文件夹包含从图像中检测对象所需的xml文件。在本案例中，需要检测人脸和人眼。

2.模型文件夹包含我们的模型文件“cnnCat2.h6”，该文件是在卷积神经网络上进行训练的。

3.我们有一段音频“alarm.wav”，用于在驾驶员昏昏欲睡时播放。

4.“Model.py”文件包含一个程序，通过该程序对数据集进行训练来构建分类模型。您可以从此文件中了解卷积神经网络的执行情况。

5.“Drowsinessdetection.py”是本项目的主要文件。开始检测时，我们必须要运行此文件。

接下来。让我们逐步了解该算法是怎么工作的。

第1步-从相机中获取图像作为输入

使用网络摄像头获取图像作为输入。为了访问网络摄像头，我们进行了无限循环以捕获每一帧。我们使用OpenCV提供的方法cv2.VideoCapture(0)来访问摄像机并设置捕获对象(cap)。cap.read()将读取每一帧，并将图像存储在帧变量中。

第2步-检测图像中的脸部并创建一个感兴趣区(ROI)

为了检测图像中的人脸，首先需要将图像模式转换为灰度，因为用于对象检测的OpenCV算法需要输入灰度图像。因此无需颜色信息即可检测物体。

我们将使用haar级联分类器来检测人脸。通过face  =cv2.CascadeClassifier('抵达haar级联xml文件的路径')设置分类器，然后使用faces  =face.detectMultiScale(gray)执行检测。进而产生带有x、y坐标以及高度(对象边界框的宽度)的检测数组。现在我们可以迭代这些脸并为每张人脸绘制边界框。

for (x,y,w,h)in faces:cv2.rectangle(frame,(x,y), (x+w, y+h), (100,100,100), 1 )

第3步-从ROI中检测人眼并将其输入分类器

检测人脸的过程也同样适用于检测人眼。

首先，我们分别在leye和reye中为眼睛设置级联分类器，然后使用left_eye  =leye.detectMultiScale(gray)来检测人眼。现在，我们只需要从完整图像中提取出人眼数据即可。这可以通过提取眼睛的边界框来实现，然后可以使用此代码从帧中提取眼睛图像。

l_eye =frame[ y : y+h, x : x+w ]

l_eye仅包含左眼的图像数据。这将被输入到CNN分类器中，该分类器将预测眼睛是处于睁开还是闭合状态。同样，我们将右眼的数据提取到r_eye中。

第4步-分类器将按睁开或闭合对眼睛进行分类。

使用CNN分类器预测眼睛状态。因为模型需要从正确的维度开始，因此将图像输入模型之前需要执行一些操作。

首先，使用r_eye = cv2.cvtColor(r_eye，cv2.COLOR_BGR2GRAY)将彩色图像转换为灰度图像。

然后，由于模型是在24 * 24像素的图像上测试，需要将图像也调整为24 * 24像素：

cv2.resize(r_eye，(24,24))。我们将数据标准化以实现更好的收敛性：r_eye = r_eye/  255(所有值都在0-1之间)。扩展维度以输入到分类器中。使用model = load_model(‘models /  cnnCat2.h6’)来加载模型。

现在我们用模型预测每只眼睛的状态：lpred =model.predict_classes(l_eye)。如果lpred [0]=  1，则说明眼睛是睁开的;如果lpred [0]= 0，则说明眼睛是闭合的。

第5步-计算分数判断驾驶员是否处于疲劳状态

分数基本上是一个值，用于确定驾驶员闭眼的时长。因此，如果双眼都闭合，得分将不断增加，而双眼睁开时，得分将降低。使用cv2.putText()函数在屏幕上绘制结果，该函数将显示驾驶员的实时状态。

cv2.putText(frame,“Open”, (10, height-20), font, 1, (255,255,255), 1, cv2.LINE_AA )

阈值由以下方法确定：例如，如果得分大于15意味着该驾驶员闭眼时间较长，则阈值为15。此时，我们将使用sound.play()发出警报。

主要文件的源代码如下：

import cv2 import os fromkeras.models importload_model import numpy asnp from pygameimport mixer import time mixer.init() sound =mixer.Sound('alarm.wav') face =cv2.CascadeClassifier('haar cascade files/haarcascade_frontalface_alt.xml') leye =cv2.CascadeClassifier('haar cascade files/haarcascade_lefteye_2splits.xml') reye =cv2.CascadeClassifier('haar cascade files/haarcascade_righteye_2splits.xml') lbl=['Close','Open'] model =load_model('models/cnncat2.h6') path =os.getcwd() cap = cv2.VideoCapture(0) font =cv2.FONT_HERSHEY_COMPLEX_SMALL count=0 score=0 thicc=2 rpred=[99] lpred=[99]

while(True):     ret, frame = cap.read()     height,width = frame.shape[:2]     gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)     faces =face.detectMultiScale(gray,minNeighbors=5,scaleFactor=1.1,minSize=(25,25))     left_eye = leye.detectMultiScale(gray)     right_eye = reye.detectMultiScale(gray)     cv2.rectangle(frame, (0,height-50) ,(200,height) , (0,0,0) , thickness=cv2.FILLED )     for (x,y,w,h) in faces: cv2.rectangle(frame,(x,y) , (x+w,y+h) , (100,100,100) , 1 )     for (x,y,w,h) in right_eye:         r_eye=frame[y:y+h,x:x+w]         count=count+1         r_eye =cv2.cvtColor(r_eye,cv2.COLOR_BGR2GRAY)         r_eye = cv2.resize(r_eye,(24,24))         r_eye= r_eye/255         r_eye= r_eye.reshape(24,24,-1)         r_eye = np.expand_dims(r_eye,axis=0)         rpred = model.predict_classes(r_eye)         if(rpred[0]==1):             lbl='Open'         if(rpred[0]==0):             lbl='Closed'         break     for (x,y,w,h) in left_eye:         l_eye=frame[y:y+h,x:x+w]         count=count+1         l_eye = cv2.cvtColor(l_eye,cv2.COLOR_BGR2GRAY)         l_eye = cv2.resize(l_eye,(24,24))         l_eye= l_eye/255         l_eye=l_eye.reshape(24,24,-1)         l_eye = np.expand_dims(l_eye,axis=0)         lpred = model.predict_classes(l_eye)         if(lpred[0]==1):             lbl='Open'         if(lpred[0]==0):             lbl='Closed'         break     if(rpred[0]==0 and lpred[0]==0):         score=score+1        cv2.putText(frame,"Closed",(10,height-20), font,1,(255,255,255),1,cv2.LINE_AA)     # if(rpred[0]==1 or lpred[0]==1):     else:         score=score-1        cv2.putText(frame,"Open",(10,height-20), font,1,(255,255,255),1,cv2.LINE_AA)     if(score<0):         score=0    cv2.putText(frame,'Score:'+str(score),(100,height-20), font,1,(255,255,255),1,cv2.LINE_AA)     if(score>15):         #person is feeling sleepy so we beepthe alarm        cv2.imwrite(os.path.join(path,'image.jpg'),frame)         try:             sound.play()         except: # isplaying = False             pass         if(thicc<16):             thicc= thicc+2         else:             thicc=thicc-2             if(thicc<2):                 thicc=2        cv2.rectangle(frame,(0,0),(width,height),(0,0,255),thicc)     cv2.imshow('frame',frame)     if cv2.waitKey(1) & 0xFF == ord('q'):         break cap.release() cv2.destroyAllWindows()

Python项目示例

开始项目，查看项目运作情况。要启动该项目，需要打开命令提示符，转到主文件“  drowsinessdetection.py”所在的目录。使用如下命令运行脚本。

python“drowsiness detection.py”

可能需要几秒钟来打开网络摄像头并开始检测。

示例截图：

感谢各位的阅读，以上就是“怎么用Python实现驾驶员疲劳检测”的内容了，经过本文的学习后，相信大家对怎么用Python实现驾驶员疲劳检测这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！