当前位置：首页 > 编程日记 > 正文

女朋友啥时候怒了？Keras识别面部表情挽救你的膝盖

编程日记 2024-12-18 02:20:00

640?wx_fmt=png

作者 | 叶圣

出品 | AI科技大本营（ID:rgznai100）

【导读】随着计算机和AI新技术及其涉及自然科学的飞速发展，整个社会上的管理系统高度大大提升，人们对类似人与人之间的交流日渐疲劳而希望有机器的理解。计算机系统和机械人如果需要像生物那样具备解读和传达感情的战斗能力，将彻底转变人与计算机系统两者之间的的关系，使计算机系统需要更佳地为生物公共服务。表情识别是感情解读的根基，是计算机系统解读人们感情的必要，也是人们探寻和解读人工智能的有效途径。

图片表情识别是所指从等价的动态影像或静态录像中的分离出来特定的眼神稳定状态，从而确认被辨识单纯的认知焦虑，构建计算机系统对图片眼神的解读与辨识，彻底转变人与计算机系统的的关系，从而超过更佳的嵌入式。因此，图片表情识别在精神病学、智能机器人、人工智能监视、虚拟实境及制备动画电影等各个领域有相当大的潜在应用于商业价值。

面部表情识别技术是最近几十年来才发展起来的，由于面部表情的生态环境和复杂性，并且涉及生物化学及心理学，表情识别不具备较大的趣味性，因此，与其它生物识别技术如辨识、虹膜识别、人脸识别等相比发展状况较慢，运用于还不广泛。但是表情识别对于操作系统却有重要的潜力，因此国内外很多研究中心、政府机构及学者致力于这方面的研究，并己经取得了一定的成果。

那么下面我们将用Keras搭建面部表情识别的模型。

首先准备数据集，如图所示：

640?wx_fmt=png

将图片放在不同的文件夹下，文件夹名字就为他的标签名。

下面将建立神经网络代码。

首先导入需要使用的库：

from keras.models import Sequential
from keras.layers import Conv2D,MaxPool2D,Activation,Dropout,Flatten,Dense
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator,img_to_array,load_img
from keras.models import load_model

下面为了充分利用数据集，对图片加入一些裁剪等方面操作：

train_datagen = ImageDataGenerator(rotation_range = 40,     # 随机旋转度数width_shift_range = 0.2, # 随机水平平移height_shift_range = 0.2,# 随机竖直平移rescale = 1/255,         # 数据归一化shear_range = 20,       # 随机错切变换zoom_range = 0.2,        # 随机放大horizontal_flip = True,  # 水平翻转fill_mode = 'nearest',   # 填充方式
)

下面是网络层的搭建，利用卷积神经网络，下面每段代码有注释：

添加一个卷积层，传入固定宽高三通道的图片，以32种不同的卷积核构建32张特征图，

卷积核大小为3*3，构建特征图比例和原图相同，激活函数为relu函数。

model.add(Conv2D(input_shape=(IMG_W,IMG_H,3),filters=32,kernel_size=3,padding='same',activation='relu'))

再次构建一个卷积层

model.add(Conv2D(filters=32,kernel_size=3,padding='same',activation='relu'))

构建一个池化层，提取特征，池化层的池化窗口为2*2，步长为2。

model.add(MaxPool2D(pool_size=2,strides=2))

继续构建卷积层和池化层，区别是卷积核数量为64。

model.add(Conv2D(filters=64,kernel_size=3,padding='same',activation='relu'))
model.add(Conv2D(filters=64,kernel_size=3,padding='same',activation='relu'))
model.add(MaxPool2D(pool_size=2,strides=2))

继续构建卷积层和池化层，区别是卷积核数量为128。

model.add(Conv2D(filters=128,kernel_size=3,padding='same',activation='relu'))
model.add(Conv2D(filters=128,kernel_size=3,padding='same',activation='relu'))
model.add(MaxPool2D(pool_size=2, strides=2))model.add(Flatten()) #数据扁平化
model.add(Dense(128,activation='relu')) #构建一个具有128个神经元的全连接层
model.add(Dense(64,activation='relu')) #构建一个具有64个神经元的全连接层
model.add(Dropout(DROPOUT_RATE)) #加入dropout，防止过拟合。
model.add(Dense(CLASS,activation='softmax')) #输出层

接下来是训练和保存的代码：

model.fit_generator( #模型拟合train_generator,  #训练集迭代器steps_per_epoch=len(train_generator), #每个周期需要迭代多少步（图片总量/批次大小=11200/64=175）epochs=EPOCHS, #迭代周期validation_data=test_generator, #测试集迭代器validation_steps=len(test_generator) #测试集迭代多少步)
model.save('{}.h5'.format(SAVE_PATH)) #保存模型

然后预测显示我们的代码：

image = load_img("56.jpg")
image = image_change(image)
img=cv2.imread("56.jpg")
img_PIL = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
myfont = ImageFont.truetype(r'C:/Windows/Fonts/simfang.ttf', 40)
draw = ImageDraw.Draw(img_PIL)
draw.text((300, 10), label[model.predict_classes(image)][0], font=myfont, fill=(200, 100, 0))
img_OpenCV = cv2.cvtColor(np.asarray(img_PIL), cv2.COLOR_RGB2BGR)
cv2.imshow('frame', img_OpenCV)
cv2.waitKey(0)

如果要调用摄像头就是这样的代码：

cap = cv2.VideoCapture(0)
while True:_,frame = cap.read()bg = "temp.png"cv2.imwrite(bg,frame)image = load_img("temp.png")#plt.imshow(image)image = image_change(image)img=cv2.imread("temp.png")img_PIL = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
myfont = ImageFont.truetype(r'C:/Windows/Fonts/simfang.ttf', 40)
draw = ImageDraw.Draw(img_PIL)
draw.text((300, 10), label[model.predict_classes(image)][0], font=myfont, fill=(200, 100, 0))
img_OpenCV = cv2.cvtColor(np.asarray(img_PIL), cv2.COLOR_RGB2BGR)
cv2.imshow('frame', img_OpenCV)
key = cv2.waitKey(1) & 0xFFif key == ord("q"):break

最终输出我们的实验效果：

640?wx_fmt=png

由此可见其模型基本准确。

下面简单介绍表情识别的重要性和发展。

20世纪70至90年代，澳大利亚神经学Ekman 和 Friesen对人的表情识别做出了开创性的探索。Ekman定义了生物体的6种表情状态：喜欢 (Love)、生气(Angry)、惊讶 (Surprise)、忧虑(In)、厌恶(Disgust)和悲伤(Sad)，证实了识别表情类别；其次是创立了面部动作编码系统（Facial Freedom Control System，FACS），使研究者按照该系统，将一系列照片的动作分为两组（Freedom Services，AU）来描述照片面部动作，通过照片风格和表情的的关系，进而检测照片面部细微表情。

1978年，Suwa等人对一段视频进行了照片表情识别的最初处理，引发了一系列在照片和视频表情方面工作的展开。到七十年代至九十年代，随着图像处理与神经网络技术的蓬勃发展，使得照片表情识别的计算机自动化处理变得可能，G Mase和 A Pentland是其中的奠基人。二人首先用光流强度处理，然后提取多处宽敞中的光流值，包含表情特征向量，最后利用表情特征向量构建照片表情辨识。该系统可以识别愧疚、恼怒、不满和吃惊4种表情，识别率接近80%。

1997年，哈尔滨工业大学的教授领导团队将照片表情识别的资料引入国内。

2003年，上海交通大学的王志良教授领导的团队，将照片表情识别算法应用于机器人的情感掌握研究中，并发表了2002年以来照片表情识别蓬勃发展情况的论文。2004年，浙江大学的吴文明讲师在面部表情识别方面，明确指出了基于表情识别的发展方向。最近几年，关于表情识别的项目数总体上呈现增长趋势。清华大学、中国工程院、南京大学、天津交通大学、上海交通大学、哈尔滨工业大学、浙江大学、南京大学、国家重点实验室、南开大学等多所学校和研究机构和政府机构参与了照片表情识别相关课题的研究。

虽然照片表情识别的商业运用于还停滞不前，但是国内外研究机构、政府机构和企业都在不尽相同的领域进行研究，部分论文早就取得了专利。因此表情识别的研究具备很大的研制潜力。

（*本文为 AI科技大本营投稿文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

12月6-8日，深圳！2019嵌入式智能国际大会，集聚500+位主流AIoT中坚力量，100+位海内外特邀技术领袖！9场技术论坛布道，更有最新芯片和模组等新品展示！点击链接或扫码，输入本群专属购票优惠码CSDNQRSH，即可享受6.6折早鸟优惠，比原价节省1000元，学生票仅售599元。

640?wx_fmt=png

女朋友啥时候怒了？Keras识别面部表情挽救你的膝盖

推荐阅读

相关文章：

提高C++性能的编程技术笔记：构造函数和析构函数+测试代码

swim 中一行代码解决收回键盘

WinAPI: SetRect 及初始化矩形的几种办法

Windows10上使用VS2017编译OpenCV3.4.2+OpenCV_Contrib3.4.2+Python3.6.2操作步骤

swift 跳转网页写法

智能边缘计算：计算模式的再次轮回

WinAPI: 钩子回调函数之 SysMsgFilterProc

提高C++性能的编程技术笔记：虚函数、返回值优化+测试代码

ICCV 2019 | 无需数据集的Student Networks

oc中特殊字符的判断方法

理解 Delphi 的类(十) - 深入方法[23] - 重载

玩转ios友盟远程推送，16年5月图文防坑版

提高C++性能的编程技术笔记：临时对象+测试代码

北美欧洲顶级大咖齐聚，在这里读懂 AIoT 未来！

c# 关闭软件进程杀死进程

提高C++性能的编程技术笔记：单线程内存池+测试代码

【Swift】 GETPOST请求网络缓存的简单处理

深度CTR预估模型的演化之路2019最新进展

2015大型互联网公司校招都开始了，薪资你准备好了嘛？

提高C++性能的编程技术笔记：多线程内存池+测试代码

iOS中几种定时器

手把手教你使用Flask轻松部署机器学习模型（附代码链接） | CSDN博文精选

JQuery遮罩层

代码覆盖测试工具Kcov简介及使用

Google148亿元收购Fitbit，抢占苹果、三星可穿戴设备市场地盘

ios关于用xib创建的cell 自动返回cell的高度问题！

西门子PLC学习笔记二-（工作记录）

Swift 3.0 预告：将 Objc 库转换成更符合 Swift 语法风格的形式

非对称加密算法RSA公钥私钥的模数和指数提取方法

数据库“新解”，看这里，get！