据北京听力协会预估数据，我国听障人群数量已过千万。而在全球范围内有4.66亿人患有残疾性听力损失，约占全世界人口的5%。聋哑人士很特殊，他们需要使用手语进行交流，其他与常人无异，我国存在特殊教育水平在各城市中发展力度具有较大差异，国家通用手语推广程度浅，但不懂手语，与听力障碍者交流会非常困难。
在本篇内容中，ShowMeAI 借助深度学习与神经网络技术，针对这个问题从 0 构建 1 个应用程序，检测手语并将其翻译给其他人进而打破手语隔阂。
搭建和部署完成后，你可以通过摄像头，轻松测试模型，如下图所示，快来一起试试吧。这个动图中的手势代表的单词，见文末哦！
我们先来简单了解一下手语，它由 3 个主要部分组成：
- 手指拼写：这是一种手动的交流方式，用双手和手指拼写单词。每个字母都用指定的手位置表示。
- 单词级符号词汇：这是一个大型视频数据集，用于识别单词或字母的整个手势。
- 非手部特征：包括任何面部表情、嘴巴、舌头或身体姿势。
在本文中，我们先解决第①个部分的问题。我们准备使用的解决方案是基于视觉数据的神经网络
人工智能和计算机视觉的最典型的模型是卷积神经网络（CNN），它在典型的计算机视觉应用中（如图像识别、目标检测等）应用广泛。我们在本次应用的核心技术也将采用 CNN。
CNN 网络有着如上图所示的网络结构，典型的结构包括卷积层、池化层、激活层、全连接层等，对于输入图像，可以有效抽取图像内容表征，并进行分类或其他处理。卷积层等特殊结构，可以在控制参数量的前提下，保证良好的图像特征提取能力。
我们来构建一个 CNN 识别的流程，会分成以下基础步骤：
- 数据读取与切分
- 数据可视化及预处理
- CNN网络构建与训练
我们在这里主要使用 TensorFlow 构建网络与训练，会使用 Numpy 做数据计算与处理，以及使用 Matplotlib 进行简单可视化。
我们先把这些工具库导入。
本数据集为手语字母对应的数据集，图片 size 不大，所以也叫做 sign_mnist 数据集（类比手写数字数据集 mnist），部分示例图片如下
下面我们加载训练集与测试集并切分特征与标签：
我们使用 TensorFlow 的 high level API（即keras）搭建一个简易CNN神经网络，并拟合一下数据
我们这里在全量数据集上迭代20个轮次，结果如下：
我们可以看到，这里的数据并不特别复杂，在自己从头搭建的 CNN 模型上，经过训练可以达到训练集 100% 验证集 92% 的准确率。
我们再对训练过程中的「准确率」及「损失函数」变化值进行绘制，以了解模型状态。
一般来说，随着 CNN 网络层数变深，模型的学习能力会变强，也能学到更多的信息。但训练深度CNN存在梯度消失的问题。
非常深的神经网络的梯度会很快变为零（反向传播的梯度连乘带来的问题），这最终会使整个梯度下降变慢。有一些特殊结构的神经网络，可以大程度缓解这个问题，比如最著名的 ResNet，当然，大家可以借助 ResNet 预训练模型快速迁移学习应用在我们当前的手语识别问题上，为了让大家对ResNet 细节更清晰，我们在这里手动搭建 ResNet-50（即50层的ResNet网络）来训练和做效果对比。
ResNet 是 Residual Networks 的简称，是迄今为止我们看到的最流行和最成功的深度学习模型之一。ResNets 由残差块组成，残差块的核心组件是『跳跃连接/skip-connection』。跳跃连接，也称为快捷连接，让神经网络跳过某些层并将一层的输出馈送到神经网络中另一层的输入。它能帮助模型避免乘以中间跳过的那些层的权重，从而有助于解决梯度消失的问题。
然而，使用 ResNet 和跳跃连接，由于中间有卷积层和池化层，一层输出的维度可能与另一层的输出维度不同。为了解决这个问题，可以使用两种方法：
- 快捷连接填充多个零实体以增加其维度
- 添加 1X1 卷积层来匹配维度。
但是，对于第二种方法，我们需要在输出中添加一个额外的参数，而第一种方法不需要。
ResNet的效果核心有2点：
- ① 它使用我们上面提到的跳跃连接，它跳过层来解决梯度消失的问题。
- ② 它通过让模型学习恒等函数来确保最高层的性能至少与最低层一样好。
下面我们参考 keras 官方 ResNet 构建方式，构建一个 ResNet-50，如下所示，我们先构建基本模块，再组装成最终的网络。
下面我们在数据集上，使用 ResNet-50 网络进行训练
得到如下结果
我们对ResNet-50也绘制训练过程中准确率和损失函数的变化，如下
对比图如下：
我们观察到，从简单的 CNN 模型换到 ResNet 模型时，测试集的准确率从92% 到 97% 。也说明了，ResNet 的结构确实能够带来效果上的提升。
在这里我们做一个简单的测试，使用 OpenCV 的视频录制功能，通过 python 收集我们的摄像头的镜头采集的图像并进行实时预测。
ShowMeAI给OpenCV工具库制作了快捷即查即用的 OpenCV 速查表手册，大家可以点击查看和下载。
具体的过程是，我们解析捕获的每一帧图像，将其处理为灰度图（类似于我们模型的训练集），在图像中心抓取一个 400*400 像素的正方形区域（参见 x0,x1,y0,y1），将正方形调整为我们最初的 28x28 大小并使用我们的模型进行测试（之前保存到 .h5 文件）。
为了更轻松地对预估结果查看，我们把将预测的字母显示在实时画面上（请参阅下面的 gif 以测试单词 hello）。
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/rfx/74073.html