论文总字数：32196字

摘 要

近年来，教学录播系统的普及为教育教学分析提供了大量真实的教学数据。而传统的教学行为分析方法需要耗费大量人力物力，且评判标准不一。为了解决这些问题，本文设计了一个针对教学视频中学生行为检测的算法，从而更有效地分析课堂的教学效果，为教学者提供关于课堂内容和教学方式的建议。

本文主要研究了将深度学习的方法应用到教学视频中学生行为的检测上，主要检测学生的站立、举手动作。针对教室场景及学生行为的特点，本文提出了一个基于神经网络的目标检测算法，通过端到端训练，实现了对教学视频中学生行为的检测。在目标检测网络的选取上，研究了几种主流的目标检测框架并对比了实验结果，综合考虑精度及速度，选用Mask RCNN作为目标检测网络；在图片特征的提取上，根据本文研究的教室场景特点，用ResNet-101和FPN结合作为特征提取的主干网络。

在真实的课堂视频上测试了本文提出的算法，实验结果表明本文提出的算法对于背景复杂、目标密集的教室场景下的学生行为可以进行有效的检测，检全率和准确率均在90%左右，且算法的可部署性较好，能够方便地应用于教室场景。

关键词：教学视频，学生行为检测，目标检测，神经网络

Abstract

In recent years, the popularity of classroom recording system has provided a large amount of real teaching data for educational analysis. The traditional analysis of teaching behavior requires many resources. To solve these problems, an algorithm is designed for the detection of student behavior in classroom videos, which can analyze the teaching effects more effectively, and provide teachers with suggestions on the contents and methods of teaching.

This paper mainly studies applying deep learning to the detection of student behavior in classroom videos, such as standing and raising hand. According to the characteristics of classroom scene and student behavior, an object detection algorithm based on neural network is proposed. Through end-to-end training, the detection of student behavior in classroom videos is realized. In the selection of object detection network, several popular object detection frameworks were studied, and the experimental results were compared. Taking account of accuracy and speed, Mask RCNN is selected as the object detection network. As for the network of extracting image features, the combination of ResNet-101 and FPN is used as feature extraction backbone network.

Experiments are conducted on real classroom videos. The experimental results show that the proposed method can detect student behaviors in classrooms effectively, despite the classroom has complex backgrounds and intensive objectives. And the detection recall and precision are high. Moreover, the method can be applied to real classroom easily.

KEY WORDS: classroom videos, student behavior detection, object detection, neural network

目录

摘要 I

Abstract II

第一章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 1

1.2.1 教学视频中学生行为的检测 1

1.2.2 卷积神经网络在计算机视觉中的应用 2

1.3 本文研究内容 2

1.4 文章结构安排 3

第二章 卷积神经网络模型 4

2.1 CNN的基本结构 4

2.1.1 卷积层 4

2.1.2 池化层 5

2.1.3 激活函数 5

2.1.4 全连接层 5

2.1.5 目标函数 6

2.2 卷积神经网络的基本过程 6

2.2.1 前向传播 6

2.2.2 反向传播 6

2.3 经典的卷积神经网络模型 6

2.3.1 AlexNet网络模型 7

2.3.2 VGG-Nets网络模型 7

2.3.3 Network-In-Network 8

2.3.4 GoogLeNet 8

2.3.5 深度残差网络 9

2.4 本章小结 10

第三章 基于卷积神经网络的目标检测 10

3.1 基于手工特征的经典目标检测算法 10

3.1.1 HOG检测器 10

3.1.2 可变形部件模型 10

3.2 基于CNN的目标检测算法 11

3.2.1 R-CNN 11

3.2.2 SPPNet 11

3.2.3 Fast RCNN 12

3.2.4 Faster RCNN 12

3.2.5 R-FCN 14

3.2.6 FPN 14

3.2.7 Mask RCNN 15

3.2.8 YOLO系列 16

3.2.9 SSD 16

3.2.10 RetinaNet 17

3.3 目标检测中的技巧 17

3.3.1 数据增强 17

3.3.2 多尺度训练 17

3.3.3 预测框表决投票 17

3.3.4 在线困难样本挖掘 18

3.3.5 软化非极大值抑制 18

3.4 本章小结 18

第四章 学生行为检测算法的实现和实验结果 18

4.1 实验场景和应用环境 18

4.2 实验所使用的数据集 19

4.3 学生行为的检测算法 20

4.3.1 算法结构 20

4.3.2 网络训练 21

4.4 算法实验结果分析 21

4.4.1 算法评价指标 22

4.4.2 实验结果 22

4.5 本章小结 24

第五章 总结与展望 25

5.1 本文工作总结 25

5.2 未来工作展望 25

参考文献 28

第一章 绪论

剩余内容已隐藏，请支付后下载全文，论文总字数：32196字