3D ResNet中相关论文的解读与模型测试
由于3DCNN在处理视频数据方面的良好性能,将3D卷积引入到ResNet网络中。对3D-ResNet在ActivityNet和Kinetics上进行训练,发现在ActivityNet上存在过拟合,但在大数据的Kinetics上的表现优于C3D等网络。
由于ImageNet中预训练的模型被广泛使用,作者希望模仿2DCNN预训练模型的成功之处,提供基于3DResNet的动力学预训练结果。
基于ResNet-18在各种数据集上的测试证明,只有18层的网络已经在少量数据集UCF101、HMDB-51、ActivityNet上拟合,在数据最丰富的Kinects上表现最好。如果想在UCF101这样的小数据集上获得更高的准确率,可以基于kinects预先训练好的模型进行微调。下图是在UCF101和HMDB-51上微调的结果: