常用的视频动作识别算法

一、传统方法（基础参考，已较少用于主流场景）

• HOG+SVM/BoW：
  • 原理：将视频帧拆分为块，提取HOG（方向梯度直方图） 描述空间纹理，结合光流（Optical Flow） 描述运动，再用BoW（词袋模型） 聚合特征，最后用 SVM 分类。
  • 适用场景：简单动作（如 “走”“跑”）、低分辨率视频，如早期监控行为检测。
  • 局限：对遮挡、复杂背景鲁棒性差，无法捕捉长时运动依赖。
• Dense Trajectories（密集轨迹）：
  • 原理：跟踪视频中密集采样的局部轨迹，提取轨迹上的 HOG、光流、颜色等特征，用 Fisher 向量编码后分类。
  • 优势：在 UCF101（101 类动作）上曾达到 81.4% 准确率，是 2013 年前后的 SOTA。
  • 局限：计算复杂度极高，无法实时处理。

二、基于 CNN+RNN 的经典方法（平衡时空特征）

• Two-Stream CNN（双流网络）：
  • 核心思想：分 “空间流” 和 “时间流” 并行提取特征，再融合分类：
    • 空间流：输入 RGB 帧，用 2D CNN（如 AlexNet）提取物体形状、纹理等空间特征；
    • 时间流：输入光流场（如 TV-L1 光流），用相同 CNN 提取运动特征；
  • 性能：在 UCF101 上准确率 88.0%，HMDB51（51 类动作）上 62.5%，奠定了深度学习动作识别的基础。
  • 局限：需预计算光流，耗时且存储成本高；RNN 对长视频的时间依赖捕捉有限。
• C3D（3D Convolutional Networks）：
  • 突破：首次将 2D 卷积扩展为3D 卷积（同时滑动在空间维度和时间维度），端到端学习时空特征，无需预计算光流。
  • 结构：用 3×3×3 卷积核（空间 3×3，时间 3 帧），在 Kinetics-400（400 类动作）上准确率 65.4%。
  • 局限：3D 卷积参数量大（比 2D CNN 多 3 倍），计算效率低，难以处理长视频。

三、主流 3D CNN 变体（高精度首选）

• I3D（Inflated 3D CNN）：
  • 改进：将 2D CNN（如 Inception-v1、ResNet）的卷积核 “膨胀” 为 3D（如 2D 3×3→3D 3×3×3），同时调整池化层为 3D，复用 2D CNN 的预训练权重。
  • 性能：在 Kinetics-400 上准确率 74.2%（Inception-v1 backbone），在 UCF101 上 94.1%，精度远超 C3D。
  • 优势：兼容 2D 预训练，收敛快；支持多尺度输入，对复杂动作鲁棒。
  • 适用场景：视频分析、行为识别（如监控中的 “跌倒检测”）、体育赛事动作分类。
• SlowFast Networks：
  • 核心设计：分 “慢流” 和 “快流” 处理时空特征，兼顾精度与效率：
    • 慢流（Slow Pathway）：低帧率采样（如 16 帧取 1 帧），用 3D CNN 提取高分辨率空间特征（关注 “是什么动作”）；
    • 快流（Fast Pathway）：高帧率采样（如 16 帧取 8 帧），用轻量化 3D CNN 提取低分辨率时间特征（关注 “动作如何变化”）；
  • 性能：在 Kinetics-400 上准确率 79.0%，Kinetics-600 上 83.0%，在 AVA（原子动作检测）数据集上 mAP 35.9%。
  • 优势：比 I3D 快 2 倍，比 C3D 快 10 倍，是当前高精度 + 高效率的首选方案。
  • 适用场景：实时视频监控、影视动作分析、自动驾驶中的行人动作识别。
• X3D（Expanded 3D CNN）：
  • 创新：在 SlowFast 基础上，通过 “深度、宽度、分辨率、帧率、 kernel 大小”5 个维度联合扩展网络，用更小参数量实现更高精度。
  • 性能：X3D-L 在 Kinetics-400 上准确率 85.2%，参数量仅 6.7M（比 SlowFast 小 8 倍），计算量仅 12.7 GFLOPs。
  • 优势：极致的 “精度 - 效率比”，支持移动端和边缘设备部署。
  • 适用场景：资源受限的实时动作识别（如手机端健身动作纠正）、嵌入式监控设备。

四、基于 Transformer 的方法（长视频与复杂动作）

• TimeSformer（Time-Space Transformer）：
  • 原理：将视频拆分为 “时空块”（如 T 帧 ×H×W 图像→T×N 个 16×16 块，N 为每帧块数），用 Transformer 的自注意力计算任意块之间的时空关联。
  • 注意力模式：支持 5 种模式（如空间注意力、时间注意力、时空注意力），灵活捕捉不同维度的依赖。
  • 性能：在 Kinetics-400 上准确率 79.8%，在长视频数据集（如 Something-Something V2）上表现优于 3D CNN。
  • 优势：对长时动作（如 “做饭”“修车”）的依赖捕捉更精准。
• Video Swin Transformer：
  • 改进：将 2D Swin Transformer（窗口自注意力）扩展到视频，引入时空窗口自注意力（同时在空间窗口和时间窗口内计算注意力），减少计算量。
  • 性能：Video Swin-B 在 Kinetics-400 上准确率 84.9%，Kinetics-600 上 87.1%，AVA 数据集 mAP 44.5%，是当前 Transformer 类方法的 SOTA。
  • 优势：兼顾长距离依赖和局部细节，对遮挡、视角变化鲁棒。
  • 适用场景：复杂场景动作识别（如多人交互动作）、医学视频分析（如手术动作分类）。

五、轻量化与实时方法（边缘设备部署）

• MobileNet3D：
  • 原理：将 2D MobileNet 的深度可分离卷积扩展为 3D（空间深度可分离 + 时间深度可分离），大幅减少参数量和计算量。
  • 性能：MobileNetV2-3D 在 UCF101 上准确率 89.5%，计算量仅 2.3 GFLOPs，比 C3D 小 20 倍。
  • 适用场景：手机端动作识别（如健身 APP 实时纠正动作）、智能手表的手势识别。
• EfficientNet3D：
  • 创新：将 2D EfficientNet 的 “复合缩放”（深度、宽度、分辨率）扩展到 3D，同时缩放时间维度（帧率），实现精度与效率的最优平衡。
  • 性能：EfficientNet-B3-3D 在 Kinetics-400 上准确率 78.4%，计算量 8.4 GFLOPs，比 I3D 快 3 倍。
  • 优势：开箱即用的轻量化方案，支持 TensorRT 加速，适合边缘计算。

六、算法选型决策树

七、常用数据集与性能对比

总结一下下

• 高精度首选：X3D（平衡精度与效率）、Video Swin Transformer（复杂动作 / 长视频）；
• 实时部署首选：SlowFast（监控场景）、MobileNet3D/EfficientNet3D（移动端 / 边缘设备）；
• 经典 baseline：I3D、Two-Stream（学术研究入门）。

实际应用中，需结合硬件资源（GPU/CPU/ 边缘芯片）、视频长度、动作复杂度选择算法，并通过 TensorRT、ONNX Runtime 等工具加速推理。