如今智能摄像机的组成及其硬件技术已然相对稳定和完善，要最终实现智能摄像机的监控任务和智能技术还必须要软件功能的密切配合，高效率的视频编解码技术及其高效的计算机视觉算法是智能摄像机的核心技术，为摄像机实现智能分析任务提供了重要的技术保障。从视频采集到智能结果结构化输出主要包含：运动目标提取、运动目标跟踪、运动目标归类和运动目标行为分析及其结构化描述等步骤，下面就一一介绍。

1.运动目标提取

运动目标提取是智能分析的准备工作，根据这个工作摄像机能够从图像序列中将变化区域从背景区域中提取出来，运动目标的高效提取将大大减少后续过程的运算量，对于后期的目标识别和行为分析具有重要意义，当前比较主流的方式有背景减除法、时间差分法和光流法，最经典的全局光流场计算方法是L-K (Lueas&Kanada)法和H-S(Hom&Schunck)法。

2.运动目标跟踪

运动目标的追踪，即根据目标的高效表现，在图像序列中找到与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的高效表现除了对运动目标建模外，目标跟踪中常用到的目标特性表现主要包含：视觉特征(图像边缘、轮廓、外形、纹理、区域)、统计特征(直方图、各种矩特征)、变换系数特征(傅里叶描绘子、自回归模型)、代数特征(图像矩阵的奇异值分解)等。除了采用单一特征外，也可根据融合多个特征来提升追踪的可靠性，当前主流的方式有：根据区域匹配追踪算法、根据轮廓匹配追踪算法、根据特征匹配追踪算法。

3.运动目标归类

运动目标归类，顾名思义，从检测到的运动区域中将特定类型的物体提取出来，比如归类场景中的人、车辆、人群等不同的目标。当前比较主流的方式有根据运动特性的归类和根据外形信息的分类。

4.运动目标行为分析

行为分析是智能摄像机的重要目标之一，也是视频监控在维护公共安全中的重点难点问题。行为分析涉及计算机视觉、模式识别、人工智能等多个领域。它是在对视频图像序列进行低级处理的基础上，根据分析处理监控场景的图像、视频，获取监控场景的信息或场景中运动目标的信息，进一步研究图像中各目标的性质及其相互之间的联系，从而得出对客观场景的解释和高层次的语义描述，经常借助于神经网络和决策树来进行行为分析。