视频处理

在计算机上播放和录制视频，可以将家庭电影复制到计算机，使用视频和音频剪贴工具进行编辑、剪辑、增加一些很普通的特效效果，使视频可观赏性增强，称之为视频处理。
传统电视(绿)与常见的电影画面长宽比例之比较长宽比（Aspect ratio）是用来描述视频画面与画面元素的比例。传统的电视萤幕长宽比为4:3（1.33:1）。HDTV的长宽比为16:9（1.78:1）。而35mm胶卷底片的长宽比约为1.37:1。
虽然电脑萤幕上的像素大多为正方形，但是数字视频的像素通常并非如此。例如使用于PAL及NTSC讯号的数位保存格式CCIR 601，以及其相对应的非等方宽萤幕格式。因此以720x480像素记录的NTSC规格DV影像可能因为是比较“瘦”的像素格式而在放映时成为长宽比4:3的画面，或反之由于像素格式较“胖”而变成16:9的画面。

AVI---AVI文件
AVI是音频视频交错(Audio Video Interleaved)的英文缩写，它是Microsoft公司开发的一种符合RIFF文件规范的数字音频与视频文件格式，原先用于Microsoft Video for Windows (简称VFW)环境，已被Windows 95/98、OS/2等多数操作系统直接支持。AVI格式允许视频和音频交错在一起同步播放，支持256色和RLE压缩，但AVI文件并未限定压缩标准，因此，AVI文件格式只是作为控制界面上的标准，不具有兼容性，用不同压缩算法生成的AVI文件，必须使用相应的解压缩算法才能播放出来。常用的AVI播放驱动程序，主要是Microsoft Video for Windows或Windows 95/98中的Video 1，以及Intel公司的Indeo Video。AVI文件主要应用在多媒体光盘上，用来保存电影、电视等各种影像信息，有时也出现在Internet上，供用户下载、欣赏新影片的精彩片断。
.MPEG/.MPG/.DAT---MPEG文件
MPEG文件格式是运动图像压缩算法的国际标准，它采用有损压缩方法减少运动图像中的冗余信息，同时保证每秒30帧的图像动态刷新率，已被几乎所有的计算机平台共同支持。MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分，前文介绍的MP3音频文件就是MPEG音频的一个典型应用，而Video CD (VCD)、Super VCD (SVCD)、DVD (Digital Versatile Disk)则是全面采用MPEG技术所产生出来的新型消费类电子产品。MPEG压缩标准是针对运动图像而设计的，其基本方法是：在单位时间内采集并保存第一帧信息，然后只存储其余帧相对第一帧发生变化的部分，从而达到压缩的目的，它主要采用两个基本压缩技术：运动补偿技术(预测编码和插补码)实现时间上的压缩，变换域(离散余弦变换DCT)压缩技术实现空间上的压缩。MPEG的平均压缩比为50∶1，最高可达200∶1，压缩效率非常高，同时图像和音响的质量也非常好，并且在微机上有统一的标准格式，兼容性相当好。
这里值得注意的是DIVX。DIVX视频编码技术可以说是一种对 DVD 造成威胁的新生视频压缩格式，也有人说它是 DVD 杀手，它由 Microsoftmpeg4 v3 修改而来，使用了MPEG4的压缩算法。同时它也可以说是为了打破 ASF 的种种协定而发展出来的。而使用这种据说是美国禁止出口的编码技术MPEG4 压缩一部 DVD 只需要 2 张 CDROM。这样就意味着读者不需要额外购买DVD光驱也可以得到和它差不多的视频质量。而且播放这种编码，对机器的要求也不高，CPU的最低额度只要求在300MHZ 以上，而且在CPU类型的选择方面，不论你的芯是PII、CELERON还是PIII、AMDK6/2、AMDK6III、ATHALON，就是CYRIXx86也可以统吃拿下。在配置上64 兆内存和一个 8兆显存的显卡上，DIVX便可以流畅的播放了。
.RA/.RM/.RMVB---RealVideo文件
RealVideo文件是RealNetworks公司开发的一种新型流式视频文件格式，它包含在RealNetworks公司所制定的音频视频压缩规范RealMedia中，主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的不同而采用不同的压缩比率，从而实现影像数据的实时传送和实时播放。RealVideo除了可以以普通的视频文件形式播放之外，还可以与RealServer服务器相配合，在数据传输过程中边下载边播放视频影像，而不必像大多数视频文件那样，必须先下载然后才能播放。Internet上已有不少网站利用RealVideo技术进行重大事件的实况转播。
RMVB影片格式比原先的RM多了VB两字，在这里VB是VBR（Variable Bit Rate--可变比特率）的缩写。在保证了平均采样率的基础上，设定了一般为平均采样率两倍的最大采样率值，在处理较复杂的动态影像时也能得到比较良好的效果，处理一般静止画面时则灵活的转换至较低的采样率，有效的缩减了文件的大小。
.MOV/.QT---QuickTime文件
QuickTime是Apple计算机公司开发的一种音频、视频文件格式，用于保存音频和视频信息，具有先进的视频和音频功能，被包括Apple Mac OS、Microsoft Windows 95/98/NT在内的所有主流电脑平台支持。QuickTime文件格式支持25位彩色，支持RLE、JPEG等领先的集成压缩技术，提供150多种视频效果，并配有提供了200多种MIDI兼容音响和设备的声音装置。新版的QuickTime进一步扩展了原有功能，包含了基于Internet应用的关键特性，能够通过Internet提供实时的数字化信息流、工作流与文件回放功能，此外，QuickTime还采用了一种称为QuickTime VR (简作QTVR)技术的虚拟现实(Virtual Reality， VR)技术，用户通过鼠标或键盘的交互式控制，可以观察某一地点周围360度的景像，或者从空间任何角度观察某一物体。QuickTime以其领先的多媒体技术和跨平台特性、较小的存储空间要求、技术细节的独立性以及系统的高度开放性，得到业界的广泛认可，已成为数字媒体软件技术领域的事实上的工业标准。国际标准化组织(ISO)选择QuickTime文件格式作为开发MPEG4规范的统一数字媒体存储格式。
.ASF/.WMV----MICROSOFT流媒体文件
Microsoft公司推出的Advanced Streaming Format (ASF，高级流格式)，也是一个在Internet上实时传播多媒体的技术标准，Microsoft公司的野心很大，希图用ASF取代QuickTime之类的技术标准。ASF的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、以及扩展性等。ASF应用的主要部件是NetShow服务器和NetShow播放器。有独立的编码器将媒体信息编译成ASF流，然后发送到NetShow服务器，再由NetShow服务器将ASF流发送给网络上的所有NetShow播放器，从而实现单路广播或多路广播。这和Real系统的实时转播则是大同小异。WMV又是一种独立于编码方式的在Internet上实时传播多媒体的技术标准，Microsoft公司希望用其取代QuickTime之类的技术标准以及WAV、AVI之类的文件扩展名。wmv的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性等。
.AVI(n AVI)
如果你发现原来的播放器突然打不开这种格式的avi文件了，那你就要考虑是不是碰到了nAVI。n AVI是 newAVI 的缩写，是一个名为 ShadowRealm 的地下组织发展起来的一种新视频格式。它是由 Microsoft ASF 压缩算法的修改而来的（并不是想象中的 AVI），视频格式追求的无非是压缩率和图象质量，所以 NAVI 为了追求这个目标，改善了原始的 ASF 格式的一些不足，让 NAVI 可以拥有更高的帧率（frame rate）。当然，这是牺牲 ASF 的视频流特性作为代价的。概括来说， NAVI 就是一种去掉视频流特性的改良型 ASF 格式，也可以被视为是非网络版本的 ASF 。
ISO、BIN、IMG、TAO、DAO、CIF、FCD－镜像文件格式
镜像文件其实就是一个独立的文件，和其他文件不同，它是由多个文件通过刻录软件或者镜像文件制作工具制作而成的。
镜像文件的应用范围比较广泛，最常见的应用就是数据备份(如软盘和光盘)。随着宽带网的普及，有些下载网站也有了ISO格式的文件下载，方便了软件光盘的制作与传递。常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD。
打开镜像文件可以使用WinISO或者IsoBuster，下载这些软件的地方都有相关教程，不再赘述。

视频处理需要使用大量数据作为测试和训练集，如：Visual Object Classes Challenge 2011 (VOC2011)(PASCAL视觉目标分类挑战赛2011)、BEHAVE - Crowds(人群行为视频数据集) 、交通视频数据库（2010年-2011年间的数据）、IR Marks video data set (加利福尼亚大学圣迭戈分校脸部运动视频数据库) 、The Honda/UCSD Video Database(加利福尼亚大学圣迭戈分校脸部追踪视频数据库) 、VIRAT Video Dataset(美国国防部高级研究计划局VIRAT视频数据库) 等。

 根据三基色原理，在视频领域利用R、G、B三色不同比例的混合来表现丰富多彩的世界。由于摄像机中的原始信号和电视机、监视器、计算机显示器里的最终信号都是RGB信号，因此，使用RGB信号作为视频信号的传输和记录方式,无疑会有极高的信号质量。但在实际应用中却并非如此，因为。一则这会极大地增加视频带宽，增加相关设备的成本，二则这也与现行的黑白电视不兼容。
①视频信号
⒈YUV分量信号
按亮度方程将RGB转换生成亮度信号Y和两个色差信号U（B-Y）、V（(R-Y），就得到YUV分量信号。
YUV分量的特点
由于Y与UV是分离的，只有Y而没有U、V的图就是黑白灰度的。黑白电视机能接收彩色电视信号正是利用了YUV的分离特性。
可利用人眼的特性来降低数字彩色图像需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低，把N个相邻像素不同彩色值当作相同彩色值来处理（降低彩色分量的分辨率）可以减少存储容量，而不明显影响图像质量。
Y/C信号
把YUV信号中的U、V信号进一步合成为一个色度信号C，得到Y/C信号。由于对色度信号进行了将频处理，这种记录方式又称为彩色降频方式。
复合信号
把Y/C信号中的Y信号和C信号进一步合成，得到复合视频，也就是彩色全电视信号。应用复合视频主要是为了方便传输以及电视信号的发射。
②采样
③量化
④压缩
有损压缩/无损压缩
硬件压缩/软件压缩
压缩比
⑤计算机显示系统