霍夫曼编码

Huffman在1952年根据香农（Shannon）在1948年和范若（Fano）在1949年阐述的这种编码思想提出了一种不定长编码的方法，也称霍夫曼（Huffman）编码。霍夫曼编码的基本方法是先对图像数据扫描一遍，计算出各种像素出现的概率，按概率的大小指定不同长度的唯一码字，由此得到一张该图像的霍夫曼码表。编码后的图像数据记录的是每个像素的码字，而码字与实际像素值的对应关系记录在码表中。 　　

霍夫曼编码是可变字长编码(VLC)的一种。 Huffman于1952年提出一种编码方法，该方法完全依据字符出现概率来构造异字头的平均长 度最短的码字，有时称之为最佳编码，一般就称Huffman编码。下面引证一个定理，该定理保证了按字符出现概率分配码长，可使平均码长最短。 　

? 定理：在变字长编码中，如果码字长度严格按照对应符号出现的概率大小逆序排列，则其平 均码字长度为最小。 　　

? 现在通过一个实例来说明上述定理的实现过程。设将信源符号按出现的概率大小顺序排列为 ：

? 　　U： ( a1 a2 a3 a4 a5 a6 a7 ) [1] 　　

0.20 0.19 0.18 0.17 0.15 0.10 0.01 　　

? 给概率最小的两个符号a6与a7分别指定为“1”与“0”，然后将它们的概率相加再与原来的 a1~a5组合并重新排序成新的原为： 　　

U′： ( a1 a2 a3 a4 a5 a6′ ) 　　

0.20 0.19 0.18 0.17 0.15 0.11 　　

? 对a5与a′6分别指定“1”与“0”后，再作概率相加并重新按概率排序得 　　

U″：（0.26 0.20 0.19 0.18 0.17）… 　　

? 直到最后得 U″″：（0.61 0.39） 　　

? 霍夫曼编码的具体方法：先按出现的概率大小排队，把两个最小的概率相加，作为新的概率 和剩余的概率重新排队，再把最小的两个概率相加，再重新排队，直到最后变成1。每次相 加时都将“0”和“1”赋与相加的两个概率，读出时由该符号开始一直走到最后的“1”， 将路线上所遇到的“0”和“1”按最低位到最高位的顺序排好，就是该符号的霍夫曼编码。 　　

例如a7从左至右，由U至U″″，其码字为0000； 　　

? a6按践线将所遇到的“0”和“1”按最低位到最高位的顺序排好，其码字为0001… 　　

? 用霍夫曼编码所得的平均比特率为：Σ码长×出现概率 　　

? 上例为：0.2×2+0.19×2+0.18×3+0.17×3+0.15×3+0.1×4+0.01×4=2.72 bit 　　

? 可以算出本例的信源熵为2.61bit，二者已经是很接近了。

霍夫曼（Huffman）编码是1952年为文本文件而建立，是一种统计编码。属于无损压缩编码。
霍夫曼编码的码长是变化的，对于出现频率高的信息，编码的长度较短；而对于出现频率低的信息，编码长度较长。这样，处理全部信息的总码长一定小于实际信息的符号长度。

l）将信号源的符号按照出现概率递减的顺序排列。
2）将两个最小出现概率进行合并相加，得到的结果作为新符号的出现概率。
3）重复进行步骤1和2直到概率相加的结果等于1为止。
4）在合并运算时，概率大的符号用编码0表示，概率小的符号用编码1表示。
5）记录下概率为1处到当前信号源符号之间的0，l序列，从而得到每个符号的编码。

例：
设信号源为 s＝｛s1, s2, s3, s4, s5｝
对应的概率为p＝｛0.25，0.22，0.20, 0.18，0.15｝。


根据字符出现的概率来构造平均长度最短的异字头码字。
霍未曼编码通常采用两次扫描的办法，第一次扫描得到统计结果，第二次扫描进行编码。

霍夫曼编码具有一些明显的特点：
1) 编出来的码都是异字头码，保证了码的唯一可译性。
2) 由于编码长度可变。因此译码时间较长，使得霍夫曼编码的压缩与还原相当费时。
3) 编码长度不统一，硬件实现有难度。
4) 对不同信号源的编码效率不同，当信号源的符号概率为2的负幂次方时，达到100％的编码效率；若信号源符号的概率相等，则编码效率最低。
5) 由于"0"与"1"的指定是任意的，故由上述过程编出的最佳码不是唯一的，但其平均码长是一样的，故不影响编码效率与数据压缩性能。