TEMA 2: CODIFICACIÓN DE

FUENTE

CONTENIDO:

1. Conceptos básicos.
2. Medida de la información.
3. Entropía (de fuente y de fuente extendida).
4. Longitud promedio de símbolo.
5. Tasa de información.
6. Teorema de codificación de fuente.
7. Algoritmos de codificación de fuente: Huffman, Shannon–Fano.

1
 PROBLEMA
Una fuente de información digital genera uno de seis posibles símbolos, a esta fuente la
denotamos por: X={x0, x1, x2, x3, x4, x5}. La tasa de símbolos es igual a 8000 símbolos/s.
Después de observar la fuente por un tiempo prolongado se estima la probabilidad de
ocurrencia de cada uno de los símbolos, obteniéndose lo siguiente: p(x0)=0.3, p(x1)=0.25,
p(x2)=0.2, p(x3)=0.12, p(x4)=0.08, p(x5)=0.05. Observe que suman la unidad.

2
 SOLUCIÓN: Una fuente de información digital genera uno de seis posibles símbolos, a
esta fuente la denotamos por: X={x0, x1, x2, x3, x4, x5}. La tasa de símbolos es igual a 8000
símbolos/s. Después de observar la fuente por un tiempo prolongado se estima la
probabilidad de ocurrencia de cada uno de los símbolos, obteniéndose lo siguiente: p(x0)=0.3,
p(x1)=0.25, p(x2)=0.2, p(x3)=0.12, p(x4)=0.08, p(x5)=0.05. Observe que suman la unidad.

Símbolo p(xj) I(xj) Código 1 Código 2 Código 3 Código 4 Código 5 Código 6

Bits de inf (fijo) (bandera) (prefijo) (no útil) (Huffman) (Shannon)
x0 0.3 1.737 000 0 0 0 00 00
x1 0.25 2 001 01 10 1 01 01
x2 0.2 2.322 010 011 110 00 11 10
x3 0.12 3.059 011 0111 1110 01 101 110
x4 0.08 3.644 100 01111 11110 10 1000 1110
x5 0.05 4.322 101 011111 11111 11 1001 1111
H  X   2.36 L X   3 L  X   2.58 L  X   2.53 L  X   1.45 L  X   2.38 L  X   2.38
J 1

 px  1
j 0
j

Tasa real (bps) Rideal  18.88 Rreal  24 Rreal  20.64 Rreal  20.24 Rreal  11.6 Rreal  19.04 Rreal  19.04
Eficiencia (%)   78.67 %   91.47 %   93.28 %   162.7 %   99.16 %   99.16 %
Desv. Std (b/simb)   X   0.0   X   1.471   X   1.367   X   0.497   X   0.704   X   0.704
 

J 1 l x j
Desigualdad Kraft j 0
2 1 0.75 0.984 1 2 1 1

3
 Conceptos (1)
• Fuente de información digital: los símbolos generados
se encuentran dentro de un conjunto finito de símbolos
posibles.

• Codificación: proceso de transformación mediante el

cual un flujo de símbolos de entrada al codificador se
convierte en una secuencia de palabras código de
salida.

• Codificador de fuente: tiene como objetivo reducir, en

la medida de lo posible, la redundancia de los
símbolos de la fuente.
Para esto, asigna a cada símbolo un código cuya
longitud es inversamente proporcional a la
probabilidad de ocurrencia del símbolo en cuestión. 4
 Conceptos (2)
• Cantidad de información de un símbolo: Se mide en
términos de su probabilidad de ocurrencia.
• Es un requisito fundamental que la suma de probabilidades de
cada uno de los posibles símbolos que genera la fuente de
información sea igual a 1.

• Entropía: Cantidad promedio de información que

entrega la fuente. Se calcula en términos del
comportamiento probabilístico de la fuente de
información. Mide el grado de incertidumbre de la
fuente de información.

El concepto de entropía responde a la siguiente

pregunta: ¿Cuál es la complejidad irreductible bajo la
cual se elimina por completo la redundancia de los
símbolos de la fuente? 5
 Conceptos (3)
• Capacidad de un canal:
– Se define como la posibilidad intrínseca de un canal
para transportar información.
• Se relaciona de manera natural con las características de
ruido y ancho de banda del canal y con la forma en la que
se usa el canal.
• Este concepto responde a la pregunta: ¿Cuál es la máxima
velocidad de transmisión que permite una comunicación
confiable a través de un canal ruidoso?

• Si la entropía de la fuente es menor que la capacidad

del canal, entonces puede conseguirse la comunicación
a través del canal con una probabilidad de error
arbitrariamente pequeña.

6
 Medida de la Información (1)
• Sea X una v.a. discreta que modela la salida de una
fuente de información X, la cual toma los símbolos de un
alfabeto finito fijo:
X   x0 , x1 ,..., xJ 1
• Con probabilidades
P ( X  x j )  p  x j  , j  0, 1,..., J  1

• Desde luego, se debe cumplir que

J 1

 px  1
j 0
j

7
 Medida de la Información (2)
• Considere que los símbolos emitidos por la fuente X
durante intervalos de transmisión de señales sucesivas
son estadísticamente independientes (fuente discreta sin
memoria).
• ¿Cuánta información produce una fuente de este tipo?
• Definimos la cantidad de información ganada después
de observar el evento {X=xj}, el cual ocurre con
probabilidad p(xj), como la función logarítmica:


I ( x j )  log b 1 p  x j  
• En palabras: cuanto más probable es un símbolo,
menor es la información que proporciona.
• Tarea: ¿Por qué se eligió la función logarítmica para8
medir la información?
 Propiedades de la Información
• Propiedades que intuitivamente satisface la definición anterior:

1.- I(xk)=0 para p(xj)=1(no se gana información).

2.- I(xk)>=0 para 0<=p(xj)<=1 (nunca se origina pérdida de información).
3.- I(xk)>I(xj) para p(xk)<p(xj) (cuanto menos probable es un evento, mayor
información se gana cuando éste ocurre).
4.- I(xkxi)= I(xk) + I(xi) si xk y xi son estadísticamente independientes.

• La base del logaritmo es arbitrario. Es una práctica estándar utilizar

base 2. La unidad de información que resulta recibe el nombre de bit
de información (contracción de la palabra “binary digit”). Entonces:

I ( x j )  log 2 1 p( x j )    log 2  p ( x j )  , para j  1, 2, ..., J  1

• Cuando la fuente es binaria con p(xj)=1/2, tenemos I(xj)=1 bit de
información. Por lo tanto, un bit de información es la cantidad de
información que ganamos cuando ocurre uno de dos eventos posibles
igualmente probables.

• Tarea: Grafique I(xj) en función de p(xj). Analicé sus resultados. 9

 Entropía de la fuente
• Observe que I(X) es una variable aleatoria discreta que toma los
valores I(x0), I(x1), …, I(xj-1) con probabilidades p(x0), p(x1), …, p(xJ-1),
respectivamente.
• El valor esperado de I(X) sobre el alfabeto de la fuente está dado
por:
J 1
H ( X )  E  I ( X )   p( x j ) I ( x j )
j 0
J 1
  p ( x j ) log 2 1 p ( x j ) 
j 0

• La cantidad H(X) recibe el nombre de entropía de una fuente

discreta sin memoria con alfabeto de fuente X (bits/símbolo).
• La entropía es una medida del contenido de información
promedio por símbolo de la fuente.
• Observe que X en H(X) no es argumento de una función sino más
bien una etiqueta para una fuente, pues la entropía sólo depende de
las probabilidades del símbolo en el alfabeto X de la fuente.
10
 Propiedades de la entropía
• La entropía H(X) de una fuente discreta sin memoria
está acotada de la siguiente manera:
0  H  X   log 2 J
donde J es el número de símbolos del alfabeto de la
fuente.
• 1.- H(X)=0, si y sólo si p(xj)=1 para alguna j, y las
probabilidades restantes en el conjunto son todas cero
(no existe incertidumbre, no se genera información).
• 2.- H(X)=log2J, si y sólo si p(xj)=1/J para toda j
(símbolos equiprobables, incertidumbre máxima).
• Tarea: Demostrar gráficamente que lnx≤x-1 para x≥0. Demostrar
que xlnx→0 cuando x→0. Demostrar que 0 ≤ H(X) ≤ log2(J).

11
 Ejercicio 1
• Considere una fuente binaria (dos símbolos) X={x0, x1}, para
la cual el símbolo x0 ocurre con probabilidad p0 y el símbolo
x1 ocurre con probabilidad 1-po. Suponga que la fuente es sin
memoria. Determine el valor de la entropía cuando p0= 0.0,
0.25, 0.5, 0.75, 1.0. Grafique la entropía en función de p0.
¿Para qué valor de p0 la entropía alcanza su valor máximo?
¿Para qué valor de p0 la entropía tiene sus valores mínimos?
J 1
H  X    p  xj  I  xj   p  x0  I  x0   p  x1  I  x1 
j 0

1  1 
H  X   p0 log2    1 p0  log2   bits/símbolo
 p0   1 p0 
12
 Ejercicio 2
• Considere una fuente de información digital de tres símbolos
Z={z0, z1, z2}, para la cual el símbolo z0 ocurre con
probabilidad p0, el símbolo z1 ocurre con probabilidad p1, y el
símbolo z2 ocurre con probabilidad 1-p0-p1. Suponga que la
fuente es sin memoria. Grafique la entropía en función de p0 y
p1. ¿Para qué conjunto de valores de (p0, p1, p2) la entropía
alcanza su valor máximo? ¿Para qué conjuntos de valores de
(p0, p1, p2) la entropía toma sus valores mínimos?
J 1
H  Z    p  z j  I  z j   p0I  z0   p1I  z1   p2I  z2  bits/símbolo
j 0

1 1  1 
H  Z   p0 log2    p1 log2    1 p0  p1  log2  
 p0   p1   1 p0  p1 

13
 Entropía de fuente extendida
• Considere una fuente discreta sin memoria (FDSM) X
cuyo alfabeto consiste de J símbolos.

• Se forman bloques de n símbolos. Se obtiene una

fuente extendida Xn que tiene Jn símbolos (bloques
distintos).

• La probabilidad de un símbolo en la fuente Xn es igual

al producto de las probabilidades de los n símbolos de
fuente X que constituyen el símbolo particular en Xn.

• La entropía de la fuente extendida está dada por:

H X n
  nH  X  14
 Fuente extendida
Considere una fuente de información digital de dos símbolos W={w0, w1}, para la cual
el símbolo w0 ocurre con probabilidad 0.9 y el símbolo w1 ocurre con probabilidad 0.1.
Determine la entropía de la fuente, la longitud promedio y eficiencia de los siguientes
códigos: código de longitud fija, código de bandera y código de Huffman.

Símbolo p(xj) I(xj) Código 1 Código 2 Código 3

Bits de inf (Long. fija) (Bandera) (Huffman)
w0 0.9 0.152 0 0 0
w1 0.1 3.322 1 01 1
H(W)=0.469 L(W)=1 L(W)=1.1 L(W)=1
Eficiencia (%) 46.9% 42.63% 46.9%

15
 Fuente extendida de segundo orden
Considere la fuente extendida de segundo orden W2={w0w0, w0w1, w1w0, w1w1} =
{b0, b1, b2, b3}, para la cual el bloque bj ocurre con probabilidad p(wk) p(wm).

Símbolo p(bj) I(bj) Código 1 Código 2 Código 3

Bits de inf (Long. fija) (Bandera) (Huffman)
b0 0.81 0.304 00 0 0
b1 0.09 3.474 01 01 11
b2 0.09 3.474 10 011 100
b3 0.01 6.644 11 0111 101
SUM=1 H(W2)=0.938 L(W2)=2 L(W2)=1.3 L(W2)=1.29
Eficiencia (%) 46.9% 72.15% 72.71%

Huffman: Código
b0 0.81 0.3 0.81 0 0 0
FIN
b1 0.09 0.1 0 0.19 1 11 11

b2 0.09 0 0.09 1 001 100

b3 0.01 1 101 101 16

 Fuente extendida de tercer orden
Considere la fuente extendida W2={w0w0w0, w0 w0 w1, w0 w1w0, w1 w0 w0 , w0w1w1, w1w0w1,
w1w1w0, w1 w1w1}={b0, b1, b2, b3, b4, b5, b6, b7}, para la cual el bloque bj ocurre con
probabilidad p(bj) igual al producto de las probabilidades de los símbolos que lo forman.

Símbolo p(bj) I(bj) Código 1 Código 2 Código 3

Bits de inf (Long. fija) (Bandera) (Huffman)
b0 0.729 0.456 000 0 0
b1 0.081 3.626 001 01 100
b2 0.081 3.626 010 011 101
b3 0.081 3.626 011 0111 110
b4 0.009 6.796 100 01111 11100
b5 0.009 6.796 101 011111 11101
b6 0.009 6.796 110 0111111 11110
b7 0.001 9.966 111 01111111 11111
SUM=1 H(W2)=1.407 L(W2)=3 L(W2)=1.628 L(W2)=1.598
Eficiencia (%) 46.9% 86.43% 88.05%

17
 Código de Huffman para la fuente
extendida de tercer orden
Bloque Código
b0 0.729 0.729 0.729 0.729 0.729 0.729 0.729 0 0
FIN

b1 0.081 0.081 0.081 0.081 0.109 0.162 0 0.271 1 100

b2 0.081 0.081 0.081 0.081 0.081 0 0.109 1 101

b3 0.081 0.081 0.081 0.081 0 0.081 1 110

b4 0.009 0.01 0.018 0 0.028 1 11100

b5 0.009 0.009 0 0.01 1 11101

b6 0.009 0 0.009 1 11110

b 0.001 1 11111

18
 Ejercicio 3
• Considere una fuente discreta sin memoria con alfabeto
X={x0, x1, x2} con probabilidades respectivas ¼, ¼, ½. a)
Encuentre la entropía de la fuente. Considere a
continuación la extensión de segundo orden de la
fuente. b) Encuentre la entropía de la fuente extendida.
Solución
a) H(X)=1.5 bits/símbolo.
b) X2 ={b0, b1, b2, b3, b4, b5, b6, b7, b8}, cada bloque se
compone, respectivamente, de la siguiente
secuencia de símbolos:
{x0x0, x0x1, x0x2, x1x0, x1x1, x1x2, x2x0, x2x1, x2x2},
con probabilidades respectivas:
1/16, 1/16, 1/8, 1/16, 1/16, 1/8, 1/8, 1/8, 1/4.
H(X2)=3 bits/bloque.
19
 Tasa ideal de información
• La descripción de una fuente no es solamente por su
entropía, sino también por su tasa ideal de
información medida en bits por segundo. Considere
una fuente discreta que emite símbolos cada Ts
segundos. La tasa ideal de información de la fuente se
define como

H X 
Rideal  =rs H  X  bits/segundo
Ts
donde rs es la velocidad de señalización (tasa de
símbolos) y está dada por rs=1/Ts. La velocidad de
señalización representa el número promedio de
símbolos por unidad de tiempo (símbolos por segundo).
20
 Ejercicio 4
• Calcule la tasa de información de una fuente telegráfica
teniendo por probabilidades y duración promedio:
ppunto=2/3, praya=1/3, Tpunto=0.2 s, Traya=0.4 s.

Solución:
X={punto, raya}, p(punto)=2/3, p(raya)=1/3.

H(X) = 2/3log23/2 + 1/3log23 = 0.92 bits/símbolo,

Ts=(2/3)(0.2)+(1/3)(0.4)=0.267 s,

Rideal= H(X)/Ts=0.92/0.267=3.44 bits/s.

21
 Ejercicio 5
• Ejemplo: Una fuente de datos tiene 8 símbolos equiprobables y
emite bloques de tres símbolos a una tasa de 1000 bloques por
segundo. Cada uno de los símbolos que componen a un bloque
puede ser cualquiera de los ocho símbolos de la fuente. Calcule la
tasa ideal de información Rideal.
Solución: X={xj, j=0,1,…J-1}, p(xj)=1/J=1/8.
H(X)=log2J=log28= 3 bits/símbolo,
H(X 3)=3H(X)= 9 bits/bloque,
Ts=1/1000 s/bloque,
Rideal= H(X 3) / Ts = 9000 bits/s.

• Tarea: Considere una señal analógica cuyas amplitudes siguen una

distribución gaussiana con valor medio cero y varianza 2. Esta
señal se muestrea a una velocidad de 100 muestras por segundo.
Las amplitudes x de las muestras se representan como sigue: -
<x≤- como x0, -<x≤0 como x1, 0<x≤ como x2, y <x< como x3. a)
Calcule la entropía a la salida del cuantificador, b) Calcule la tasa
de información en bits por segundo en la salida del cuantificador. 22
 Codificación de fuente
• Codificación de fuente: proceso mediante el cual se
lleva a cabo la representación eficiente de los datos
generados por una fuente discreta.
• Codificador de fuente: dispositivo que lleva a cabo ésta
representación.
• Código de longitud variable: asigna palabras de
código cortas a los símbolos de fuente frecuentes, y
palabras de código largas a los símbolos de fuente
esporádicos (ej. código Morse: “E”=“.”, “Q”=“_._”).
• Requerimientos funcionales de un codificador de
fuente:
1.-Las palabras de código producidas por el codificador están en
forma binaria.
2.-El código fuente es decodificable en forma única (la secuencia
de símbolos de la fuente original puede reconstruirse
perfectamente a partir de la secuencia binaria codificada).
23
Eficiencia del codificador de fuente
• Considere que la palabra de código binario asignada al
símbolo xj por el codificador tiene una longitud l(xj), medida en
bits. La longitud promedio L de las palabras código de la
fuente de información X se define como:
J 1
L  X    p  x j  l  x j  bits/símbolo
j 0

• La tasa real de información se determina como sigue:

L X 
Rreal   rs  L  X  bits/segundo
Ts
• Sea Lmin el valor mínimo posible de Ls. la eficiencia de
codificación del codificador de fuente se define como:
Lmin
F  100%
L X 
• ¿Cómo se determina el valor mínimo Lmin? H(X) 24
 Varianza de la fuente
• Varianza de la longitud promedio de palabra de código:
es una medida de la variabilidad en las longitudes de
palabra de código de un código fuente. Se define como:

J 1
V ( X )   p  x j  l  x j   L  X  
2

j 0

• La desviación estándar de la fuente X (en bits por

símbolo, se define como:

 (X )  V (X )   bits/símbolo
25
 Teorema de codificación de fuente
(Primer Teorema de Shannon)
• Dada una fuente discreta sin memoria de entropía
H(X), la longitud promedio de palabra de código L(X)
para cualquier esquema de codificación de fuente
sin distorsión está acotada como:
L X   H  X 
• La entropía H(X) representa un límite fundamental
sobre el número promedio de bits por símbolo de
fuente necesario para representar una fuente
discreta sin memoria en el sentido de que puede
hacerse tan pequeño, aunque no menor que, la
entropía H(X). Así:
H X 
F  100%
L X  26
 Compresión de datos sin pérdida
• En la transmisión de señales, es necesario eliminar la
información redundante de la señal para mejorar la
eficiencia. Cuando este proceso se realiza sin pérdida de
información sobre una señal de forma digital se le conoce
como compactación o compresión de datos sin pérdida.
• La compresión de datos proporciona una representación de
la salida de la fuente que no es sólo eficiente en términos del
número promedio de bits por símbolo, sino también es exacta
porque los datos originales pueden reconstruirse sin pérdida
de información.
• La compactación o compresión de datos se consigue
asignando códigos cortos a los símbolos más frecuentes de
la salida de la fuente y códigos largos a los símbolos menos
frecuentes.
• A continuación estudiaremos algunos esquemas de
codificación de fuente para compactación de datos.
27
 Clasificación de códigos
• Códigos de longitud fija (1), códigos de longitud variable (2-6), códigos
unívocamente decodificables (1, 3, 4, 5, 6), códigos cuasi-óptimos (5, 6),
códigos no decodificables (2).
• Desigualdad de Kraft (condición para la existencia de un código binario
instantáneo): J 1
 
2
l x j
1
j 0

Símbolo p(sj) Código 1 Código 2 Código 3 Código 4 Código 5 Código 6

(fijo) (no útil) (prefijo) (bandera) (Shannon) (Huffman)
s0 0.5 00 0 0 0 0 0

s1 0.25 01 1 10 01 10 10

s2 0.125 10 00 110 011 110 110

s3 0.125 11 01 111 0111 111 111

28
 Algoritmo de Codificación
Shannon-Fano
1.-Los símbolos de la fuente se listan en orden de
probabilidad decreciente.
2.-Divida los símbolos en dos conjuntos que sean
lo más cercano a ser equiprobables, asigne 0 al
conjunto de arriba y 1 al conjunto de abajo.
3.-Continúe este proceso, cada vez particione los
conjuntos de tal forma que sean lo más
equiprobables posible. El proceso termina
cuando ya no es posible otra partición.
29
 Codificación Shannon-Fano
Ejemplo: Considere una fuente discreta sin memoria con alfabeto X={x0, x1,
x2, x3, x4 , x5} con probabilidades respectivas 0.3, 0.25, 0.2, 0.12, 0.08, y
0.05. Encuentre la palabra de código para cada símbolo al utilizar la
codificación Shannon-Fano. Calcule (={H(X)/L(X)}·100%). Demuestre que
se cumple la desigualdad de Kraft.

si p(si) Etapa 1 Etapa 2 Etapa 3 Etapa 4 Código

s0 0.3 0 0 00
s1 0.25 0 1 01
s2 0.2 1 0 10
s3 0.12 1 1 0 110
s4 0.08 1 1 1 0 1110
s5 0.05 1 1 1 1 111130
 Codificación Huffman
• Codificación de Huffman.
– Idea básica:
• Asignar a cada símbolo del alfabeto una secuencia
aproximadamente igual en longitud a la cantidad de información
que transporta el símbolo correspondiente. En otras palabras, a los
símbolos menos probables se les asigna palabras código de
longitudes más grandes.

– Esencia del algoritmo:

• Sustituir el conjunto preestablecido de estadísticas de una fuente
discreta sin memoria por uno más simple.
• Este proceso de reducción continúa paso a paso hasta que nos
quedamos al final con un conjunto de únicamente dos estadísticas
(símbolos) de fuente, para las cuales (0,1) es un código óptimo.
• Partiendo de este código trivial, trabajamos hacia atrás y
construimos de este modo el código Huffman para la fuente dada.
31
Algoritmo de Codificación Huffman
1.-Los símbolos de la fuente se listan en orden de probabilidad
decreciente. A los dos símbolos de probabilidad más baja se
les asigna un 0 y un 1.
2.-Estos dos símbolos de fuente se consideran como si se
combinaran en un nuevo símbolo de fuente con probabilidad
igual a la suma de las dos probabilidades originales. Así, la
lista de símbolos de fuente reduce su tamaño en una unidad.
La probabilidad del nuevo símbolo se ordena en la lista de
acuerdo a su valor.
3.-El procedimiento se repite hasta que nos quedamos con la lista
final de las dos únicas estadísticas (símbolos) a las cuales se
asignaron un 0 y un 1.

4.-El código para cada símbolo de fuente (original) se determina

procediendo hacia atrás y siguiendo la frecuencia de ceros y
32
unos asignada a ese símbolo, así como a sus sucesores.
Algoritmo de Codificación Huffman
• Ejemplo: Considere una fuente discreta sin memoria con
alfabeto S={s0, s1, s2, s3, s4, s5} con probabilidades
respectivas 0.3, 0.25, 0.2, 0.12, 0.08, y 0.05. La tasa de
símbolo es rs= 8000 símbolos /s.

a) Determine la entropía de la fuente y la tasa ideal de información.

b) A continuación encuentre la palabra de código para cada símbolo
al utilizar la codificación Huffman.
c) Determine la longitud promedio de la palabra de código y la tasa
real de información.
d) Determine la eficiencia del codificador.
e) Demuestre que cumple con la desigualdad de Kraft.
f) Determine la varianza de la longitud promedio de palabra de
código.
33
Algoritmo de Codificación de Huffman

Símbolo Código

s0 0.3 0.3 0.3 0.45 0.55 0 00 00

FIN
s1 0.25 0.25 0.25 0.3 0 0.45 1 10 01

s2 0.2 0.2 0.25 0 0.25 1 11 11

s3 0.12 0.13 0 0.2 1 101 101

s4 0.08 0 0.12 1 0001 1000

s5 0.05 1 1001 1001

34
No unicidad del código de Huffman
Ejemplo: Considere una fuente discreta sin memoria con alfabeto S={s0, s1, s2,
s3, s4} con probabilidades respectivas 0.4, 0.2, 0.2, 0.1, y 0.1. a) Encuentre la
entropía de la fuente. A continuación encuentre la palabra de código para cada
símbolo al utilizar la codificación Huffman. Determine lo siguiente: b) La
longitud promedio de la palabra de código. c) La desviación estándar de la
longitud promedio de palabra de código. d) La eficiencia del codificador.
Estudie la ambigüedad con la que se ubican símbolos combinados de igual
probabilidad al construir el código Huffman (considere que éstos se pueden
ubicar lo más alto o lo más bajo posible). Compare la longitud promedio,
eficiencia y la desviación estándar de estas dos variaciones del código
Huffman. ¿Cuál de los dos códigos resulta más razonable elegir y por qué?

H ( X )  2.122 bits de información/símbolo

35
 Algoritmo de Codificación de Huffman
OPCIÓN 1: La probabilidad del símbolo combinado se ubica tan baja como sea posible. Código
s1 0.4 0.4 0.4 0.6 0 1 1
FIN
s2 0.2 0.2 0.4 0 0.4 1 10 01

s3 0.2 0.2 0 0.2 1 000 000

L( X )  2.2 bits/símbolo 0100 0010

s4 0.1 0 0.2 1
 ( X )  1.17 bits/símbolo
s5 0.1 1  =96.45% 1100 0011

OPCIÓN 2: La probabilidad del símbolo combinado se ubica tan alta como sea posible. Código
s1 0.4 0.4 0.4 0.6 0 00 00
FIN
s2 0.2 0.2 0.4 0 0.4 1 01 10

s3 0.2 0.2 0 0.2 1 11 11

L( X )  2.2 bits/símbolo 010 010

s4 0.1 0 0.2 1
 ( X )  0.4 bits/símbolo
s5 1 110 011 36
0.1  =96.45%
 Ejercicio Final
Considere una fuente discreta sin memoria con alfabeto X={x0, x1, x2} con
probabilidades respectivas 0.6, 0.3, y 0.1, la cual genera símbolos a una
tasa igual a 1000 símbolos por segundo. a) Determine la entropía de la
fuente y la tasa ideal de transmisión. b) Encuentre la palabra código para
cada símbolo al utilizar los siguientes tipos de codificación: b1) código de
longitud fija, b2) código de bandera, b3) código de prefijo, b4) codificación
de Huffman, b5) codificación Shannon-Fano. c) Para cada tipo de código
verifique que se cumple la desigualdad de Kraft. d) Para cada tipo de
código determine lo siguiente: longitud promedio de las palabras código (en
bits por símbolo), la varianza de la longitud promedio de las palabras
código, la tasa real de información (en bits por segundo), la eficiencia de
codificación. Considere a continuación la extensión de segundo orden de la
fuente. (e) Determine el código de cada bloque de la fuente extendida
utilizando el algoritmo de Huffman y calcule la longitud promedio del código
(en bits por bloque y en bits por símbolo). Con el resultado anterior
determine la eficiencia de codificación. (f) Repita el inciso anterior
considerando ahora la extensión de tercer orden de la fuente. Reporte sus
resultados en una tabla, de tal forma que se puedan comparar.
37
Teorema de la capacidad de información
(Tercer Teorema de Shannon)
• El ruido y el ancho de banda del sistema son dos limitaciones
físicas fundamentales en las comunicaciones eléctricas. Ambas
limitaciones determinan la capacidad del sistema que según
Shannon-Hartley no debe ser excedida por la tasa de información
(Rreal).

• Este teorema establece que el ancho de banda del canal (B) y la

relación señal a ruido recibida (S/N) se relacionan idealmente como:

C  B log(1  S / N )
• Donde C es la capacidad de información del canal. La capacidad de
información se define como la velocidad máxima a la cual puede
transmitirse sin error la información a lo largo del canal, aún cuando
este sea ruidoso; se mide en bits por segundo (b/s, bps).
38
 Límite superior de la capacidad del sistema
Este teorema no nos dice como diseñar el sistema, sin embargo, es muy
valioso desde el punto de vista técnico debido a lo siguiente:

– Proporciona una cota con respecto a qué velocidad de transmisión de

datos es teóricamente alcanzable dados B y SNR. La eficiencia del
sistema de comunicación digital en estudio se mide por:
Rreal
S  100 %
C
– Ofrece un compromiso entre el tiempo de transmisión, potencia
transmitida, ancho de banda y la SNR. Este compromiso debe
encontrarse tomando en cuenta las limitaciones tecnológicas.
– Proporciona un marco de referencia idealizado para comparar el
desempeño relativo al ruido de un esquema de modulación a otro.

Teorema fundamental de la teoría de la información: Si la tasa real de

información de una fuente no excede la capacidad de un canal de
comunicación, entonces existe una técnica de codificación de canal tal
que la información puede transmitirse por el canal con una probabilidad
de error arbitrariamente pequeña a pesar de la presencia de ruido. 39