Professor: Jesus Garcia. Sala 232 - IMECC

Atendimento: 2da 15hs

Nota final

Ementa:

Entropia, entropia relativa e informacao mutua.
Taxas de entropia de um processo estocastico:
cadeias de Markov, taxas de entropia de um passeio aleatorio.
Distribuicoes de maxima entropia, teorema de Burgs.
Compressao de dados. Desigualdade de Kraft. Codigo de Huffman, de Shannon e aritmetico.
Complexidade de Kolmogorov. Introducao a Channel Capacity.

Bibliografia:

Cover e Thomas, (2006); Elements of Information Theory.
R M, Gray, (1990); Entropy And Information Theory.
R B Ash, (1977); Information Theory.
G J Klir, (2006); Information Theory - Uncertainty and Information - Foundations of Generalized Information Theory.
D. MacKay, (2005); Information Theory, Inference, and Learning Algorithms

Avaliacao:

Prova 1 (P1): dia 15 - 9
Prova 2 (P2): dia 10 - 11

Substitutiva: dia 24 - 11

Exame: dia 10 - 12

Aluno aprovado (sem exame) se: 0.4*P1 + 0.6*P2 >= 5

Exercicios, capitulo 2, Cover e Thomas, (1991):
1,2,3,5,6,8,9,10,11,14,15,16,17,18,20

Exercicios, capitulo 5, Cover e Thomas, (1991):
1,2,4,5,6,7,11,14,15

Exercicios, capitulo 3, Cover e Thomas, (1991):
2,3,4,5

Exercicios, capitulo 4, Cover e Thomas, (1991):
2, 4, 5 (items a,b,c,d), 7, 12

Exercicios, capitulo 8, Cover e Thomas, (1991):
5, 7, 9

Exercicios, capitulo 9, Cover e Thomas, (1991):
1, 3, 5, 6.