MI406: Regressão

Objetivos

O objetivo da classe é desenolver ferramentas para a análise de regressão, e justificar formalmente seu uso. Serão explorados tópicos em inferência de modelos lineares, a contraposição de modelos lineares como preditores versus estimação de efeitos populacionais; ferramentas de diagnóstico de falta de ajuste (análise de resíduos), robustez de estimadores, problemas de sobredeterminação (overfitting), de multicolinearidade e confundimentos; determinação de modelos (seleação de variáveis), inclusive seu impacto em inferência. Na parte final do curso, os alunos conduzirão seminários com leitura de artigos de alta seletividade científica para construir um panorama dos problemas de pesquisa em aberto, envolvendo metodologias de regressão.

Leia o PDD, com o plano de desenvolvimento das atividades do curso e critérios de avaliação.

Instrutor
     Sala    Horário de atendimento  Email
Guilherme Ludwig  233    Somente pelo Moodle     gvludwig

Horários
 Terça 16:00-18:00 IMECC 151 324
 Quinta 16:00-18:00 IMECC 151 324

Referências
G. A. F. Seber e A. J. Lee. Linear Regression Analysis, 2nd edition. John Wiley & Sons, 2003 (referência principal).
N. R. Draper and H. Smith. Applied Regression Analysis, 2nd edition. John Wiley & Sons, 1981.

Avaliação
  Média das atividades  8
  Apresentação e discussão de artigos  2
 
  Total 10

Calendário
Note que o calendário é um plano preliminar! Tópicos de aulas futuras serão adaptados conforme desenvolvimento em classe das aulas antecedentes. Vou editar esta página durante o semestre.

Dia Tópico
05/03/2024 Aula 01: Apresentação. Vetores aleatórios. Esperança e variância. (SL1.1 até 1.4)
07/03/2024 Aula 02: Revisão de álgebra linear: vetores linearmente independentes, posto, matriz inversa, matrizes positivas-definidas. Formas quadráticas e sua esperança. (SL1.5)
12/03/2024 Aula 03: Autovalores e autovetores. Distribuição normal multivariada. Função geradora de momentos. (SL1.6, 2.1)
14/03/2024 Aula 04: Distribuição de formas quadráticas, e independência entre formas quadráticas. (SL2.2 até 2.4).
19/03/2024 Não tivemos aula.
21/03/2024 Não tivemos aula.
26/03/2024 Aula 05: Mínimos quadrados. Geometria do espaço das colunas de X. Estimação de σ2. (SL3.1 e 3.2)
28/03/2024 Feriado / Expediente Suspenso
02/04/2024 Aula 06: Lei de Gauss-Markov. Máxima verossimilhança no caso Normal. Distribuição de estimadores. Decomposição de somas de quadrados. (SL3.3 até 3.5, 3.7)
04/04/2024 Aula 07: Mínimos quadrados generalizados. Funções estimáveis. Testes de hipóteses. Razão de verossimilhanças. (SL3.8 até 3.10; SL4.1 e 4.2)
09/04/2024 Aula 08: Teste F. Coeficiente R2. (SL4.3, 4.4).
11/04/2024 Aula 09: Coeficientes de correlação parcial. Estabilidade da matriz X. Intervalos de confiança simultâneos para coeficientes: correção de Bonferroni. (SL 3.11, 5.1)
16/04/2024 Aula 10: Elipses exatas de confiança de Scheffé. Added-variables plot. Bandas de confiança para superfícies de regressão e predição. (SL 5.1 até 5.3).
18/04/2024 Aula 11: Regressão polinomial e polinômios ortogonais. Variáveis dummy.
23/04/2024 Aula 12: Codificação da matriz X. Covariáveis categóricas ordenadas. Interações entre covariáveis categóricas e reais.
25/04/2024 Aula 13: Modelos incorretamente postulados: viés por falta de ajuste. Covariáveis faltantes. Variância incorretamente especificada. Desvios de suposições amostrais. Outliers e leverage points. (SL 9.1 até 9.5)
30/04/2024 Aula 14: Desvios da linearidade. Transformações. Resídos studentizados e DFBETA. Distância de Cook. Autocorrelação. (SL 10.1, 10.2, 10.4 até 10.6)
02/05/2024 Aula 15: Multicolinearidade. Inflação de variância.
07/05/2024 Aula 16: Análise de componentes principais. Mínimos quadrados parciais.
09/05/2024 Aula 17: Modelos de regressão para predição. Modelos sobredeterminados. Trade-off entre viés e variância. Seleção de variáveis. (SL 12.1)
14/05/2024 Aula 18: R2 ajustado. Cp de Mallow. Leave-one-out cross validation prediction error. (SL 12.2)
16/05/2024 Aula 19: Critérios distribucionais: AIC, BIC. Métodos stepwise.
21/05/2024 Aula 20: Predição e shrinkage. Regressão regularizada: ridge e LASSO. Métodos Bayesianos e sua relação com regularização.
23/05/2024 Aula 21: Conexão de regularização e otimização com restrições. Efeitos da seleção de modelos na inferência. (SL 12.7)
28/05/2024 Aula 22: Introdução à regressão não-paramétrica com splines.
30/05/2024 Feriado / Expediente Suspenso
04/06/2024 Aula 23: Introdução à regressão com efeitos aleatórios.
06/06/2024 Aula 24: Introdução aos modelos lineares generalizados.
11/06/2024 Aula 25: Introdução à teoria assintótica de modelos lineares.
13/06/2024 Aula 26: [Apresentações]
18/06/2024 Aula 27: [Apresentações]
20/06/2024 Aula 28: [Apresentações]
27/06/2024 Aula 29: [Apresentações]
29/06/2024 Aula 30: [Apresentações]