Aprendizagem Profunda e por Reforço

Conhecimentos de Base Recomendados

Inteligência Artificial; Aprendizagem Computacional; Programação, idealmente em Python; Conhecimentos sólidos de Inglês ao nível da leitura, escrita e fala.

Métodos de Ensino

Durante as aulas teóricas (T) serão apresentados e discutidos os conceitos, as teorias, os algoritmos. Nas aulas (PL) os alunos consolidarão o que aprenderam nas T. Os trabalhos práticos serão realizados sob a orientação do docente. A avaliação será baseada em duas componentes: (1) projetos envolvendo as técnicas e/ou um problema prático; (2) um exame escrito para avaliar o conhecimento dos alunos sobre os conteúdos de Aprendizagem Computacional Avançada.

Resultados de Aprendizagem

Após concluir a unidade curricular prevê-se que os alunos adquiram conhecimento sobre tópicos avançados de aprendizagem computacional e competências para o desenvolvimento de soluções que envolvam redes neuronais profundas e modelos de aprendizagem por reforço. No final deverão ter capacidade de analisar, modelar, implementar, treinar e executar:

 - redes totalmente conectadas, convulsionais, sequenciais, recursivas, de grafos e "transformers"

 - model free q-learning e deep q-networks, .

Além disso, serão abordados tópicos de estado da arte, apresentando as últimas tendências sobre temas, modelos e aplicações de aprendizagem profunda e por reforço.

Os alunos irão consolidar as suas competências de comunicação, análise e síntese, escrita e falada e de trabalho em grupo.

Estágio(s)

Não

Programa

1. Treino de Redes Neuronais

1.1 Propagação para a frente

1.2 Retropropagação e Regra da Cadeia

1.3 Otimização

1.4 Variações e Alternativas da Propagação para a frente

1.5 Inicialização, Normalização e Regularização

2. Aprendizagem Profunda

2.1. Redes Neurais Profundas

2.2. Redes Neurais Convolucionais

2.3. Modelos de Sequência e Redes Neurais Recorrentes

2.3.1 RNNs, LSTMs, GRUs

2.3.2 "Embeddings"

2.3.3 Seq2seq - Redes Codificador-Decodificador de RNNs

2.4. "Transformers"  

2.4.1 Mecanismo de Atenção

2.4.2 Autoatenção

2.4.3 Redes "Transformers"

2.4.4 Pré-treino e Aprendizagem por Transferência de Conhecimento

2.5. Redes Neuronais de Grafos

3. Aprendizagem por Reforço

3.1 "Q-learning"

3.2 Redes "Q-Networks" Profundas

3.3 Métodos de Gradiente de Política ("Policy-Gradient")

3.4 Métodos de Ator-Crítico ("Actor-Critic")

4. Tópicos Estado da Arte.

Docente(s) responsável(eis)

João Nuno Gonçalves Costa Cavaleiro Correia

Métodos de Avaliação

Avaliação
Projecto: 40.0%
Exame: 60.0%

Bibliografia

1. Christopher M. Bishop and Hugh Bishop, Deep Learning - Foundations and Concepts (2024). Springer 2024, ISBN 978-3-031-45467-7

2. Prince, S. J. (2023). Understanding Deep Learning. MIT Press.

3. Drori, I. (2022). The Science of Deep Learning. Cambridge University Press.

4. Banzhaf, W., Machado, P., & Zhang, M. (Eds.). (2023). Handbook of Evolutionary Machine Learning. Springer Nature Singapore. ISBN 9789819938148

5. Kamath, U., Graham, K., & Emara, W. (Eds.). (2022). Transformers for Machine Learning. A Deep Dive. Chapman & Hall. ISBN 9780367767341

6. Richard S. Sutton and Andrew G. Barto (2018), Reinforcement Learning: an introduction (2nd Edition), MIT Press.

7. Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016) , Deep Learning, MIT Press.