Processamento de Linguagem Natural

Conhecimentos de Base Recomendados

Tópicos de Inteligência Artificial, Álgebra Linear, Aprendizagem Computacional.

Métodos de Ensino

A Unidade Curricular terá aulas de dois tipos:
- Aulas teórico-práticas, que servirão para a exposição de conceitos teóricos e discussão de alguns exemplos práticos;
- Aulas práticas laboratoriais, para a familiarização com algumas ferramentas computacionais, sua aplicação em pequenos exemplos relacionados com os conceitos teóricos, e que podem ainda servir de apoio ao desenvolvimento do projeto.
O projeto consistirá no desenvolvimento de uma aplicação / modelo para a realização de uma tarefa PLN, bem como a respetiva validação.

Resultados de Aprendizagem

A linguagem humana é a forma mais natural de comunicarmos. Uma grande quantidade dos dados produzidos diariamente (e.g. na Web) está neste formato.
Nesta unidade espera-se a aquisição de competências ao nível do (pré-)processamento e manipulação deste tipo de dados, considerando a sua especificidade. Haverá um foco no conhecimento e aplicação de técnicas computacionais para exploração e formalização da linguagem natural, incluindo:
- Análise lexical, sintática e semântica;
- Abordagens simbólicas e baseadas em processamento estatístico;
- Aproveitamento de recursos linguísticos e ferramentas existentes;
- Aplicações de mais alto nível que lidam com a linguagem natural;
- Extração de caraterísticas que possam ser exploradas por outros sistemas inteligentes, em tarefas de previsão ou apoio à decisão;
- Visões mais teóricas e algum conhecimento linguístico.

Estágio(s)

Não

Programa

1. Introdução ao Processamento de Linguagem Natural
1.1 Linguagens formais e linguagens naturais
1.2 Ambiguidade, variabilidade linguística e outros fenómenos
1.3 Níveis de conhecimento
1.4 Processamento em cadeia

2. Palavras
2.1 Recursos: Léxicos e Corpos
2.2 Análise Morfológica
2.3 Recuperação de Informação
2.4 Classificação de Texto

3. Sequências
3.1 N-gramas e Modelos de Linguagem
3.2 Análise de Sequências

4. Semântica
4.1 Semântica Formal
4.2 Extração de Informação
4.3 Resolução de Correferência
4.4 Desambiguação do Sentido das Palavras
4.5 Semântica Vetorial

5. Modelos de Linguagem de Grande Escala
5.1 Transformers
5.2 Engenharia de Prompts
5.3 Geração via Recuperação de Informação
5.4 Questões Éticas

6. Aplicações
6.1 Resposta Automática a Perguntas
6.2 Tradução Automática
6.3 Sistemas de Diálogo

Docente(s) responsável(eis)

Hugo Ricardo Gonçalo Oliveira

Métodos de Avaliação

Avaliação
Projecto: 50.0%
Exame: 50.0%

Bibliografia

Dan Jurafsky and James H. Martin (2024). Speech and Language Processing, Prentice Hall, 2024.

Jacob Eisenstein (2019). Natural Language Processing. MIT Press.

Tunstall, L., von Werra, L., and Wolf, T. (2022). Natural Language Processing with Transformers. O’Reilly Media, Inc.

Alammar, J. and Grootendorst, M. (2024). Hands-On Large Language Models. O’Reilly Media, Inc.