Metodologias Experimentais em Informática

Conhecimentos de Base Recomendados

Estatística.

Métodos de Ensino

As aulas incluem exposição teórica sobre as metodologias experimentais e aplicação destas em casos de estudo na área de informática. A avaliação consiste em desenhar e analisar experiências em sistemas computacionais sob diversos cenários.

 

Resultados de Aprendizagem

Aquisição de conhecimentos e de competências em métodos experimentais para avaliação empírica de atributos não funcionais (e.g., desempenho, disponibilidade, segurança, etc.) de sistemas computacionais e de software tendo em conta as necessidades das diversas áreas da informática. Aquisição de competências de análise e de síntese, conceção, organização e planeamento de experiências em informática.

Estágio(s)

Não

Programa

- Introdução: estudos experimentais em engenharia e em ciência

- Análise de dados e análise exploratória de dados

- Conceção de experiências: visão global

- Amostragem e distribuição de dados

- Medições, incerteza, variabilidade e intervalos de confiança

- Tabelas de contingência, medidas de associação e correlação

- Teste de hipóteses

     - Métodos paramétricos

     - Métodos não paramétricos

- Regressão linear, transformação de dados

- Experiências de simulação

     - Modelos de simulação

     - Linguagens de simulação

     - Geração de números pseudoaleatórios

     - Calibração de modelos e validação

     - Conceção de experiências de simulação e análise de resultados

- Experiências com pessoas.

Docente(s) responsável(eis)

Luís Filipe dos Santos Coelho Paquete

Métodos de Avaliação

Avaliação
Exame: 45.0%
Projecto: 55.0%

Bibliografia

1) T. Bartz-Beielstein, M. Chiarandini, L. Paquete, M. Preuss, Experimental Methods for the Analysis of Optimization Algorithms, Springer, 2010.

2) Natalia Juristo and Ana M. Moreno, Basics of Software Engineering Experimentation, Springer Publishing Company, 2010

3) P. Cohen, Empirical Methods for Artificial Intelligence, MIT Press, 1995

4) R. Jain, The Art of Computer Systems Performance Analysis, Wiley 1991.

5) D.J. Lilja, Measuring Computer Performance, Cambridge University Press, 2000

6) J. Lazar, J. Feng, H. Hochheiser, Research Methods in Human-Computer Interaction, (Chapter11 - Analyzing qualitative data), John Wiley and Sons, 2010.

7) C.C. McGeoch, A Guide to Experimental Algorithmics, Cambrigde University Press, 2012.