Are We Getting Reliable Evidence? Methodology is Critical in Empirical Studies

Abstract

Los estudios empíricos permiten generar evidencia sobre el desarrollo de software, identificando relaciones entre variables y mejorando así su comprensión. La realización de cada tipo de estudio empírico —experimentos, estudios observacionales (por ejemplo, estudios de MSR), estudios de caso, etc.— requiere seguir una metodología (es decir, un procedimiento). La adecuada adhesión a dicha metodología garantiza la fiabilidad de los resultados. Ser consciente de la importancia de respetar la metodología al realizar un estudio empírico es fundamental para avanzar en la generación de evidencia sobre el desarrollo de software. El rigor metodológico en la ejecución de estudios empíricos es esencial para obtener hallazgos fiables. Sobre hallazgos fiables se puede construir evidencia. Los resultados no fiables son inútiles o incluso engañosos. La comunidad de Ingeniería del Software tiende a prestar poco interés al rigor metodológico. Esta actitud dificulta el avance y garantiza que se siga tropezando con la misma piedra. Durante la charla se discutirá el estatus metodológico de dos tipos de estudios empíricos (experimentos y estudios observacionales), algunas actividades empíricas (como el análisis y la agregación de datos, entre otras) y varios “dominios” empíricos (como el laboratorio y los estudios que usan datos de repositorios).