Navegación

Búsqueda

Búsqueda avanzada

Search-based mutant selection for efficient test suite improvement: Evaluation and results

Las técnicas basadas en búsqueda se han aplicado a casi todas las áreas de la Ingeniería del Software, especialmente a la prueba de software, con el fin de abordar problemas de difícil resolución. Sin embargo, el problema de la selección de mutantes con el objetivo de mejorar el conjunto de pruebas no ha sido explorado tanto como otros problemas del mismo área, como puede ser la generación de datos de prueba. En este artículo aplicamos selección de mutantes basada en búsqueda para la mejora eficiente de la calidad de las pruebas. Concretamente, usamos la técnica conocida como prueba de mutación evolutiva (PME), la cual permite reducir el número de mutantes pero sin pérdida significativa de efectividad. A pesar de los beneficios que su aplicación ha reportado, los resultados empíricos hasta el momento han sido derivados de un número limitado de casos de estudio, un único conjunto de operadores de mutación así como una métrica poco representativa del rendimiento real de la técnica. Este artículo trata de aliviar estos defectos definiendo una nueva metodología para la evaluación de PME basada en la mejora real que se logra en el conjunto de pruebas al usar la estrategia evolutiva. Después, aplicamos esta metodología en nuevos experimentos con un conjunto de programas en C++ reales. Los resultados muestran que PME proporciona un buen rendimiento para la mayoría de casos y niveles de exigencia de mejora de las pruebas (en torno al 45% mejor que la selección aleatoria en el mejor caso). Los resultados revelan que incluso un conjunto reducido de mutantes seleccionado con PME es útil para incrementar la calidad de las pruebas, especialmente en los programas con un número mayor de mutantes. En definitiva, estos resultados apoyan el uso de técnicas basadas en búsqueda para resolver el problema de la selección de mutantes para la mejora eficiente de las pruebas. Adicionalmente, identificamos ciertos aspectos que previsiblemente podrían ayudar a mejorar la técnica PME.

GAmeraHOM: una herramienta de generación de mutantes de orden superior para WS-BPEL

El desarrollo de técnicas para que la prueba de mutaciones disminuya el tiempo de cómputo y reduzca los mutantes producidos no han ido en paralelo al desarrollo de herramientas generadoras de mutantes que las implementen. Una de las técnicas de optimización propuestas sugiere utilizar mutantes de orden superior, sin embargo apenas existen herramientas que la implementen. En este trabajo se presenta GAmeraHOM, el primer generador de mutantes de orden superior para WS-BPEL, basado en la mutación evolutiva mediante el empleo de un algoritmo genético. Esto conlleva una reducción del número de mutantes generados y ejecutados, seleccionando principalmente los mutantes difíciles de matar y los potencialmente equivalentes. Este conjunto reducido permitirá mejorar la calidad del conjunto de casos de prueba. La herramienta GAmeraHOM provee una configuración fácilmente parametrizable y además permite adaptar el código del generador a otros lenguajes de forma independiente.