Ratio de test
| Sigla | TEST_RAT |
| Aspecto | «Tests» |
| Se mide en | paquete, módulo, proyecto |
| Tipo de valor | proporción (entre 0 y 1; Stau Metro la muestra como porcentaje) |
| Dirección | más alto es mejor |
| Stau Metro | TestRatioPackage, TestRatioModule, TestRatioProject |
En pocas palabras
Dice qué parte del código del proyecto es código de test. Un 25 % significa que de cada cuatro líneas, una está en los tests. Es una forma rápida de ver si un módulo o un paquete tiene tests y si el código de test crece al ritmo del de producción, pero no dice si esos tests prueban lo importante.
Qué mide
El peso relativo del código de test dentro del código total, contado en líneas. Importa porque un módulo sin tests (0 %) se cambia sin red, y porque una proporción que baja con el tiempo indica que el código crece sin que crezcan las pruebas.
Es un indicador indirecto. No ejecuta nada: mide la cantidad de código de test, no cuánto código de producción ejercita ni qué errores detectaría. Para eso están la «cobertura de código» y la «puntuación de mutación». La proporción es útil precisamente donde no hay informes de cobertura, o como complemento barato.
Cómo se calcula
donde son las «líneas de código de test» y las «de producción»: líneas no vacías de los ficheros de las raíces de fuentes de producción y de test. Es una fracción del total, no el cociente test entre producción. La relación entre ambas formas es:
Un 50 % equivale a una línea de test por cada una de producción; un 25 %, a una de test por cada tres de producción.
Si no hay líneas (denominador 0), la métrica no tiene valor; no vale 0 %.
Ejemplo
Un módulo con:
| Ubicación | Contenido | Líneas no vacías | Cuenta |
|---|---|---|---|
src/main/java |
40 ficheros Java | 600 | producción |
src/main/resources |
application.yml |
20 | no (recursos) |
src/test/java |
15 ficheros Java | 200 | test |
src/test/resources |
datos JSON | 300 | no (recursos) |
pom.xml |
fuera de las raíces | 80 | no |
Equivale a una línea de test por cada tres de producción. Las 20 líneas de application.yml, las 300 de datos
JSON y las 80 de pom.xml no cuentan.
Cómo interpretarla
Más alto es mejor, pero Stau Metro no fija umbral de referencia, y no se ha podido comprobar un valor objetivo aceptado de forma general. Úsala por comparación:
- Entre módulos del mismo proyecto. Un módulo con
0 %o muy por debajo de los demás es la primera pista de dónde faltan tests. - En el tiempo. Si baja release tras release, los tests no acompañan al código.
- Con otras métricas. Léela junto a la cobertura si existe, y junto a las «aserciones por test»: una proporción alta de tests sin aserciones engaña.
Cuándo un valor bajo es aceptable. Código generado, módulos de configuración o de pegamento, y código cuyos tests viven en otro módulo (tests de integración en un módulo aparte) dan proporciones bajas sin ser un problema. Cuándo uno alto no es bueno. Los tests muy repetitivos o con muchos datos incrustados en el código inflan la proporción sin añadir confianza.
Ojo. Las líneas de test dependen del estilo: lenguajes y bibliotecas de tests más verbosos dan proporciones mayores con la misma cobertura real. No compares proporciones de proyectos con estilos o lenguajes distintos.
Para profundizar
El cociente entre el tamaño del código de test y el del código de producción ha servido en la literatura para estudiar cómo evolucionan ambos en el tiempo: Zaidman, Van Rompaey, Demeyer y Van Deursen (2008) siguen las líneas de producción y de test a lo largo de la historia del repositorio, junto con la cobertura, para distinguir patrones de co-evolución (tests que crecen a la par del código, o a saltos). No se ha encontrado una definición canónica de «ratio de test» con umbral. Antes de comparar una cifra publicada con esta, comprueba si es test entre producción o test entre total: con la fórmula de arriba se pasa de una a otra.
El tamaño del test es también una medida pobre de la calidad de los tests. Para saber cuánto ejercita el código usa cobertura, y para saber si detecta errores, mutación.
Relación con otras métricas
- «Líneas de código de test» (
LOCt): el numerador. - «Líneas de código de producción» (
LOCp): la otra parte del denominador. - «Cobertura de código»: lo que los tests ejecutan; la proporción es su sustituto aproximado.
- «Puntuación de mutación»: lo que los tests detectan.
- «Número de métodos de test JUnit» y «de aserciones»: densidad de tests y de comprobaciones en lugar de líneas.
- «Ratio de comentarios» (
COM_RAT): otra proporción de líneas, sobre comentarios.
En las herramientas
Stau Metro (TestRatioPackage, TestRatioModule, TestRatioProject). Es la proporción mostrada como porcentaje.
Esencial: forma parte del perfil de revisión rápida.
- Módulo y proyecto. El numerador son las líneas no vacías de los ficheros de las raíces de test; el denominador, las de esos ficheros más las de las raíces de producción. Los ficheros bajo raíces de recursos y los que están fuera de cualquier raíz de fuentes (README, scripts de construcción, documentación) no cuentan.
- Proyecto. Suma líneas de todos los módulos y divide una sola vez; no es la media de las proporciones de los módulos, de modo que los módulos grandes pesan más.
- Paquete. Las líneas de todos los ficheros del paquete, de test o de producción, forman el denominador; las de los ficheros de test, el numerador. Un paquete se identifica por su nombre, así que reúne los ficheros de las raíces de producción y de test de ese nombre. Un paquete que solo existe en las fuentes de test da 100 %.
- Cuenta todos los lenguajes y tipos de fichero de esas raíces (Java, Kotlin, XML...), no solo Java. No hay variante recursiva.
- Un módulo sin líneas de producción ni de test (por ejemplo, con solo un README) aparece sin valor, no con 0 %.
Referencias
- Zaidman, A., Van Rompaey, B., Demeyer, S. y Van Deursen, A. (2008). «Mining software repositories to study co-evolution of production & test code». 1st International Conference on Software Testing, Verification and Validation (ICST 2008), IEEE, 220-229.