Número de métodos de test JUnit
| Sigla | JTM (JTM(rec) en la variante recursiva del paquete) |
| Aspecto | «Tests» |
| Se mide en | clase, paquete, módulo, proyecto |
| Tipo de valor | recuento (entero, mínimo 0) |
| Dirección | informativa: ni alto ni bajo es mejor |
| Stau Metro | NumTestMethodsClass, NumTestMethodsPackage, NumTestMethodsRecursivePackage, NumTestMethodsModule, NumTestMethodsProject |
En pocas palabras
Cuenta los métodos que un framework de tests ejecutaría como tests. Es la unidad básica de una suite: cada método de test comprueba un comportamiento. No cuenta cuántas veces se ejecuta un método, ni si prueba algo útil.
Qué mide
El tamaño de la suite en número de tests, no en líneas. Dos suites con las mismas líneas pueden tener 10 tests largos
o 100 cortos; JTM los distingue. Las líneas de test divididas entre JTM dan el tamaño medio de un test; JTM
dividida entre las clases de test, cuántos tests tiene cada una; y las «aserciones» divididas
entre JTM, el número medio de comprobaciones por test.
Cómo se calcula
Se cuenta 1 por cada método que el reconocedor considera de test. En JUnit 5, un método de test es, según su
documentación, «cualquier método de instancia anotado directa o indirectamente (meta-anotado)» con @Test,
@RepeatedTest, @ParameterizedTest, @TestFactory o @TestTemplate. Salvo @Test, estas anotaciones crean un
contenedor que agrupa varios tests: un método @ParameterizedTest es un método, pero genera tantas ejecuciones como
conjuntos de argumentos tenga.
Ejemplo
import org.junit.jupiter.api.Test;
import org.junit.jupiter.params.ParameterizedTest;
import org.junit.jupiter.params.provider.ValueSource;
class OrderTest {
@Test void total() { } // +1 (anotado)
@ParameterizedTest @ValueSource(ints = {1, 2, 3})
void positive(int n) { } // +1 (un método, aunque se ejecute tres veces)
void helper() { } // 0
}
class LegacyTest extends junit.framework.TestCase {
public void testSum() { } // +1 (JUnit 3: público, void, empieza por "test")
void testHidden() { } // 0 (no es público)
}
JTM de OrderTest = 2 y de LegacyTest = 1.
Cómo interpretarla
Un valor alto indica una suite con muchos tests; uno bajo o cero, pocos o ninguno. Sin umbrales: depende del tamaño del código. Úsala en proporción:
- tests por clase de producción, o frente al «número de métodos»: una intuición de la densidad de pruebas;
- aserciones por test: un test con cero aserciones solo comprueba que el código no lanza excepciones.
Cuidado con el recuento de métodos parametrizados: un solo método con cien filas de datos suma 1.
Relación con otras métricas
- «Número de aserciones de test JUnit» (
JTA): su cociente conJTMes el promedio de aserciones por test. - «Número de casos de test JUnit» (
JTC): las clases que contienen estos métodos. - «Número de clases de test» (
Ct): las clases del código de test, tengan o no métodos de test. - «Cobertura de código»: mide qué ejecutan los tests, no cuántos son.
En las herramientas
Stau Metro (NumTestMethodsClass, NumTestMethodsPackage, NumTestMethodsRecursivePackage,
NumTestMethodsModule, NumTestMethodsProject). Un método cuenta si lleva directamente una de estas anotaciones:
org.junit.Test (JUnit 4), org.junit.jupiter.api.Test, RepeatedTest, TestFactory y TestTemplate (JUnit 5),
org.junit.jupiter.params.ParameterizedTest y org.testng.annotations.Test. Si no la lleva, cuenta cuando es
público, devuelve void, su nombre empieza por test y su clase se reconoce como caso de test (convención de
JUnit 3). No se comprueba la visibilidad, ni si es abstracto o estático, en los métodos anotados. En la convención
de JUnit 3 tampoco se miran los parámetros, y «caso de test» tiene el sentido de «JTC»: un
public void testAlgo() en una clase de JUnit 5 que tiene otros métodos @Test también cuenta, aunque JUnit 5 no lo
ejecute. La anotación se busca tal cual: un método con una anotación propia meta-anotada con @Test, que JUnit 5
sí ejecuta, no cuenta.
- Cuenta cada método una vez, sin importar cuántas veces lo ejecute el framework.
- No se limita a las raíces de test: un método anotado en código de producción también cuenta.
- A nivel de clase no se publica valor para las interfaces ni para los tipos anotación. Los miembros anidados con nombre tienen su propia fila y no se suman a la clase externa. Los métodos de una clase anónima declarada en el inicializador de un campo se suman a la clase que la contiene; los de una clase anónima o local declarada dentro del cuerpo de un método no se cuentan a nivel de clase, pero sí en el paquete, el módulo y el proyecto.
- En el módulo, todo fichero crea fila, de modo que un módulo sin Java da
0. En el paquete, solo los ficheros Java crean fila; el proyecto siempre tiene valor. - Solo Java: los tests escritos en Kotlin no se cuentan.
SonarQube define su métrica tests como «el número de pruebas unitarias»; la página de definiciones no precisa
cómo se obtiene.
Referencias
- JUnit, definiciones: https://docs.junit.org/current/writing-tests/definitions.html
- SonarQube, definición de métricas: https://docs.sonarsource.com/sonarqube-server/latest/user-guide/code-metrics/metrics-definition/