Teoría de la medición: escalas, validez y propiedades de Weyuker
Una métrica es un número, pero no todo lo que se puede hacer con un número tiene sentido con ella. Sumar dos recuentos de líneas da otro recuento de líneas; sumar dos índices de mantenibilidad no da nada. Esta página trata las escalas (qué operaciones admite cada valor), la teoría representacional (qué significa medir un atributo), la validez de constructo (cómo se sabe que se mide) y los marcos de propiedades para juzgar una métrica antes de usarla.
Para quien empieza. Basta con leer la primera sección, sobre las escalas, y la última, «Qué hacer con todo esto». La regla práctica es esta: antes de hacer una media, un cociente o una suma con una métrica, pregúntate si el resultado sigue significando algo.
Las escalas de Stevens
El psicólogo S. S. Stevens (1946) clasificó las escalas de medida en cuatro tipos. Cada tipo se define por las transformaciones que no le cambian el sentido, y de ahí sale qué estadísticos son legítimos: los que no cambian al aplicar esas transformaciones. La lista es acumulativa: lo que vale para una escala vale para todas las de debajo.
| Escala | Qué se puede afirmar | Transformaciones admitidas | Estadísticos admitidos |
|---|---|---|---|
| Nominal | igual o distinto | cualquier sustitución uno a uno | número de casos, moda |
| Ordinal | mayor o menor | cualquier función creciente | mediana, percentiles |
| Intervalo | diferencias iguales | x' = a·x + b, con a > 0 | media, desviación típica, correlación |
| Razón | cocientes iguales | x' = a·x, con a > 0 | coeficiente de variación |
Fenton, Pfleeger y Glass (1994) usan cinco escalas: añaden la absoluta, la más estricta, a las cuatro de Stevens.
La idea que importa en la práctica es la de afirmación con sentido (meaningful): una afirmación sobre medidas tiene sentido si su verdad no cambia al aplicar una transformación admitida. El ejemplo de Fenton, Pfleeger y Glass es la temperatura: «hoy en Tokio hace el doble de calor que en Londres» puede ser verdad en grados Celsius (40 frente a 20) y falsa en Fahrenheit (104 frente a 68), así que no tiene sentido. La media tiene sentido en una escala de razón, pero no en una ordinal; la mediana, en una ordinal, pero no en una nominal.
Las métricas de esta referencia, escala por escala
- Nominal. El «aspecto» de una métrica, el nivel al que se mide o el tipo de fichero de las métricas que se desglosan por tipo de fichero. Solo admiten contar y agrupar.
- Ordinal. Las zonas que resultan de aplicar un umbral (correcto, aviso, error) y las clasificaciones de «puntos calientes de cambio», que su propia página describe como «ordenación o puntuación relativa». Se pueden ordenar y contar; la media de «aviso» y «error» no existe.
- Intervalo. Son raras en código. La fecha del último cambio de un fichero es un ejemplo: la diferencia entre dos fechas tiene sentido; decir que un fichero es «el doble de reciente» no.
- Razón. Los recuentos, como las «líneas de código sin comentarios» o el «número de parámetros»: tienen un cero que significa ausencia, y un método con 40 líneas tiene el doble que uno con 20. También las proporciones de dos recuentos de la misma unidad, como el «ratio de test» o el «ratio de comentarios».
Cuatro casos piden cuidado:
- Un recuento que no empieza en cero. La «complejidad ciclomática» vale 1 más el número de decisiones, así que su mínimo es 1. Un método que vale 10 no tiene el doble de decisiones que uno que vale 5: tiene 9 frente a 4. Los cocientes solo tienen sentido sobre las decisiones, no sobre el valor.
- Una proporción es de razón, pero no se agrega como un recuento. La media de los ratios de test de diez paquetes no es el ratio de test del módulo, porque cada paquete pesa distinto. Lo trata «Agregar métricas».
- Un índice derivado hereda las dudas de su fórmula. La «distancia a la secuencia principal» es un número entre 0 y 1 calculado a partir de otros dos. En el plano de la abstracción y la inestabilidad, un paquete con 0,6 sí está el doble de lejos de la secuencia principal que uno con 0,3; lo que la fórmula no garantiza es que su problema de diseño sea el doble de grave. Para ordenar paquetes sirve; para hacer cocientes, no.
- Una fórmula ajustada a datos no tiene cero natural. El «índice de mantenibilidad» parte de una constante (171), le resta dos logaritmos y un término lineal, y no está acotado en su forma original; Visual Studio lo reescala de 0 a 100. Ni su cero significa «nada mantenible» ni un 60 es el doble de bueno que un 30. Su propia página lo considera cómodo para ordenar módulos, que es el uso que la escala ordinal permite.
Críticas a la tipología
La tabla de Stevens no es indiscutible. Él mismo admitía que usar medias con escalas ordinales tenía una «sanción pragmática», porque a menudo da resultados útiles, y advertía de que el error crece cuanto más desiguales son los intervalos. Velleman y Wilkinson (1993) sostienen que la tipología es engañosa como guía para elegir un análisis estadístico: no describe los rasgos de los datos que importan para analizarlos. En ingeniería del software, Briand, El Emam y Morasca (1996) defienden un uso pragmático: aplicar al pie de la letra las prohibiciones de la teoría de la medición frenaría gran parte del trabajo empírico, y algunas violaciones son aceptables en la práctica.
La teoría representacional
La teoría representacional, la que expone Fenton para el software, parte de una definición precisa: medir es asignar números a las entidades de modo que las relaciones entre los números reflejen las relaciones que se observan entre las entidades. Briand, Morasca y Basili (1996) lo formulan con dos sistemas relacionales:
- el empírico: las entidades (programas, clases, paquetes) y las relaciones que se observan entre ellas, como «este programa es más complejo que aquel»;
- el formal: los números y sus relaciones, como
>.
Una medida es una aplicación del primero en el segundo que conserva las relaciones: si la relación empírica «más
complejo que» se representa con >, entonces el programa es más complejo que si y solo si
. Fenton y Bieman (2014) llaman a esta exigencia condición de representación.
La consecuencia es incómoda: para medir un atributo hay que saber antes cómo se comporta. Si no hay acuerdo sobre cuándo un programa es más complejo que otro, ningún número puede representar la complejidad. Fenton (1994) concluye por eso que buscar una medida general de la complejidad del software está condenado al fracaso; la teoría sí ayuda a definir y validar medidas de atributos concretos de la complejidad. Fenton, Pfleeger y Glass (1994) añaden que la escala de un atributo normalmente no se conoce de antemano: se empieza con una idea tosca, se mide, se comparan los datos con lo que se observa y se refina la definición. Kaner y Bond (2004) aceptan la teoría, pero, por su experiencia con estudiantes y profesionales, la ven intimidante y poco usada en la práctica, y recuerdan que Michell (1999) la ha criticado con dureza.
Validez de constructo
Un constructo es un atributo que no se observa directamente: la mantenibilidad, la comprensibilidad, la cohesión. El término validez de constructo nació en un comité de la American Psychological Association, y Cronbach y Meehl (1955) lo desarrollaron: hay que estudiarla cuando no se acepta como del todo adecuado ningún criterio con el que comparar el test. Kaner y Bond (2004) lo resumen en una pregunta: ¿cómo sabemos que medimos el atributo que creemos estar midiendo?
Briand, Morasca y Basili (1996) distinguen los atributos internos (tamaño, complejidad, cohesión, acoplamiento), que se miden sobre el propio código, de los externos (mantenibilidad, fiabilidad), que dependen de cómo se usa y se modifica. Casi todas las métricas de esta referencia miden atributos internos y se usan como indicios de atributos externos. Hay dos preguntas distintas:
- ¿La métrica capta el atributo interno que dice captar? Es la pregunta que responden los marcos de propiedades de las secciones siguientes.
- ¿El atributo interno se relaciona con el externo? Es una pregunta empírica. La «complejidad cognitiva», por ejemplo, se propuso para medir la dificultad de comprensión, y su primera validación empírica llegó años después. El «acoplamiento entre objetos» predecía las clases con fallos en un estudio y dejaba de hacerlo en otro al controlar el tamaño. Lo trata «Qué dice la evidencia empírica».
Kaner y Bond critican la norma IEEE 1061, que exime de validación a las medidas «directas»: según ellos, casi ningún atributo de la ingeniería del software es tan simple que pueda medirse directamente, así que todas las métricas deben validarse. Su ejemplo son los recuentos de errores, que captan solo una parte pequeña de los atributos para los que se usan. Proponen diez preguntas para evaluar una métrica; la última es cuáles son sus efectos secundarios previsibles: cuando la medida se convierte en objetivo, la gente optimiza el número y no el atributo.
No hay acuerdo sobre el término. Sjøberg y Bergersen (2023) revisaron 83 artículos de experimentos con personas y encontraron definiciones distintas de validez de constructo. Meneely, Smith y Williams (2012) reunieron 47 criterios de validación de métricas, de 20 publicaciones, que responden a motivaciones distintas y a veces opuestas.
Las nueve propiedades de Weyuker
Weyuker (1988) propuso nueve propiedades que debería cumplir una medida de complejidad sintáctica y comprobó cuatro medidas conocidas: el recuento de sentencias, el número ciclomático, el esfuerzo de Halstead y una complejidad de flujo de datos. En lo que sigue, es la complejidad del programa y la concatenación de dos programas. La formulación sigue la de Briand, Morasca y Basili (1996).
| Propiedad | Enunciado |
|---|---|
| W1 | No todos los programas valen lo mismo. |
| W2 | Para cada valor c solo hay un número finito de programas con complejidad c. |
| W3 | Hay programas distintos con la misma complejidad. |
| W4 | Hay programas que hacen lo mismo y tienen complejidad distinta. |
| W5 | Monotonía: un programa no es menos complejo que cualquiera de sus partes concatenadas. |
| W6 | Dos programas con la misma complejidad pueden dejar de tenerla al concatenarles un mismo tercero. |
| W7 | Reordenar las sentencias de un programa puede cambiar su complejidad. |
| W8 | Renombrar no cambia la complejidad. |
| W9 | Hay programas P y Q cuya concatenación es más compleja que la suma de los dos. |
Ninguna de las cuatro medidas cumplía las nueve. Según la tabla de Beyer y Häring (2014), que recoge los resultados
de Weyuker, el número ciclomático incumple W2, W6, W7 y W9, y el recuento de sentencias, W6, W7 y W9. Con
«v(G)» se ve enseguida por qué:
- W2. Cualquier método sin decisiones vale 1, tenga tres líneas o tres mil: hay infinitos programas con valor 1.
- W6 y W9. Las decisiones de son las de más las de , así que la complejidad de la concatenación solo depende de las de las partes y nunca supera su suma.
- W7. Reordenar sentencias no añade ni quita decisiones.
Chidamber y Kemerer (1994) evaluaron su conjunto de métricas orientadas a objetos con estas propiedades, y ninguna de sus seis cumplía W9 (Briand, Morasca y Basili, 1996). El ejercicio se ha repetido con métricas posteriores; Beyer y Häring lo hacen con una medida de dependencias de datos que, según ellos, cumple las nueve.
Críticas. Briand, Morasca y Basili (1996) resumen que el conjunto se ha criticado por inconsistente (Zuse, 1991) y por incompleto (Cherniavsky y Smith, 1991). Fenton (1994) señala también un problema en las propiedades, pero considera inválida la crítica de Cherniavsky y Smith. El análisis de Briand y sus colegas añade tres puntos:
- W9 es la más discutida. La propia Weyuker rechazó una versión más fuerte (que la concatenación valga siempre al menos la suma), porque entender un programa concatenado consigo mismo no cuesta el doble.
- W6 y W7 imponen una idea de complejidad. Exigirlas obliga a que toda medida sea sensible al orden de las sentencias o a las relaciones nuevas entre partes; negarlas obliga a lo contrario. Ninguna opción vale para todas las facetas de la complejidad.
- W8 separa complejidad y comprensibilidad. Renombrar las variables con nombres absurdos no cambia la complejidad, pero sí lo fácil que es entender el código: la complejidad es solo uno de los factores de la comprensión.
El marco de Briand, Morasca y Basili
Briand, Morasca y Basili (1996) sostienen que muchas polémicas se deben a llamar «complejidad» a cosas distintas. En lugar de un único conjunto de propiedades, definen uno por concepto. Representan cualquier artefacto (código, diseño, especificación) como un sistema de elementos y relaciones, dividido en módulos, y piden:
| Concepto | Propiedades |
|---|---|
| Tamaño | no negativo; nulo sin elementos; aditivo al unir módulos disjuntos |
| Longitud | no negativa; nula sin elementos; con módulos disjuntos, la del sistema es la máxima |
| Complejidad | no negativa; nula sin relaciones; no depende del sentido de las relaciones; el sistema vale al menos la suma de dos módulos sin relaciones comunes; aditiva con módulos disjuntos |
| Cohesión | no negativa y normalizada; nula sin relaciones internas; no baja al añadir relaciones internas; no sube al unir módulos sin relación |
| Acoplamiento | no negativo; nulo sin relaciones entre módulos; no baja al añadir relaciones entre módulos; no sube al fusionar módulos; aditivo con módulos disjuntos |
Las propiedades no dicen qué medida es buena, sino qué concepto mide una medida. Con ellas, los autores reclasifican métricas conocidas:
- La «complejidad ponderada de los métodos» (
WMC) y el «número de hijos» (NOC) son medidas de tamaño; la «profundidad de herencia» (DIT), de longitud; el «CBO», de acoplamiento; la «respuesta para la clase» (RFC), de tamaño y de acoplamiento. La «LCOM» de Chidamber y Kemerer no encaja en el marco. Ninguna es una medida de complejidad, lo que explica que no cumplieran W9. - El número ciclomático incumple la monotonía por módulos, pero (con componentes conexos) cumple las cinco propiedades de complejidad.
- La «longitud» de Halstead es una medida de tamaño, pero el «volumen» no: al unir dos fragmentos que comparten operadores, el volumen puede quedar por debajo de la suma.
- El flujo de información de «Henry y Kafura» no es aditivo, por el producto y el cuadrado; el «fan-in y el fan-out» por separado sí cumplen las propiedades de complejidad.
El mismo método se aplicó después a la cohesión y al acoplamiento de clases: en los marcos de Briand, Daly y Wüst
(1998 y 1999) solo unas pocas medidas, como la
«cohesión estrecha» TCC, cumplen las propiedades de cohesión, y el
CBO puede bajar al fusionar dos clases sin relación entre sí, cuando debería sumarse. Lo cuentan sus páginas.
Las críticas al marco se refieren sobre todo a la aditividad. Zuse (1997) respondió que los autores malinterpretaban su trabajo: él no exige que las medidas de complejidad sean aditivas. Poels y Dedene (1997) señalaron incoherencias en las propiedades de aditividad y propusieron refinarlas. Los propios autores reconocen que su conjunto es en parte subjetivo y que la función constante cero cumple sus propiedades de complejidad: casi siempre se puede construir una medida que cumpla un conjunto de propiedades y no sirva para nada en la práctica.
El marco de validación de Kitchenham, Pfleeger y Fenton
Kitchenham, Pfleeger y Fenton (1995) proponen un marco para validar una medida que parte de un modelo de la estructura de la medición, con los componentes elementales de una medida y del proceso de medir. Sobre él consideran cinco modelos relacionados: el de definición de la unidad, el de instrumentación, el de relación entre atributos, el del protocolo de medición y el de la población de entidades.
Según el resumen de Stein y sus colegas (2004), el marco pide cuatro tipos de validez:
- de atributo: la entidad estudiada tiene de verdad el atributo;
- de unidad: la unidad es apropiada para el atributo;
- instrumental: el modelo subyacente es válido y el instrumento está calibrado;
- de protocolo: la medida se toma de forma coherente y sin ambigüedad, sin contar dos veces lo mismo.
Para una medida indirecta pide además que el modelo que combina las medidas sea correcto, que se respeten unidades y escalas y que la fórmula no se rompa, por ejemplo con una división entre cero.
Aplicado a los «puntos de función», el marco encuentra problemas en su construcción. Entre las reglas con las que cierran los autores está usar vectores de medidas en lugar de escalares compuestos de forma artificial. Un índice que combina tres métricas, dos de ellas en logaritmo, con pesos ajustados a mediciones, como el de mantenibilidad, es justo el tipo de escalar que esa regla pone en cuestión.
El marco también tuvo réplica. Kitchenham y sus colegas sostenían que las propiedades con las que se define una medida no deben imponerle un tipo de escala. Morasca, Briand, Basili, Weyuker y Zelkowitz (1997) respondieron que esa restricción era inapropiada y señalaron una mala interpretación de las propiedades de Weyuker. Kitchenham, Pfleeger y Fenton (1997) contestaron en el mismo número.
Qué hacer con todo esto
- Mira qué escala tiene una métrica antes de agregarla o compararla. Un recuento admite medias y cocientes; una zona o una ordenación, solo medianas y recuentos.
- No pidas a una métrica más de lo que dice medir: que
WMCse correlacione con los fallos es una cuestión empírica, no una propiedad de la métrica. - Prefiere varias métricas leídas juntas a un índice que las mezcla. El índice ordena; las métricas explican.
- Elige las métricas a partir de una pregunta: es lo que propone «Goal-Question-Metric». Los errores de olvidarlo están en «Errores frecuentes».
Referencias
- Stevens, S. S. (1946). «On the Theory of Scales of Measurement». Science, 103(2684), 677-680. https://www.jstor.org/stable/1671815
- Velleman, P. F. y Wilkinson, L. (1993). «Nominal, Ordinal, Interval, and Ratio Typologies Are Misleading». The American Statistician, 47(1), 65-72. https://doi.org/10.1080/00031305.1993.10475938
- Fenton, N. E., Pfleeger, S. L. y Glass, R. L. (1994). «Science and Substance: A Challenge to Software Engineers». IEEE Software, 11(4), 86-95. https://doi.org/10.1109/52.300094
- Fenton, N. E. (1994). «Software Measurement: A Necessary Scientific Basis». IEEE Transactions on Software Engineering, 20(3), 199-206. https://doi.org/10.1109/32.268921
- Fenton, N. E. y Bieman, J. (2014). Software Metrics: A Rigorous and Practical Approach, 3.ª ed. CRC Press (sección 2.1.3, «The Representation Condition of Measurement»).
- Briand, L. C., El Emam, K. y Morasca, S. (1996). «On the Application of Measurement Theory in Software Engineering». Empirical Software Engineering, 1, 61-88. https://doi.org/10.1007/BF00125812
- Briand, L. C., Morasca, S. y Basili, V. R. (1996). «Property-Based Software Engineering Measurement». IEEE Transactions on Software Engineering, 22(1), 68-86. https://doi.org/10.1109/32.481535
- Briand, L. C., Daly, J. W. y Wüst, J. (1998). «A Unified Framework for Cohesion Measurement in Object-Oriented Systems». Empirical Software Engineering, 3(1), 65-117. https://doi.org/10.1023/A:1009783721306
- Briand, L. C., Daly, J. W. y Wüst, J. K. (1999). «A Unified Framework for Coupling Measurement in Object-Oriented Systems». IEEE Transactions on Software Engineering, 25(1), 91-121. https://doi.org/10.1109/32.748920
- Cronbach, L. J. y Meehl, P. E. (1955). «Construct Validity in Psychological Tests». Psychological Bulletin, 52(4), 281-302. https://doi.org/10.1037/h0040957
- Kaner, C. y Bond, W. P. (2004). «Software Engineering Metrics: What Do They Measure and How Do We Know?». 10th International Software Metrics Symposium (METRICS 2004). https://kaner.com/pdfs/metrics2004.pdf
- Michell, J. (1999). Measurement in Psychology: A Critical History of a Methodological Concept. Cambridge University Press.
- Sjøberg, D. I. K. y Bergersen, G. R. (2023). «Construct Validity in Software Engineering». IEEE Transactions on Software Engineering, 49(3), 1374-1396. https://doi.org/10.1109/TSE.2022.3176725
- Meneely, A., Smith, B. y Williams, L. (2012). «Validating Software Metrics: A Spectrum of Philosophies». ACM Transactions on Software Engineering and Methodology, 21(4), artículo 24. https://doi.org/10.1145/2377656.2377661
- Weyuker, E. J. (1988). «Evaluating Software Complexity Measures». IEEE Transactions on Software Engineering, 14(9), 1357-1365. https://doi.org/10.1109/32.6178
- Cherniavsky, J. C. y Smith, C. H. (1991). «On Weyuker's Axioms for Software Complexity Measures». IEEE Transactions on Software Engineering, 17(6), 636-638. https://doi.org/10.1109/32.87287
- Zuse, H. (1991). Software Complexity: Measures and Methods. De Gruyter.
- Zuse, H. (1997). «Reply to: Property-Based Software Engineering Measurement». IEEE Transactions on Software Engineering, 23(8), 533. https://doi.org/10.1109/32.624309
- Poels, G. y Dedene, G. (1997). «Comments on "Property-Based Software Engineering Measurement: Refining the Additivity Properties"». IEEE Transactions on Software Engineering, 23(3), 190-197. https://doi.org/10.1109/32.585508
- Beyer, D. y Häring, P. (2014). «A Formal Evaluation of DepDegree Based on Weyuker's Properties». Proceedings of the 22nd International Conference on Program Comprehension (ICPC 2014), 258-261. https://doi.org/10.1145/2597008.2597794
- Chidamber, S. R. y Kemerer, C. F. (1994). «A Metrics Suite for Object Oriented Design». IEEE Transactions on Software Engineering, 20(6), 476-493. https://doi.org/10.1109/32.295895
- Kitchenham, B., Pfleeger, S. L. y Fenton, N. (1995). «Towards a Framework for Software Measurement Validation». IEEE Transactions on Software Engineering, 21(12), 929-944. https://doi.org/10.1109/32.489070
- Morasca, S., Briand, L. C., Basili, V. R., Weyuker, E. J. y Zelkowitz, M. V. (1997). «Comments on "Towards a Framework for Software Measurement Validation"». IEEE Transactions on Software Engineering, 23(3), 187-189. https://doi.org/10.1109/32.585506
- Kitchenham, B., Pfleeger, S. L. y Fenton, N. (1997). «Reply to: Comments on "Towards a Framework for Software Measurement Validation"». IEEE Transactions on Software Engineering, 23(3), 189. https://doi.org/10.1109/TSE.1997.585507
- Stein, C., Etzkorn, L., Cox, G., Farrington, P., Gholston, S., Utley, D. y Fortune, J. (2004). «A New Suite of Metrics for Object-Oriented Software». 1st International Workshop on Software Audits and Metrics, 49-58 (resumen del marco de Kitchenham y colegas). https://scitepress.org/Papers/2004/26494/pdf/index.html