Goal-Question-Metric: elegir qué medir
Una herramienta de métricas da decenas de números por clase. La tentación es mirarlos todos y preocuparse por los que salen en rojo. Goal-Question-Metric (GQM) propone el camino contrario: primero se decide para qué se mide, después qué preguntas hay que contestar para saberlo y solo al final qué métricas contestan esas preguntas. Lo que no responde a ninguna pregunta no se mide, o se mide sin mirarlo.
Para quien empieza. Si solo te quedas con una idea: no empieces por la lista de métricas de tu herramienta. Empieza por escribir en una frase qué decisión quieres tomar con ellas.
De dónde viene
Basili y Weiss (1984) describieron una metodología para recoger datos válidos de ingeniería del software: las afirmaciones que se hacen sobre un método de desarrollo definen los objetivos de la recogida; de los objetivos sale una lista de preguntas que el análisis debe contestar, y de las preguntas, los esquemas para clasificar los datos y los formularios para recogerlos. La aplicaron en cinco proyectos de dos entornos.
Basili, Caldiera y Rombach (1994) dieron al método la forma con la que se cita hoy. Lo presentan como surgido de la evaluación de defectos en proyectos del Goddard Space Flight Center de la NASA, y como el paso de fijar objetivos dentro de un ciclo de mejora más amplio, el Quality Improvement Paradigm. Su punto de partida es que la medición, para ser útil, tiene que definirse de arriba abajo: hay demasiadas características observables en el software (tiempo, defectos, complejidad, líneas de código, esfuerzo) para saber cuáles mirar sin un objetivo y un modelo que las interprete.
El método
Un modelo GQM tiene tres niveles:
- Objetivo (nivel conceptual). Se define para un objeto (un producto, como un programa o una batería de tests; un proceso, como la revisión de código; o un recurso, como el equipo), con un propósito, respecto a un aspecto de calidad, desde un punto de vista y en un contexto.
- Preguntas (nivel operativo). Caracterizan el objeto respecto al aspecto elegido y permiten juzgar si el objetivo se cumple. Basili y sus colegas proponen al menos tres grupos: cómo es el objeto, cómo son los atributos que importan para el aspecto elegido y cómo se valoran esos atributos desde el punto de vista elegido.
- Métricas (nivel cuantitativo). Los datos que contestan cada pregunta. Pueden ser objetivos, si solo dependen del objeto (el tamaño de un programa), o subjetivos, si dependen también de quien mide (la satisfacción de un usuario).
Una misma métrica puede servir a varias preguntas, y una pregunta suele necesitar varias métricas. Para escribir el objetivo se usa una plantilla fija, que Basili (2007) presenta así: analyze (el objeto) for the purpose of (el propósito) with respect to (el aspecto de calidad) from the point of view of (quién) in the context of (dónde).
Lo que el diagrama de tres niveles no muestra, y es lo más importante, es el modelo de interpretación: las reglas que dicen qué valores contestan la pregunta en un sentido o en otro. Sin él, el modelo GQM se queda en una lista de métricas con título.
Un ejemplo de principio a fin
Un equipo de cinco personas mantiene una aplicación Java de facturación y tiene tiempo para refactorizar un par de semanas por trimestre. Quiere saber por dónde empezar.
Objetivo. Analizar el código Java de producción de la aplicación con el propósito de decidir qué refactorizar primero, respecto a la facilidad para cambiarlo sin introducir errores, desde el punto de vista del equipo que lo mantiene, en el contexto de una publicación cada dos semanas y dos semanas de refactorización por trimestre.
Preguntas y métricas.
| Pregunta | Métricas | Por qué esas |
|---|---|---|
| P1. ¿Qué métodos cuesta más seguir? | «CogC», «NBD», «NCLOC» por método |
La complejidad cognitiva penaliza el anidamiento; las líneas descartan que sea solo volumen |
| P2. ¿Dónde se propaga un cambio a muchas clases? | «CBO» y «Dpt» por clase, «Cyclic» por paquete |
Una clase con muchos dependientes o un ciclo entre paquetes hacen que el cambio no quede local |
| P3. ¿Qué partes se tocan de verdad? | «rotación del código», «puntos calientes» | El código complejo que nadie modifica no cuesta nada |
| P4. ¿Están protegidas por tests las partes que vamos a tocar? | «cobertura de código», «TEST_RAT» por paquete |
Refactorizar sin tests convierte una mejora en un riesgo |
Modelo de interpretación. El equipo lo fija antes de mirar los datos:
- Candidato a refactorizar: un método con
CogCpor encima de 15 (el aviso de referencia de Stau Metro) en un fichero que está entre el 10 % con más cambios del último año. - Si la clase de ese método tiene
CBOpor encima de 13 (también aviso de referencia de Stau Metro), la refactorización empieza por cortar dependencias, no por partir el método. - Un ciclo entre paquetes (
Cyclicmayor que 0, umbral de error de referencia de Stau Metro) entra en la lista aunque el código no cambie mucho, porque impide separar las partes. - Si la cobertura de ramas del candidato es baja, el primer paso son los tests de caracterización, no la refactorización.
- Se repite la medida al final del trimestre: el objetivo se cumple si los candidatos bajan de la zona de aviso sin
que suba la
CogCde sus vecinos.
El 10 % y el periodo de un año son decisiones del equipo, no umbrales publicados: el modelo de interpretación es suyo y debe poder discutirse.
El mismo modelo, dibujado:
Un objetivo arriba, cuatro preguntas debajo y, bajo cada pregunta, las métricas que la contestan.
De dónde sale cada dato. Las métricas de P1 y P2 y el TEST_RAT se obtienen del código; Stau Metro las calcula
todas. La rotación y los puntos calientes salen del historial de versiones, y la cobertura, de ejecutar los tests con
una herramienta como JaCoCo; Stau Metro no calcula ninguna de las tres. GQM no se detiene ahí: si una pregunta
necesita un dato que la herramienta no da, se busca otra fuente, o se reformula la pregunta, pero no se sustituye
por la métrica que sí está a mano.
Lo que se dejó fuera. La «falta de cohesión», la «cobertura Javadoc» o la «distancia a la secuencia principal» son útiles, pero no contestan ninguna de las cuatro preguntas. Medirlas en este ejercicio solo añade ruido a la lista de candidatos.
Errores al aplicarlo
- Empezar por las métricas. Es el enfoque de abajo arriba que Basili, Caldiera y Rombach descartan: sin objetivo no se sabe qué mirar ni cómo leerlo. Una lista de métricas «por si acaso» suele acabar en un informe que nadie usa.
- Medir demasiado. Basili y sus colegas (2010) citan como problemas habituales de los programas de medición recoger demasiados datos, no recoger los adecuados y analizar poco los que se recogen, y señalan que acaban a menudo en el abandono del programa.
- Olvidar el modelo de interpretación. Una métrica sin regla de lectura se interpreta a posteriori, y entonces cualquier valor confirma lo que ya se pensaba.
- Confundir la métrica con el objetivo. Si el objetivo pasa a ser «bajar el
CBO», alguien fusionará clases y el número bajará mientras el diseño empeora (la página del «CBO» explica cómo). Kaner y Bond (2004), siguiendo a Austin, llaman a esto distorsión: el sistema de medida empuja a mejorar el número en lugar del objetivo real; si llega a restar valor, hablan de disfunción. - Objetivos sin punto de vista. «Mejorar la calidad» no dice para quién. El equipo que mantiene, quien prueba y quien opera el sistema hacen preguntas distintas sobre el mismo código, y la misma métrica puede leerse de forma distinta desde cada uno.
- Aplicar umbrales ajenos sin comprobarlos. Un umbral de referencia sirve para empezar el modelo de interpretación, no para cerrarlo. De dónde salen y cuánto se pueden trasladar lo cuenta «De dónde salen los umbrales».
- Medir una vez. GQM forma parte de un ciclo de mejora: sin una segunda medida no se sabe si la decisión sirvió.
Extensiones
GQM+Strategies. Basili, Lindvall, Regardie, Seaman, Heidrich, Münch, Rombach y Trendowicz (2010) parten de una carencia: GQM define objetivos de medición, pero no los enlaza de forma explícita con los objetivos de negocio de la organización. GQM+Strategies añade por encima objetivos de negocio y las estrategias elegidas para alcanzarlos, que generan objetivos de nivel inferior (de software, de hardware, de marketing). Cada nivel documenta sus factores de contexto y sus supuestos, y los modelos de interpretación de cada nivel alimentan los del nivel superior, de modo que se puede saber si una estrategia funcionó. Los objetivos de medición se siguen descomponiendo con GQM.
GQ(I)M. El Software Engineering Institute publicó una guía de medición dirigida por objetivos (Park, Goethert y Florac, 1996) para identificar, seleccionar, definir e implantar medidas que se puedan rastrear hasta los objetivos de negocio. Su método se conoce como GQ(I)M (goal-question-(indicator)-measure): entre preguntas y medidas intercala un nivel de indicadores, los gráficos o informes con los que se comunicarán los datos. Goethert y Fisher (2003) explican que identificar preguntas y medidas sin imaginar antes el indicador no suele bastar para poner en marcha un programa de medición, y que el indicador sirve de especificación de qué datos recoger y cómo analizarlos.
Propiedades además de preguntas. Briand, Morasca y Basili propusieron en un informe técnico de 1994 un proceso para definir métricas de producto a partir de objetivos y de propiedades. La idea enlaza GQM con la «teoría de la medición»: la pregunta dice qué atributo hace falta medir, y las propiedades del concepto (tamaño, complejidad, acoplamiento, cohesión) permiten comprobar si la métrica elegida lo mide.
Guía práctica. Van Solingen y Berghout (1999) escribieron un manual de aplicación del método en la industria, motivados porque hasta entonces se había publicado sobre todo en revistas científicas.
Referencias
- Basili, V. R. y Weiss, D. M. (1984). «A Methodology for Collecting Valid Software Engineering Data». IEEE Transactions on Software Engineering, SE-10(6), 728-738. https://doi.org/10.1109/TSE.1984.5010301
- Basili, V. R., Caldiera, G. y Rombach, H. D. (1994). «The Goal Question Metric Approach». En J. J. Marciniak (ed.), Encyclopedia of Software Engineering, vol. 1, 528-532. John Wiley & Sons. https://www.cs.umd.edu/users/mvz/handouts/gqm.pdf
- Basili, V. R., Lindvall, M., Regardie, M., Seaman, C., Heidrich, J., Münch, J., Rombach, D. y Trendowicz, A. (2010). «Linking Software Development and Business Strategy Through Measurement». IEEE Computer, 43(4), 57-65. https://doi.org/10.1109/MC.2010.108
- Park, R. E., Goethert, W. B. y Florac, W. A. (1996). Goal-Driven Software Measurement: A Guidebook. CMU/SEI-96-HB-002. Software Engineering Institute. https://www.sei.cmu.edu/library/goal-driven-software-measurement-a-guidebook/
- Goethert, W. y Fisher, M. (2003). Deriving Enterprise-Based Measures Using the Balanced Scorecard and Goal-Driven Measurement Techniques. CMU/SEI-2003-TN-024. Software Engineering Institute. https://www.sei.cmu.edu/documents/2029/2003_004_001_14174.pdf
- Basili, V. R. (2007). «Bridging the Gap between Business Strategy and Software Development». Transparencias de una conferencia, Fraunhofer CESE. Plantilla para definir objetivos GQM. «https://www.cs.umd.edu/users/basili/presentations/2007-04-27 SQS Keynote Final.pdf»
- Briand, L. C., Morasca, S. y Basili, V. R. (1994). A Goal-Driven Definition Process for Product Metrics Based on Properties. Informe técnico CS-TR-3346, UMIACS-TR-94-106, Universidad de Maryland.
- Van Solingen, R. y Berghout, E. (1999). The Goal/Question/Metric Method: A Practical Guide for Quality Improvement of Software Development. McGraw-Hill.
- Kaner, C. y Bond, W. P. (2004). «Software Engineering Metrics: What Do They Measure and How Do We Know?». 10th International Software Metrics Symposium (METRICS 2004). https://kaner.com/pdfs/metrics2004.pdf