La validación de un modelo se puede definir como la demostración de su exactitud para una aplicación concreta. En este sentido, la exactitud es la ausencia de error sistemático y aleatorio: en metrología se conocen habitualmente como fidelidad y precisión respectivamente. Todos los modelos son, por su propia naturaleza, representaciones incompletas del sistema del que pretenden ser modelo, pero a pesar de esta limitación pueden ser útiles. Se puede encontrar información general sobre el trabajo con modelos matemáticos en diversos libros de texto teóricos y aplicados. Doucet y Sloep (1992) ofrecen una introducción muy buena a la realización de pruebas de modelos. Estos autores distinguen entre confirmación del modelo (es decir, que se demuestra que es digno de crédito; admisible) y verificación del modelo (es decir, que se demuestra que es verdadero). El libro de McCullagh y Nelder sobre modelos lineales (1989) es una fuente valiosa de información sobre los métodos de creación de modelos estadísticos y en él se describen algunos principios generales para la aplicación de los modelos matemáticos, destacando tres principios para el creador de modelos:
1. Todos los modelos son erróneos, pero algunos son más útiles que otros.
2. No hay que enamorarse de un modelo con la exclusión de otros.
3. Hay que comprobar cuidadosamente el ajuste de un modelo a los datos.
Además, Law y Kelton (2000), al abordar la cuestión de la creación de modelos de simulación válidos, creíbles y debidamente detallados, examinan técnicas para aumentar la validez y la credibilidad del modelo. Conviene señalar, sin embargo, que algunos modelos no se pueden validar plenamente, pero es posible validar componentes o módulos del modelo de manera individual. Dee (1995) ha señalado cuatro aspectos importantes asociados con la validación de modelos, como sigue:
1. Validación conceptual
2. Validación de algoritmos
3. Validación de códigos informáticos
4. Validación funcional
A continuación se describen los cuatro. La cuestión de la validación también se aborda en las directrices de la FAO/OMS para la evaluación de la exposición a los peligros microbiológicos en los alimentos y la caracterización de riesgos de los peligros microbiológicos en los alimentos.
La validación conceptual se refiere a la pregunta de si el modelo representa con exactitud el sistema que se está estudiando. ¿Era realista la simplificación del proceso biológico subyacente en las etapas del modelo? Es decir, ¿eran creíbles los postulados del modelo? Habitualmente la validación conceptual es en gran medida cualitativa y la mejor manera de comprobar una es cotejarla con la opinión de expertos con conocimientos científicos diferentes. Se pueden cotejar entre sí distintos modelos con diversas bases conceptuales en un marco bayesiano, utilizando factores de Bayes o algún criterio de información. Se deben presentar y analizar datos experimentales o de observación en apoyo de los principios y los postulados. Los conceptos relativos a la creación de modelos que se describen en el Capítulo 6 son un conjunto mínimo de postulados que representan la opinión por consenso de un grupo amplio de expertos que contribuyeron a estas directrices. Se basan en un razonamiento mecanístico y están respaldados por algunas pruebas experimentales. Como tales, se considera que en la actualidad constituyen la mejor base para los estudios orientados a la creación de modelos de relación dosis-respuesta.
La validación de algoritmos es la traducción de los conceptos del modelo en fórmulas matemáticas. Se abordan cuestiones como las siguientes: ¿Representan las ecuaciones del modelo el modelo conceptual? ¿En qué condiciones se pueden justificar postulados simplificadores? ¿Qué efecto tiene en los resultados la elección de métodos numéricos para la solución de modelos? Y por último, ¿hay acuerdo entre los resultados procedentes del uso de distintos métodos para la solución del modelo? Para los modelos de relación dosis-respuesta microbiológica, estas cuestiones se refieren tanto a la idoneidad de los modelos (que se examina en la Sección 6.3) para describir los procesos de infección y de enfermedad como a las diversas elecciones que se exponen aquí. ¿Es válido suponer una probabilidad constante de infección para cada patógeno en cada huésped? ¿Se puede utilizar el modelo Beta-Poisson aproximado o es necesario utilizar el modelo hipergeométrico exacto? Un método muy válido para evaluar los efectos de procedimientos numéricos es comparar los resultados de distintos métodos utilizados para estimar la incertidumbre de un parámetro, como la superposición de muestras de parámetros obtenidas por los procedimientos de Montecarlo o de replicación con intervalos de confianza basados en la verosimilitud. La representación gráfica de los resultados puede ser útil, pero se debe utilizar con cautela.
La validación de códigos informáticos se refiere a la aplicación de fórmulas matemáticas en el lenguaje informático. Un requisito previo esencial son las buenas prácticas de programación (es decir, modular y plenamente documentada). Los puntos específicos que requieren atención son los posibles efectos de la precisión de la máquina y los factores informáticos específicos en la obtención del modelo. Los informes sobre errores internos del programa informático son fuentes importantes de información, así como la evaluación del producto intermedio. Para los modelos de relación dosis-respuesta, es conveniente verificar los resultados de una nueva aplicación informática cotejándolos con los publicados anteriormente.
La validación funcional es la verificación del modelo frente a observaciones obtenidas de manera independiente. La evaluación ideal consiste en obtener los datos pertinentes del mundo real y realizar una comparación estadística de los resultados simulados y las observaciones. Para esto se requiere una información más detallada que la disponible habitualmente. Tal vez sea posible comparar los resultados de estudios de evaluación de riesgos con estimaciones epidemiológicas de la incidencia de la enfermedad obtenidas de manera independiente. Dichos datos no pueden validar el modelo de relación dosis-respuesta como tal, pero pueden proporcionar informaciones valiosas. En la mayoría de los estudios realizados hasta ahora se ha considerado que la verificación de una gama de riesgos estimados e incidencias observadas era una "validación" suficiente del modelo. Sin embargo, el carácter mismo de las estimaciones de riesgos (probabilidades estimadas) hace posible su utilización como función de verosimilitud para realizar una prueba más oficial de idoneidad.
También se puede establecer la credibilidad de los resultados demostrando que las relaciones dosis-respuesta contabilizadas a partir de distintas fuentes de datos son coherentes. Por ejemplo, una relación dosis-respuesta obtenida a partir de un estudio sobre alimentación humana se puede validar cotejándola con los datos de los brotes o los datos de la vigilancia nacional de las enfermedades transmitidas por los alimentos. Al establecer tales comparaciones hay que tener presente el carácter diferente de los huéspedes, los patógenos y las matrices. Así pues, las distintas fuentes de datos pueden ser útiles para la validación del modelo o proporcionar una base mejor para la generalización.
El procedimiento utilizado para la obtención de los resultados puede mejorar la credibilidad de los relativos a la caracterización de peligros. El examen de expertos y público de los resultados es una parte fundamental del proceso. La interacción interdisciplinaria para el proceso de evaluación de riesgos es imprescindible y se debe extender al proceso de examen. Los conceptos básicos y los postulados subyacentes utilizados en la caracterización de peligros se deben someter al examen de expertos especializados en los procesos biológicos que intervienen. Además, el análisis de los datos y la presentación de los resultados ajustados al modelo deben ser objeto de examen por expertos estadísticos. Un factor fundamental para obtener un buen examen de expertos es dar una explicación accesible de la parte matemática, de manera que los no matemáticos puedan analizar los conceptos y detalles de la evaluación.
La evaluación crítica de un proceso de caracterización de peligros es una tarea exigente para la que se requieren expertos muy especializados. Por consiguiente, se deben poner a disposición recursos suficientes para el proceso de examen de expertos como parte integrante del plan del proyecto. Los resultados del proceso de examen de expertos deben ser accesibles a todas las partes interesadas, con inclusión de una explicación de la manera en que se incorporaron las observaciones a la versión final del documento y, si procede, los motivos para no aceptar observaciones específicas.
El proceso de examen público tiene dos finalidades principales. En primer lugar, permite a todas partes interesadas en la caracterización de peligros examinar con sentido crítico los postulados formulados y sus efectos en los resultados de la evaluación de riesgos. En segundo lugar, permite evaluar la integridad de la información descriptiva y los conjuntos de datos utilizados para la caracterización de peligros.
