Evaluacin y Validacin de

modelos de Simulacin
CONTENIDO
INTRODUCCIN

* La construccin de modelos de simulacin vlidos y crebles
* Verificacin
* Validacin
* Credibilidad
* Validacin de modelos
INGENIERA AMBIENTAL /MODELING THE ENVIRONMENT
( CAPITULO 22)

* Preguntando La Pregunta Correcta
* Las Pruebas Concretas Para Crear Confianza
* La ltima Prueba De Utilidad Del Modelo
VIABILIDAD DEL PROYECTO
VALIDACIN DE MODELOS DE SIMULACIN
INTRODUCCIN
El modelo de simulacin debe ser una representacin adecuada del sistema que se
estudia, para poder responder a las preguntas que se formulen sobre el sistema de
forma fiable.
Desafortunadamente no existen normas ni procedimientos que permitan establecer si
un modelo es valido.

PARA ATENER EN CUENTA
Se bebe establecer que se entiende por verificacin y que por validacin: se dice que el
modelo conceptual es una representacin matemtica, lgica del problema de estudio,
mientras el modelo computarizado es la implantacin del modelo conceptual en un
ordenador y las inferencias sobre el problema se obtienen mediante los experimentos
computacionales
La construccin de modelos de simulacin vlidos y crebles
INTRODUCCIN
En diferentes artculos se encuentran
muchas de las pautas propuestas para
la construccin de buenos modelos
estas se repiten al considerar la
validacin de los mismos, lo cual no es
sorprendente si consideramos que un
buen modelo es un modelo valido, por
tanto todo aquello que nos conduce a
construir un buen modelo nos sirve, al
mismo tiempo para asegurar su validez.
Metodologa del estudio de simulacin (
Jaime Barcel)
DEFINICIONES
Las siguientes definiciones son compartidas por la mayora de autores (Law y Kelton).

Verificacin
Es determinar que el programa de computador se comporta como es debido, es decir
est libre de errores de programacin, en otras palabras, la verificacin comprueba que
se ha realizado una traduccin correcta del modelo conceptual a un programa de
computador que trabaja correctamente.

INTRODUCCIN
Validacin
Se refiere a determinar si el modelo conceptual es una representacin adecuada del
sistema que se estudia. Es decir si nuestro conocimiento del sistema se ha traducido en
hiptesis de modelizacin que reproducen correctamente el comportamiento del
sistema en los aspectos relevantes para los objetivos del estudio. La validez del modelo
es crucial para las decisiones que han de soportar los experimentos realizados con el
modelo, ya que el objetivo de los experimentos es inferir cul seria el comportamiento
del sistema si los experimentos se realizasen fsicamente sobre l mismo
INTRODUCCIN
Credibilidad
Este es un aspecto complementario, pero no menos importante, en lo
que se refiere a la prctica de la simulacin, sobre todo en modelos de
sistemas complejos en situaciones en las que el responsable de la toma
de decisiones no es el analista que ha construido el modelo. Los
resultados del modelo han de ser aceptados por el decisor para ser
utilizados en el proceso de toma decisiones, en otras palabras, los
resultados del modelo han de ser crebles para aquellos que los han de
utilizar.

INTRODUCCIN
La relacin entre los procesos de verificacin, validacin y el
credibilidad, su secuencia temporal y relacin con la metodologa del
estudio de una simulacin (imagen Simulacion de sistemnas Discretos)
INTRODUCCIN
VIABILIDAD DE UN PROYECTO
Para evaluar un proyecto, es necesario analizar su viabilidad desde varias
perspectivas, de mercado, tcnica, financiera y un anlisis de entorno en
donde se analizan las variables externas que puedan afectar el resultado final
o el cumplimiento satisfactorio del objetivo del proyecto.
Anlisis de Sensibilidad
Durante el diseo y la aprobacin de un proyecto uno de los puntos ms
relevantes para los tomadores de decisiones es el anlisis financiero del
proyecto, es decir, su rentabilidad y el retorno de la inversin. Una
herramienta que facilitar la toma de decisiones es el anlisis de sensibilidad,
el cual permite disear escenarios en los cuales podremos analizar posibles
resultados de nuestro proyecto, cambiando los valores de sus variables y
restricciones financieras y determinar el cmo estas afectan el resultado final.
Un anlisis de sensibilidad intenta evaluar el impacto que los datos de entrada
o de las restricciones especificadas a un modelo definido, en el resultado final
o en las variables de salida del modelo.


VALIDACIN DE MODELOS DE
SIMULACIN

Una vez construido el modelo hay que preguntarse si refleja razonablemente la
realidad. Esta cuestin puede resolverse por ejemplo en caso de que se disponga de
informaciones cuantitativas de la evolucin del sistema real en el pasado. Si el modelo
es capaz de generar los comportamientos caractersticos del sistema real.

En Dinmica de Sistemas la simulacin permite obtener trayectorias para las
variables incluidas en cualquier modelo mediante la aplicacin de tcnicas de
integracin numrica. Sin embargo, estas trayectorias nunca se interpretan como
predicciones, sino como proyecciones o tendencias.

El objeto de los modelos es llegar a comprender cmo la estructura del sistema es
responsable de su comportamiento. Esta comprensin normalmente debe generar un
marco favorable para la determinacin de las acciones que puedan mejorar el
funcionamiento del sistema o resolver los problemas observados.

La ventaja de la Dinmica de Sistemas consiste en que estas acciones pueden ser
simuladas a bajo coste, con lo que es posible valorar sus resultados sin necesidad de
ponerlas en prctica sobre el sistema real.

Un trabajo clsico en la literatura sobre la validacin y credibilidad de los modelos de
simulacin es el debido a Naylor y Finger , que plantea una metodologa basada en un
proceso de tres pasos:
1. Desarrollar un modelo vlido y razonable para quien lo ha de utilizar.
Convertir el modelo en el soporte racional para la toma de decisiones.
Obtencin de los datos necesarios para la construccin.
Realizar un anlisis de sensibilidad.
2. El segundo paso consiste en verificar empricamente las hiptesis en que se
basa el modelo.
Consistencia en los datos.
Anlisis de Sensibilidad.
3. Determinar cun representativos son los resultados de la simulacin.
Comparacin del conjunto de datos real y simulados.


COMPARACIN ENTRE MODELO
SIMULADO Y EL MODELO REAL
CON DATOS HISTRICOS.
MTODOS ALTERNATIVOS
Anlisis de resultados de los sistemas con horizonte finito.
Suponiendo que se recogen m conjuntos independientes de datos del sistema y n del
modelo, y que Xj e Yj son respectivamente los promedios de las observaciones del j-
simo conjunto del sistema y del modelo,
Podemos intentar comparar el modelo con el sistema construyendo un intervalo de
confianza para = x - y.
El procedimiento estadstico para construir el intervalo de confianza es el siguiente:






Anlisis Espectral
Para determinar si los conjuntos de observaciones del modelo y del sistema son
similares o no. Para ello construye la funcin de autocovariancia de cada conjunto
de observaciones y utiliza la teora correspondiente para construir un intervalo de
confianza para la diferencia de los logaritmos de los dos espectros, y utiliza este
intervalo de confianza para establecer el grado de similaridad de las dos funciones
de autocorrelacin.













PREGUNTANDO LA
PREGUNTA CORRECTA
Es Valido el modelo?

Es til el modelo?

La indicacion de un nivel de confianza en el
comportamiento del modelo bajo las condiciones y
para un proposito especifico
LAS PRUEBAS CONCRETAS
PARA CREAR CONFIANZA
La Verificacin.
Encarar la validez.
Comportamiento Histrico.
Comportamiento Extremo.
Inspeccin Detallada del Modelo.

LA VERIFICACION
La meta es comprobar que el modelo se ejecuta como
se espera.
Probar si el modelo ha sido sintetizado como se
pretendi. (Greenberger, Crenson y Crissey)
Seala que ha permanecido leal a su concepcin y esta,
es valida. (House y McLeod)
Chequeo necesario a los mecanismos del modelo para
comprobar que estn haciendo lo que el modelador piensa
que hacen. (Kitching)

ENCARAR LA VALIDEZ
Prueba de sentido comn.

La estructura del modelo y los parmetros
tienen sentido?.

Modelos tipo Caja Negra

COMPORTAMIENTO
HISTORICO
Asignar en las entradas del modelo valores
histricos y comprobar que la(s) salida(s)
hace(n) juego con la historia.

Esta prueba es informativa si el modelo es
diseado con un nmero grande de variables
endgenas y solo un nmero limitado de
entradas exgenas.
COMPORTAMIENTO
EXTREMO
Hacer cambios mayores en los parmetros
del modelo y observar si la respuesta del
modelo es plausible.

Anlisis de Sensibilidad.




INSPECCION DETALLADA
DEL MODELO
En organizaciones grandes, existen varios
modelos describiendo detalladamente los
procesos.

Comparaciones entre los modelos del
sistema y nuestro modelo.