PARTE I: Introduccin

Antonio Sanz Montemayor

Grupo GAVAB (http://gavab.escet.urjc.es) Departamento de Ciencias de la Computacin ETSII - URJC
1

Bibliografa
R.C. Gonzlez y R.E. Woods, Digital Image Processing, Prentice Hall, 2 Edicin, 2002. (caps. 1 y 2) J. Vlez, . Snchez, A.B. Moreno y J.L. Esteban, Visin por Computador, Ed. Dyckinson y Serv. Public. URJC, 2003. (caps. 1 y 2) J. Gonzlez, Visin por Computador, Ed. Paraninfo, 2001. (cap. 1) G. Pajares y J.M. de la Cruz, Visin por Computador, Ed. Ra-Ma, 2001. (cap. 1)
2

PARTE I: Introduccin
Tema 1: Panormica de la Visin Artificial
Introduccin a los Sistemas de Visin Artificial (SVA)
Aspectos generales sobre imgenes Etapas de los SVA Elementos de un SVA Clases fundamentales de procesado de imgenes Algoritmos y aplicaciones sobre imgenes digitales
3

Panormica de la Visin Artificial

Introduccin a los SVA: Objetivo
Imagen o una secuencia de imgenes extraer e
interpretar de manera automtica la informacin del mundo real 3D.
-

Escena de trfico

- Nmero de vehculos - Clases de vehculos - Localizacin de obstculos - Interpretacin de la escena

Panormica de la Visin Artificial

Introduccin a los SVA:
Por qu un SVA? Una imagen tiene ms informacin que mil palabras Muchos sistemas biolgicos dependen de su sistema de visin (inspiracin biolgica)

En la actualidad, los ordenadores, cmaras y otros

dispositivos son baratos y sus prestaciones aumentan El mundo real es 3D y dinmico
5

Panormica de la Visin Artificial

Introduccin a los SVA: Visin Activa En ocasiones, los sensores y su entorno se pueden modificar de manera activa en un SVA (sistemas activos). Se trata de controlar la ptica y la estructura soporte de las cmaras para simplificar el problema de Visin Artificial a resolver. Caractersticas de un sistema activo:
-modo continuo, -filtrado de la informacin, -tiempo real (tiempo de respuesta limitado), -control del proceso (regiones de inters),

Panormica de la Visin Artificial

Introduccin a los SVA:

Aspectos de Inters para un SVA: Cul es la informacin relevante a extraer de la escena para el problema a resolver? Cmo se puede extraer dicha informacin? Cul es la forma ms apropiada de representar la informacin extrada? Cmo se puede usar dicha informacin para resolver el problema de VA planteado?
7

Panormica de la Visin Artificial

Introduccin a los SVA:

La Visin Artificial es un multidisciplinar, relacionada con: Tratamiento de imgenes

Reconocimiento de patrones Fotogrametra Grficos por ordenador Inteligencia artificial Geometra proyectiva Teora de control .

rea

Panormica de la Visin Artificial

Fsica de la imagen: Cmo se forman las imgenes?
* Cmaras (sensores): - Cmo funciona una cmara? - Cmo posicionar la/s cmara/s en un SVA? * Luz: - Cmo medir la cantidad de energa luminosa? - Cmo interacta la luz con la superficie de los objetos? - Cmo se calculan los valores de brillo de los pxeles? * Color: - Cules son los mecanismos fsicos del color? - Cmo representar y medir el color?
9

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: la luz
Teoras antiguas: luz emitida por el ojo,... Teora corpuscular (Newton, 1669): explica fenmenos como la reflexin y la refraccin Teora ondulatoria (Huygens, 1690): explica fenmenos de difraccin e interferencia luminosa Posteriores trabajos de Young y Fresnel (s. XIX), relacionados con la teora ondulatoria Teora electromagntica (Maxwell, s. XIX): terico del modelo ondulatorio, establece relaciones entre luz y electromagnetismo. Cada tipo de radiacin electromagntica se caracteriza por su longitud de onda ( = c/).

10

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: la luz
Teora cuntica (Planck, 1900): la radiacin electromagntica emitida no se realizaba en forma continua sino en cuantos de energa o fotones de valor E = h. Efecto fotoelctrico (Einstein, 1905): un haz de luz que incide sobre una superficie metlica limpia hace que emita electrones. Se explica mediante la teora cuntica. Teora onda-corpsculo (de Broglie-Bohr, 1925): la luz tiene a la vez naturaleza ondulatoria (teora electromagntica) y corpuscular (teora cuntica). Ambas son manifestaciones diferentes de un mismo fenmeno: el luminoso.
11

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: la luz
Una parte pequea del espectro electromagntico es la zona visible (luz visible) Comprende longitudes de onda aproximadamente desde los 400 hasta los 700 nm

12

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: la luz
La reflexin se produce cuando las ondas (luz, sonido,..) inciden sobre una superficie de separacin entre dos medios, sin pasar de uno a otro. Se presenta en un lmite entre dos medios diferentes como una superficie aire-vidrio, en cuyo caso parte de la energa incidente se refleja y parte se absorbe. El ngulo entre rayo incidente y la normal es el ngulo de incidencia, que por la Ley de la Reflexin es el mismo que el reflejado (reflexin especular).
13

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: la luz
La refraccin se produce cuando la luz incide sobre una superficie lmite de separacin entre dos medios, atravesando de uno a otro La parte transmitida se desva un cierto ngulo de refraccin El ndice de refraccin (n) de un material:

c nm vm
14

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: la luz
Otro fenmeno a destacar es la dispersin (Newton) Descomposicin de la luz en sus componentes monocromticos al penetrar en un medio, como consecuencia de la variacin del ndice de refraccin del medio, que desva las distintas componentes de la luz segn sus respectivas longitudes de onda. As cuando luz blanca penetra en un prisma, este descompone el haz en sus colores bsicos constituyentes.

15

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Sistema Visual Humano

16

Panormica de la Visin Artificial

Ilusiones pticas:

17

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Sistema Visual Humano

18

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: el Sistema Visual Humano
La luz visible es absorbida (enfocada) por el cristalino, que acta como lente, y se proyecta en la retina. La retina est compuesta por 2 tipos de clulas fotosensibles: Conos: responsables del color Bastones: responsables de la percepcin de la intensidad (concentrados en el exterior) En general un humano posee del orden de 120 millones de bastones y 6 millones de conos
19

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: el Sistema Visual Humano
Un tpico ojo humano mide unos 24 mm desde la crnea hasta la retina Un ojo puede desviarse de su medida ideal siendo su sistema de enfoque normal, en tal caso: Si el ojo es ms largo: ojo miope Si es ms corto: ojo hipermtrope Si el ojo no posee una buena simetra de revolucin respecto al eje ptico hablamos del astigmatismo Las cataratas es una opacidad del cristalino que impide la llegada de luz a la retina 20

Panormica de la Visin Artificial

Aspectos generales sobre imgenes digitales
Las imgenes se forman cuando un sensor (p.ej. cmara) registra la cantidad de radiacin luminosa que ha interaccionado con los objetos fsicos de la escena. Una imagen digital es una funcin bidimensional discreta f(x,y) que asocia a cada punto o pxel (x, y) un valor de brillo. El valor f(x,y), podra representar un valor de distancia u otra cantidad fsica. El tratamiento digital de imgenes consiste en destacar las caractersticas de inters en imgenes (y atenuar el detalle irrelevante) para conseguir de stas informacin til
21

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Parmetros fsicos involucrados
Parmetros pticos: caracterizan al sensor - tipo de lente, distancia focal, campo de visin, grado de apertura angular, ... Parmetros fotomtricos: caracterizan la luz

reflejada por el objeto

-caractersticas de la iluminacin (tipo, intensidad, direccin), propiedades de reflectancia del objeto visto, ... Parmetros geomtricos: caracterizan la proyeccin

del objeto en el sensor

- tipo de proyeccin, posicin y orientacin del (de los)

sensor(es), distorsiones debidas a la perspectiva,

22

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Tipos de imgenes Imgenes fotogrficas: luz reflejada Imgenes de rango: distancias Imgenes de tomografa: densidad de tejidos Imgenes infrarrojas: temperatura Trabajaremos principalmente con imgenes fotogrficas (tanto en niveles de gris y como en color)
23

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Tipos de imgenes

256 colores/canal 256 colores/canal 2 colores/canal 3 canales (RGB) 1 canal (gris) 1 canal (gris) 24 bpp = 8 bpp/canal 8 bpp 1 bpp
24

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Tipos de imgenes
Escala de grises 256 colores/canal Valores: {0,1,2,...,255} [0,255] [0,1]

Monocromtica 2 colores/canal Valores: {0,255} {0,255} {0,1}

25

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Representacin de las imgenes
y
x

26

Panormica de la Visin Artificial

Aspectos generales sobre imgenes: Reconstruccin 3D
Las formas 3D se pueden obtener a partir de: visin estereroscpica (mltiples imgenes 2D) movimiento (secuencias de vdeo) variaciones de intensidad, textura, enfoque, Estrategia de la Visin Estereoscpica: Obtener distintas medidas del mismo objeto (o regin) de la imagen Aspectos a considerar: Correspondencia: qu pxeles en las diferentes imgenes son proyecciones del mismo punto 3D? Representacin: cmo describir el objeto 3D? Ruido: cmo minimizar su influencia?
27

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Definicin
Es el anlogo artificial de la visin humana

28

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas
Las etapas en un SVA son: Adquisicin de la imagen Preproceso Segmentacin Representacin y descripcin (extraccin de caractersticas) Reconocimiento e interpretacin

29

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas
El preproceso es la mejora de la calidad de una imagen para usarse en etapas posteriores: p. ej. aumento de contraste

30

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas

31

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas
Segmentacin: Divisin de una imagen en regiones homogneas que se corresponden con los objetos contenidos en ella

32

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas
Extraccin de caractersticas: Obtencin de medidas de caractersticas de los objetos segmentados. Color Textura Forma (rea, permetro, nmero de agujeros, ...) Caractersticas invariantes a transformaciones geomtricas. Obtencin de vectores de caractersticas normalizados.
33

Panormica de la Visin Artificial

Ejemplos de texturas:

34

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas

rea Permetro

Ejes mayor y menor

Bounding box
35

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas
Reconocimiento: Consiste en clasificar los objetos de la escena a partir de caractersticas extradas. Los objetos vienen descritos mediante vectores de caractersticas.

N m e ro de a g uje ros

T o

T u

A r 0

0 .1

0 .2

0 .3

0 36 .4

0 .5

D siac n tpi ade r di delafig a ev i c l a o ur

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Etapas

Escena 3D
Imagen(es) Bordes / Regiones / Profundidad

Superficies / Caractersticas

Aplicaciones

Modelos / Hiptesis
37

Panormica de la Visin Artificial

Ejemplos de reconocimiento (tras segmentar):

Interpretacin de imgenes: Un paso ms all

38

Panormica de la Visin Artificial

Elementos de un SVA: Sensores
Cmaras analgicas + tarjetas digitalizadoras Cmaras CCD Cmaras de infrarrojos Escneres 2D y 3D Cmaras digitales de fotografa

39

Panormica de la Visin Artificial

Elementos de un SVA: relacin entre dispositivos

40

Panormica de la Visin Artificial

Cmaras: modelo pinhole
Se trata de un modelo abstracto de cmara (caja que contiene un agujero pequeo en ella) Modelo sencillo que funciona en la prctica

41

Panormica de la Visin Artificial

Cmaras: modelo pinhole
Los objetos distantes son ms pequeos

42

Panormica de la Visin Artificial

Cmaras: ecuacin de proyeccin

En coordenadas cartesianas, por semejanza de tringulos e ignorando la tercera componente se obtiene:

x y (x, y, z) ( f , f ) z z

43

Panormica de la Visin Artificial

Cmaras: parmetros y calibracin
Dos tipos de parmetros: 1. Extrnsecos: (posicin de la cmara con respecto al origen de referencia del S.V.A. 2. Intrnsecos: son los parmetros internos de la cmara, como la distancia focal, el ratio de aspecto, los ngulos entre ejes, etc. Calibracin: obtener los parmetros de la cmara minimizando el error (por ejemplo, mediante mnimos cuadrados) Estrategia general de calibracin:

1) Utilizar un objeto (plantilla de calibracin) 2) Identificar ciertos puntos de la imagen 3) Obtener la matriz de calibracin de la cmara minimizando el error 4) Obtener los parmetros intrnsecos a partir de la matriz de 44 calibracin

Panormica de la Visin Artificial

Elementos de un SVA: Cmaras de visin
Capturan la imagen proyectada en el sensor y la transmiten al computador que la almacena, analiza y/o visualiza. Sensores CCD y CMOS. Estndar de vdeo analgico: Europa y USA
CCIR y PAL: 625 lneas entrelazadas, 25 cuadros/seg (50 campos/seg) RS-170 y NTSC: 525 lneas entrelazadas, 30 cuadros/seg (60 campos/seg)

Caractersticas cmaras visin artificial: obturacin, integracin, captura asncrona, sincronizacin. Tipos cmaras: analgicas y digitales, alta velocidad, alta definicin, cmaras lineales, lineales color, cmaras 45 inteligentes, cmaras infrarrojas trmicas, ...

Panormica de la Visin Artificial

Elementos de un SVA: Escner 3D
Un escner 3D dispone de un elemento
activo que recorre el objeto a escanear tomando medidas de las posiciones de los puntos por los que pasa. Se pueden distinguir los digitalizadores tctiles y los lser. El digitalizador 3D lser no tiene contacto con el objeto durante el muestreo. Utiliza un mtodo conocido como tiempo de vuelo para obtener puntos de la superficie del objeto, y genera una nube de puntos regular de su superficie.

46

Panormica de la Visin Artificial

Elementos de un SVA: Problemas con la captura de imgenes
La captura de imgenes no est exenta de problemas:
imagen ptica seal elctrica continua seal digital

El ms tpico es el ruido que es informacin no deseada que contamina la imagen. Existen fundamentalmente 2 tipos de ruido: Ruido gausiano : produce pequeas variaciones en la
imagen

Ruido impulsional (o Salt and Pepper) : el valor del

pxel no tiene relacin con el valor ideal sino con el valor de ruido que toma valores muy altos o bajos 47

Panormica de la Visin Artificial

Elementos de un SVA: Problemas con la captura de imgenes

Ruido Impulsivo

Ruido Gaussiano
48

Panormica de la Visin Artificial

Clases fundamentales de procesado de imgenes
Podemos distinguir: Realzado Restauracin Compresin Sntesis Anlisis

49

Panormica de la Visin Artificial

Clases fundamentales de procesado de imgenes
Realzado: mejora de la calidad de una imagen como preproceso de tratamientos posteriores

50

Panormica de la Visin Artificial

Clases fundamentales de procesado de imgenes
Restauracin: - mejora de imgenes degradadas: g(x,y) = H [f(x,y)] + (x,y)
- Soluciones: filtrado inverso, aproximacin algebraica,

51

Panormica de la Visin Artificial

Clases fundamentales de procesado de imgenes
Compresin: reduccin de la cantidad de memoria para representar una imagen

52

Panormica de la Visin Artificial

Clases fundamentales de procesado de imgenes
Sntesis: - crear imgenes de objetos o escenas a partir de
imgenes o primitivas geomtricas bsicas - objetivo de la Informtica Grfica (Computer Graphics)

53

Panormica de la Visin Artificial

Clases fundamentales de procesado de imgenes
Anlisis: extraccin de informacin relevante de una imagen

54

Panormica de la Visin Artificial

Algoritmos y aplicaciones sobre imgenes digitales
Se pueden utilizar diferentes niveles de cmputo Nivel punto Nivel local Nivel global Nivel objeto

55

Panormica de la Visin Artificial

Algoritmos y aplicaciones sobre imgenes digitales
Algunas operaciones que hacemos sobre imgenes producen una salida basndose en los pxeles de la misma: Nivel punto Un ejemplo claro es la umbralizacin
fA(x,y) fB(x,y)

(x,y)

(x,y)

56

Panormica de la Visin Artificial

Algoritmos y aplicaciones sobre imgenes digitales
Una operacin a nivel local produce una salida en la que la intensidad de un punto depende de la vecindad del correspondiente punto en la imagen de entrada Ejemplos pueden ser los filtros espaciales para deteccin de bordes, reduccin de ruido,...
fA(x,y)
(x,y)

fB(x,y)

57

Panormica de la Visin Artificial

Algoritmos y aplicaciones sobre imgenes digitales
Existen ciertos operadores cuya salida depende de toda la imagen de entrada El histograma o ciertas transformaciones son ejemplos de operaciones de nivel global
fA(x,y) fB(x,y)

(x,y)

58

Panormica de la Visin Artificial

Algoritmos y aplicaciones sobre imgenes digitales
Muchas aplicaciones de Visin Artificial requieren realizar operaciones, que permitan extraer caractersticas a nivel de objeto P. ej. tamao, forma, media de intensidad, deben ser calculados por un SVA para llegar a reconocerlo Otro ejemplo de operacin a nivel de objeto es el anlisis de su movimiento. Seguimiento de un mvil en una secuencia de fotogramas es ms sencillo si se analizan slo las zonas de movimiento
59

Panormica de la Visin Artificial

Sistemas de Visin Artificial: Aplicaciones
Sistemas de inspeccin visual automtica Aplicaciones mdicas Reconocimiento biomtrico Anlisis de terrenos (remote sensing images) Robtica Videovigilancia /Aplicaciones militares Recuperacin de imgenes por contenido (CBIR) Domtica
60

Panormica de la Visin Artificial

Herramientas SW: imgenes digitales y vdeo
Algunas libreras y herramientas SW: Entorno de programacin MATLAB para trabajar con matrices de forma sencilla: Image Processing Toolbox Entornos dispositivos (Matrox MIL, Logitech SDK,) Entorno de programacin visual Khoros mediante uso de mdulos o toolboxes especficas OpenCV, AVIFile, DirectShow, WMF (DXVA2.0), OpenGL Programas de usuario: PhotoShop, Paint Shop Pro, Gimp, Xv, ...
61

Panormica de la Visin Artificial

Ficheros de imgenes (Graphical File Formats)
Imagen cabecera + mapa de bits Formatos: Imgenes: TIFF, GIF, BMP, JPEG, RAW (sin formato)... Secuencias de imgenes (vdeos): MPEG, AVI, ...

62