Ing.KarlaRomero Dr.

HugoBandaGamboa
hbanda@ieee.org
DepartamentodeInformticayCienciasdeComputacin ESCUELAPOLITCNICANACIONAL Quito

XVIJornadasenEstadsticaeInformtica ESPOL Guayaquil,17deOctubre2007

Contenido

Introduccin MaterialesyMtodos Resultados DiscusinyConclusiones

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

LaBiometra
Tradicionalmentelaseguridadfsicahasidoel espacioparalasaplicacionesdelabiometra. Usualmenteseconsiderantresnivelesde identificacinyverificacin.Estosnivelesdeben responderlapregunta:Esstapersonalaquedice quees?,utilizandotresfactores:
Algoquelapersonaconoce; Algoquelapersonatiene;y, Algoquelapersonaes.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 4

TecnologasBiomtricas
Identificacindehuellasdigitales Identificacinderostros Reconocimientodelirisdelojo Geometradelamano Autenticacindelavoz Verificacindefirmas

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

ImgenesdeRostros
Imgenesenlasquesehanidentificadoylocalizado rostrossonesencialesenaplicacionesrelacionadas con:
Interaccininteligentehumano computador,basada envisin Reconocimientoderostros Seguimientoderostros Estimacindeposes Reconocimientode expresiones

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

DeteccindeRostros
Dadaunaimagen,elobjetivo deladeteccinderostroses determinarlaexistenciao ausenciadealgnrostroen laescena;y,siexiste, retornarlaubicacinylas reasenlasquelocaliz un rostro.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

FactoresCrticosenlaDeteccinde Rostros
Poses Componentesestructurales Expresionesfaciales Oclusin Orientacindelaimagen Condicionesdelacapturade laimagen

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

ProblemasAsociadosala DeteccindeRostros
Localizacinderostros Deteccindeatributosfaciales Reconocimientooidentificacinde rostros Autenticacinderostros Reconocimientodeexpresionesfaciales

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

10

TcnicasparaDeteccindeRostros
Mtodosbasadosenconocimiento(Localizacinde rostros) Algoritmosbasadosenatributosinvariantes (Localizacinderostros) Mtodosdecoincidenciadeplantilla(Localizaciny deteccinderostros) Mtodosbasadosenapariencia(Deteccinderostros)

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

11

ProcesodeEnrolamiento
AdquisicindeImagen Visualizacin Preprocesamiento

Durante el enrolamiento se generan los vectores de caractersticas o patrones de referencia que permitirn identificar a los diferentes usuarios.

Procesamiento RedNeuronal (Entrenamiento) Extraccinde Atributos BasedeDatos (Eigenfaces)

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 12

AdquisicindeImgenes
Duranteelenrolamientoserecopilaunconjuntode imgenesquerepresentanalosusuarios(conjuntode entrenamiento). Porcadausuariopuedeexistirunaovariasimgenes, sisonvariasimgenesstasdebenserloms diferenteposibleentres paralograrunamejor generalizacin.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

13

Preprocesamiento
Conelobjetivodenormalizarlasimgenesencuanto ailuminacin,orientacindelrostro,tamaodel rostro,eliminacinderuido,etc.Seaplican algoritmospara:
Modificacindelhistograma. Aplicacindefiltroseliminadoresderuido. Algoritmosdedeteccindebordes. Transformacionesgeomtricasoespaciales.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

14

Procesamiento(1)
Localizacindereasdelcolordelapiel utilizandoreglasdedecisinenelespacioRGB normalizado[1]. Unavezlocalizadasdichasreas,sesometeala imagenaoperacionesmorfolgicasbsicaspara removerelementos queporsutamaonopueden serrostrosytambinparamantenerlasposiblesreas delrostroconcatenadas.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

15

Procesamiento(2)
Despusdesegmentarlaimagenempleandola informacindecolor(localizacindereasdelcolor delapiel)selatransformaaescaladegrisesyenesa nuevaimagenseaplicalatransformadadeHough paraladeteccindeelipses. Debidoaqueestatcnicaescomputacionalmente costosaselaaplicabajociertasrestricciones,adems seemplealaimagenenescaladegrisesreescaladaa lacuartaparte.LatransformadadeHoughtrabaja sloconpxelesdebordeporloqueantesdeutilizarla sedeberealizarladeteccindebordes.Paraestatarea seseleccion elfiltrodeSobel.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 16

Procesamiento(3)
Paracadaelipseresultanteserealizalosiguiente:
1. 2. 3. 4.

5. 6. 7.

Losparmetrosdelaelipse(coordenadasdelcentroylongituddelos semiejes)sonreescaladosconreferenciaaltamaooriginaldela imagenenescaladegrises. Seextraedeestaimagenelreaqueabarcalaelipseyselatratacomo unanuevaimagen. Paralanuevaimagensedetectaelreadelosojos,elreadelaboca,se realizalavalidacingeomtricadeltringuloojosboca. Silapuntuacinobtenidaporeltringuloesmayoraunvalorumbralse normalizalaimagenencuantoaorientacindelrostroyluegoseextrae elreadelrostrocomounanuevaimagen. Seajustalaintensidaddelaimagendelrostro. Seproyectaestaimagenenelespacioderostros(PCA)ysecalculala distanciaentrelaproyeccinylaimagenparaconfirmarsiesunrostro. Siladistanciaesmenoraunvalorumbralelprocesodelocalizacindel rostrofinaliza,casocontrarioserepitenlospasos17conlasiguiente elipsehastaencontrarunrostrooutilizartodaslaselipsesen cuyocaso seconcluyequelaimagennocontieneunrostrohumano.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 17

Procesamiento(4)
Deteccindelreadelosojos.Selocalizanlas posiblesreasdelosojosconayudadelosespaciosde colorHSVyRGnormalizado. Seobtienenlosposiblescandidatosaojos combinandoconlaoperacinlgicaANDlas imgenesresultantesenlosdosespaciosdecoloren unasolaimagen.Adems,serealizanoperaciones morfolgicasbsicasparaconectarreascercanas.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

18

Procesamiento(5)
Detectarelreadelaboca.Paraobtenerloscandidatos paraelreadelabocaseempleaelmapapropuestoenla tcnicalocalizacindeatributosfaciales. Elmapaoriginalessometidoaoperacionesmorfolgicas bsicas,mejoradelcontrasteyumbralizacinconel objetivodeobtenermejoresresultados. Unavezobtenidoelmapaserealizaunanlisisde componentesconectados.Paracadacomponentese analizasuubicacinenlaimagen,larelacinentreelalto yanchodeste,ylarelacinentresureayelreadela imagen.Sloloscomponentesquealcancenlosvalores umbralespreestablecidosparaestasrelacionesse mantienencomoposiblescandidatos,elrestode componentesseeliminan.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

19

Procesamiento(6)
Validacindelostringulosojosbocaformados porloscandidatos.Cadaparejadecandidatosa ojosformauntringuloconcadacandidatoparael readelaboca(losvrticesdeltringuloestn formadosporloscentroidesdeloscandidatos). Primerosevalidaqueelvrticeasociadoalcandidato areadelabocaseencuentreubicadobajolosotros dosvrtices,noalmismonivelnisobrestos. Tambinsevalidaquelosvrticesformenun tringulo,queeltringuloseaagudo(peroque ningunodesusngulosseamenorapi/7)yquesu reanoseademasiadograndeomuypequeacon relacinalreadelaimagen.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 20

Procesamiento(7)
Paralaextraccinynormalizacindelrostrose debenejecutarlassiguientestareas:
Extraerelreadelposiblerostro.Seseleccionael tringuloconelmayorpuntajesiempreycuando sobrepaseunvalorumbral. Ajustarlaintensidaddelaimagennormalizadadel rostro. Verificarsilaimagenrealmenterepresentaaunrostro. Todoelprocesodelocalizacinantesdescritopuede darresultadosincorrectosbajociertascircunstancias, porejemplosienlaimagenexistenobjetoselpticos conuncolorsimilaralcolordelapiel,lalocalizacin podradarcomoresultadounodeestosobjetos.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 21

ExtraccindeAtributos(1)
Tienecomoobjetivoreducirladimensionalidaddelos datosdeentrada(imgenes)mediantelaextraccin deinformacindiscriminatoria. Paralaextraccindecaractersticasexistentcnicas comoporejemplo:PrincipalComponentAnalysis (PCA),transformadadeFourier,transformada DiscretaCoseno,Wavelets,etc. Encuantoalaseleccindeatributosexistentcnicas heursticas,seleccinmediantealgoritmosgenticos, bsquedaexhaustiva,bsquedassecuenciales,entre otras.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 22

ExtraccindeAtributos(2)
Laimagenobtenidacomoresultadodel procesamientoseencuentranormalizadaencuantoa orientacinyailuminacin.Luegodeestosela normalizaencuantoatamao(92x92)paraextraer susatributosmsrelevantes. Latcnicaseleccionadaparalaextraccinde caractersticaseseigenfaces quesebasaenPCA. Cadaimagendeunrostrotendr asociadounvector decaractersticas,eltamaodeestevectordepender delnmerodeeigenvectores seleccionadospara formarelespacioderostros.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 23

EjemplosdeRostrosDetectados

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

24

EntrenamientodelaRedNeuronal
Unavezquesecuentaconelconjuntodevectoresde caractersticasquerepresentanalconjuntode imgenesdeentrenamientosecreaunaredneuronal detipoRadialBasisFunctionyselaentrenacon dichosvectores. Paraestetipoderedsedebedefinirprevioasu entrenamientoelanchomsadecuadodela gaussiana paralograrunabuenageneralizacina partirdelconjuntodevectoresproporcionados.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

25

ProcesodeVerificacin
AdquisicindeImagen Visualizacin Preprocesamiento

Para la verificacin de una identidad debe existir un conjunto de imgenes de rostros que constituyan el espacio de rostros, adems la red neuronal debe estar creada y entrenada para esta tarea.

Procesamiento RedNeuronal (Verificacin) Extraccinde Atributos BasedeDatos (Eigenfaces)

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 26

VerificacindelaIdentidad
Elvectordecaractersticasasociadoaunanueva imagenesextradoypresentadocomoentradaala redRBF,staanalizaelvectorypresentasus resultados. Finalmenteseseleccionalasalida(resultado)con mayorvalorysisuperaunumbralsebuscala identidadasociadaadichasalida,secomparaesta identidadconlaproporcionadajuntoconlaimagen analizadaysevalidasisonigualesono. Deestamaneraconcluyeelprocesodeverificacinde unaidentidad.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 27

Implementacin
Paralaimplementacindelasolucin computacionalseutilizaronlassiguientes herramientas:
Matlabversin7.0comoFrontEnd(guide,toolboxes deprocesamientodeimgenesyderedesneuronales) MicrosoftVisualBasic6.0paraeldesarrollodeun componentededesplieguerequeridoparaautenticara losusuariosconperfildeAdministrador;y, MicrosoftAccess2000comoBackEnd.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

28

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

29

Evaluacin
Luegodelaspruebasdeunidad,deintegraciny pruebasglobalesdelasolucincomputacional;la evaluacindelaaplicacinsellev acaboendos fases:
Enlaprimerafaseseevalu elsubsistemaparala localizacindeunrostroenunaimagendada;y, Enlasegundafaseseevalu elprocesodeverificacin deunaidentidadpartiendodelaimagendelrostro proporcionadaporelsubsistemadelocalizacin.

Paraelefecto,seconform unabasedeimgenesde rostrospropiayseutilizaronimgenesdebases disponiblesenelInternet.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 30

BasedeRostrosdeInternet
Contieneimgenesde114personas,7imgenespor cadapersona,condiferentesexpresionesfaciales. Elformatodelasimgenesesjpeg ytienenuna resolucinde640x480 pxeles. Laspersonasqueconformanestabaseensumayora sonhombres(alrededordel90%)queoscilanentre los18aos(aunqueexistenpersonasdemayoredad).

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

31

ResultadosBasedeRostros Internet
Paralaevaluacindelsubsistemadelocalizacinseemple 154 imgenespertenecientesalabasederostrosdisponiblea travsdeInternet.Estesubconjuntodeimgenescorrespondea lasprimeras52 personasqueformanpartededichabasede rostros. Elsubsistemaencontr correctamente146 rostros(unoporcada imagenpresentada),esdecirrealiz unacorrectalocalizacin enel95%deltotaldelasimgenes. Delporcentajerestante,el1% serefierealocalizaciones errneas,loquesignificaquesibienelsubsistemalocaliz el readelrostrofall enlalocalizacindelreadelosojosodela boca;el4% finalserefiereaimgenesenlasqueelsubsistema nolocaliz unrostro. Eltiempopromediodelocalizacindeunrostroparaeste subconjuntodeimgenesest alrededordelos15segundos.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 32

BasedeRostrosPropia
Est formadapor390 imgenespertenecientesa25 personasquecolaboraronparalaelaboracindeestabase derostros,siendoel88%mujeresyel12%hombres.Las edadesdequienesconformanestegruposeencuentranen elrangode20a50aos,existiendounaprevalenciade personascuyaedadoscilaentre20a38aos. Lasimgenesfueronalmacenadasenformatodemapade bits(bmp),condimensiones320x240. Todaslasimgenescontienenelrostrodeunasola persona,presentanfondospococomplejos,elreadel rostroesclaramentevisible,presentanpequeas variacionesconrelacinaladistanciaentreunapersonay lacmara,levesvariacionesenelgradodeinclinacindel rostro,cambiosdeestilosdepeinado,usodelentesy variacionesenexpresionesfaciales.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 33

ResultadosBasedeRostrosPropia
Seutiliz untotalde390 imgenesdelascualesen 379 (msdel97%)fuelocalizadocorrectamenteel rostropresenteenlasmismasyen11 imgenes(cerca del3%)fall lalocalizacindelosrostrosoexisti unalocalizacinincorrecta. Eltiempopromedioempleadoparalalocalizacinde rostrosenestasimgenesfuede3.7 segundos

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

34

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

35

SobrelosProcesos
Cualquiersolucinest orientadaalasnecesidadesdel usuariofinal,sinembargoexistenprocesosintermedios, paraalcanzarsatisfacerdichasnecesidades,quenotienen relevanciaparalosusuarios. Enelcasodelapresentesolucincomputacionallastareas relacionadasconlalocalizacinderostrossoninternasy noseencuentranvisiblesparaelusuariofinal,porloque laformacmoserealizandichastareasdependede cuestionesdediseo,deoptimizacinydeotrosfactores quedebenserconsideradosporquiendesarrollauna solucindeestetipo.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 36

AcercadelaRedNeuronal
Actualmentenoexisteunaarquitecturadered neuronalqueseaadecuadaparaunatareaespecfica comoeselcasodelaverificacinderostros, considerandodiversascondicionesdeiluminacin, rotacin,apariencia,expresionesfaciales,etc.Portal razn,laseleccindeunauotraarquitecturanodeja deserunproblemadepruebayerror,dondese inviertegrancantidaddetiempoprobandodiferentes arquitecturasyformasdeentrenamiento.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

37

CalidaddelasImgenes
Elmayorproblemaencontradoeneldesarrollode estasolucineselcontarconunreaparala adquisicindeimgenes,enlaquelascondicionesde iluminacinseanadecuadasdeformaconstantepara as obtenerunabasederostroscompletamente homognea. Comosecomprob durantelafasedeevaluacin,la variacineniluminacinesunfactordecisivoenlos resultadosdelaverificacindeidentidades.

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

38

ComparacindeTiempode LocalizacindeRostros
Alcompararlospromediosdelostiemposrequeridospara lalocalizacinderostrosenlasimgenesdelabase FENIXVRyenlasimgenesdelabasedisponibleatravs deInternet,sepuedenotarqueeltamaodelasimgenes impactadirectamenteenlacantidaddetiemporequerido parallevaracabolatareadelocalizacin. Mientrasenimgenesdetamao320x240 eltiempo promedioest alrededorde3.7 segundos,enimgenesde tamaosuperior(elcudrupledeltamao,enestecaso) 640x480,eltiempopromedioest alrededordelos15 segundos.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 39

UsuariosRegistradoseImgenes
Elnmerodeusuariosregistradosyelnmerode imgenesporcadausuariotambinconstituyeun factorqueinfluyeenlosresultadosdelaverificacin deidentidad. Aunmayornmerodeusuariosregistrados,existe unamayorprobabilidadquelaredneuronalcometa mserroresenlaverificacin,entantoqueaun mayornmerodeimgenesporusuarios(imgeneslo msdiferenteposibleentres)semejoranlas condicionesparaquelaredrealiceunamejortareade verificacin.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 40

(c) Dr. Hugo A. Banda Gamboa - Octubre 2007

41

Referencias
1. 2. 3. 4. 5.

ThilakKumar,S;Raja,Kumar;Ramakrishnan,A.G.Eye detectionusingcolorcuesandprojectionfunctions.IEEEICIP. DepartmentofElectricalEngineering,IndianInstituteof Science.Bangalore.2002. HSU,ReinLien;ABDELMOTTALEB,Mohamed;ANIL,K. Jain.Facedetectionincolorimages.Dep.ofcomputerscience &Engineering,MichiganStateUniversity.2002 GutierrezGonzlez,L. http://www.udlap.mx/~tesis/msp/gutierrez_g_l/ Reconocimientoderostrosutilizandoredesneuronales.2000 Gonzalez,R.C.;Woods,R.E.TratamientoDigitalde Imgenes.EditorialAddisonWesley.Washington EUA. 1996. Anil,K.Jain;Mao,J.;Mohiuddin,K.ArtificialNeural Networks:ATutorial.IEEEComputer.Vol.29.N 3.pp.3144. 1996.
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 42

Pueden pensar las mquinas? Es una pregunta tan mal formulada como si preguntramos Pueden nadar los submarinos?
EdsgerW.Dijkstra 1970

GRACIAS
Dr. Hugo A Banda
hbanda@ieee.org
(c) Dr. Hugo A. Banda Gamboa - Octubre 2007 43