Diseño e Implementación de Una Mesa Multi-Touch - Gonzalo Marcos Diez - 2011

Universidad Autonoma de Madrid
Escuela Politecnica Superior
Proyecto fin de carrera
DISENO E IMPLEMENTACION DE UNA MESA MULTI-TOUCH
Ingenier de Telecomunicacin a o
Gonzalo Marcos D ez Abril 2011
DISENO E IMPLEMENTACION DE UNA MESA MULTI-TOUCH
AUTOR: Gonzalo Marcos D ez TUTOR: Manuel Garc a-Herranz del Olmo PONENTE: Germn Montoro Manrique a
Grupo de Herramientas Interactivas Avanzadas (GHIA) Dpto. de Ingenier Informtica a a Escuela Politcnica Superior e Universidad Autnoma de Madrid o Abril 2011
Resumen y Palabras Clave
Resumen
Este proyecto parte de la falta de conocimiento que existe sobre las incipientes tecnolog multi-touch. Para ello proponemos un extenso estudio del Estado del Arte as en la materia que complementamos con el desarrollo de una mesa multi-touch funcional con las tecnolog de Iluminacin Difusa y Reexin Interna Total Frustrada sobre el as o o que hacemos una bater de pruebas y comparamos las dos tecnolog citadas. a as Nuestra intencin ultima es la de abrir una v de trabajo futuro en el campo de la o a investigacin de las tecnolog tctiles. o as a
Palabras Clave
Mesa Multi-touch, Reexin Interna Total Frustrada, Iluminacin Difusa, Reconocimieno o to de Gestos, Interaccin Hombre-Mquina. o a
Abstract
This project arose of the lack of knowledge that exists on the emerging multi-touch technologies. We propose an extensive study of the State of the Art complemented with the development of a functional multi-touch table with Diused Illumination and Frustrated Total Internal Reection technologies. We make several tests in the table and compare both technologies. Our ultimate intention is to create a path for future work in the research eld of touch technologies. 1
Key words
Multi-touch Table, Frustrated Total Internal Reection, Diused Illumination, Gesture Recognition, Human Computer Interaction.
Agradecimientos
A mi familia, a Elena, a Cuque, a Yasmine, a Manuel, a Carlos, a Rilke, a Kawase y a Juanito Wau. A mis compaeros de laboratorio. n A los amigos que he hecho durante la carrera. Al NUI Group.
Gonzalo Marcos D ez Abril 2011
Indice
1. Introduccin o 1.1. Prefacio . . . . 1.2. Motivacin . . . o 1.3. Objetivos . . . 1.4. Organizacin de o 1 1 2 3 3 5 5 8 10 12 13 23 25 25 27 29 31 36 38 38 38 42 42 43 50 52 52 59 59 64
. . . . . . . . . . . . . . . . . . . . . la memoria
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
2. Estado del Arte 2.1. Estudios Previos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Supercies Tctiles Resistivas . . . . . . . . . . . . . . . . . . . . . . . a 2.3. Supercies Tctiles Capacitivas y Supercies Tctiles de Capacidad Proyeca a tada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4. Supercies Tctiles basadas en Ultrasonidos . . . . . . . . . . . . . . . a 2.5. Supercies Tctiles Opticas . . . . . . . . . . . . . . . . . . . . . . . . a 2.6. Supercies Multitctiles a partir de LCD con Sensores Opticos . . . . . a 3. Dise o e implementacin de la mesa n o 3.1. Criterios de diseo y funcionamiento de los dispositivos pticos . . . . n o 3.2. Diseo de la estructura . . . . . . . . . . . . . . . . . . . . . . . . . . n 3.3. Diseo e implementacin de la mesa con tecnolog DI . . . . . . . . n o a 3.3.1. Eleccin de la cmara (E) . . . . . . . . . . . . . . . . . . . . o a 3.3.2. Eleccin del proyector (G) . . . . . . . . . . . . . . . . . . . . o 3.3.3. Supercie de proyeccin y contacto (A) + (B) . . . . . . . . . o 3.3.4. CPU (F) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.5. Iluminacin Infrarroja DI (C) . . . . . . . . . . . . . . . . . . o 3.3.6. Coste aproximado de una mesa multi-touch DI . . . . . . . . . 3.4. Diseo e implementacin de la mesa con tecnolog FTIR . . . . . . . n o a 3.4.1. Supercie de contacto (B) . . . . . . . . . . . . . . . . . . . . 3.4.2. Iluminacin Infrarroja FTIR (I) . . . . . . . . . . . . . . . . . o 3.4.3. Coste aproximado de una mesa multi-touch FTIR . . . . . . . 3.5. Conguracin y calibracin del software de reconocimiento de imagen o o . . . . . . . . . . . . . .
4. Pruebas y aplicaciones 4.1. Reconocimiento de objetos . . . . . . . . . . . . . . . . . . . . . . . . . 4.2. Reconocimiento de dedos . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.3. Ventajas DI sobre FTIR . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4. Comparativa DI/FTIR . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5. Falsos positivos y falsos negativos . . . . . . . . . . . . . . . . . . . . . 5. Conclusiones y Trabajo Futuro 5.1. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2. Trabajo Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Bibliograf a A. Archivos de prueba A.1. MyTouchApp.as . A.2. HelloWorld.as . . A.3. Triangle.as . . . . A.4. Square.as . . . . A.5. Bar.as . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
67 68 71 77 77 78 81 85 85 86 87 88 88 91 97 99
B. Planos de la mesa y lista de materiales C. Presupuesto D. Pliego de condiciones
Indice de Figuras
2.1. Laboratorio de Inteligencia Ambiental AmILab . 2.2. Un modelo de sensor en una matriz de sensores 2.3. Funcionamiento de una supercie resistiva . . . 2.4. Esquema de una Diamond Touch . . . . . . . . 2.5. Conguracin de sensores en una Smart Skin . . o 2.6. Diferentes tipos de duciales . . . . . . . . . . . 2.7. reacTable . . . . . . . . . . . . . . . . . . . . . 2.8. Prototipo de Play Anywhere . . . . . . . . . . . 2.9. Esquema FTIR . . . . . . . . . . . . . . . . . . 2.10. Esquema DI . . . . . . . . . . . . . . . . . . . . 2.11. Microsoft TouchLight . . . . . . . . . . . . . . . 2.12. Microsoft Surface . . . . . . . . . . . . . . . . . 2.13. Microsoft Sphere . . . . . . . . . . . . . . . . . 2.14. Microsoft SecondLight . . . . . . . . . . . . . . 2.15. Esquema DSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7 9 11 12 13 14 15 16 18 19 20 20 21 22 27 29 30 31 31 32 33 34 35 37 39 39 41 43
3.1. Pipeline de la interaccin multi-touch . . . . . . . . . . . . . . . . . . . o 3.2. Agujereo y cortado de los aluminios . . . . . . . . . . . . . . . . . . . . 3.3. Esquema de componentes para la conguracin DI . . . . . . . . . . . . o 3.4. Sistema de ventilacin de la mesa . . . . . . . . . . . . . . . . . . . . . o 3.5. Firey MV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.6. Respuesta espectral de la Firey MV . . . . . . . . . . . . . . . . . . . 3.7. Respuesta Filtro IR 850FAP5050 . . . . . . . . . . . . . . . . . . . . . 3.8. Filtro IR 850FAP5050 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9. Filtro IR colocado sobre la lente . . . . . . . . . . . . . . . . . . . . . . 3.10. Esquema preliminar que muestra las dimensiones de la mesa . . . . . . 3.11. Lmparas de IR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a 3.12. Tapado de los sensores de las lmparas de IR . . . . . . . . . . . . . . . a 3.13. LEDs para mejorar la iluminacin en una esquina de la mesa . . . . . . o 3.14. Esquema de componentes para la conguracin FTIR . . . . . . . . . . o 3.15. Usar la conguracin equivocada de materiales puede resultar en dos o problemas: (izquierda) o el efecto de FTIR no es sucientemente intenso; o (derecha) las capas se quedan pegadas . . . . . . . . . . . . . . . . . 7
45
3.16. Supercie de contacto realizada en el laboratorio . . . . . . . . . . . . . 3.17. Supercie de contacto de silicona: el hueco (c) est entre la supercie de a proyeccin (d) y la combinacin de la silicona (b) y la supercie acr o o lica (a) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.18. Supercie de contacto de ltex: las capas de proyeccin (d) y de ltex a o a (c) han de estar combinadas; el hueco (b) estar entre stas dos y la a e supercie acr lica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.19. Tira de ltex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a 3.20. Cinta de LEDs para FTIR y su fuente de alimentacin . . . . . . . . . o 3.21. Interfaz de tbeta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.22. Aplicamos Remove Background. Apreciamos cmo a pesar de seguir o existiendo brillos en la imagen fuente, el fondo de la imagen tratada es negro y el reconocimiento de los blobs claro . . . . . . . . . . . . . . . 3.23. Desactivamos el ltro Highpass. Se cuelan y detectan partes borrosas como la sombra de la mano . . . . . . . . . . . . . . . . . . . . . . . . 3.24. Ajuste de Smooth. Obtenemos una imagen de calidad al ltrar el ruido de la imagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.25. Pantalla de calibracin . . . . . . . . . . . . . . . . . . . . . . . . . . . o 4.1. Reconocimiento de marcadores duciales a travs de reacTIVision . . . e 4.2. Programa de reconocimiento de duciales mediante Pure Data y reacTIVision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3. Muestra de cmo aparecen las identicaciones de cada ducial al mostraro los (added) o quitarlos (removed) de delante de la cmara en Pure Data a 4.4. Programa grco de reconocimiento de duciales mediante Pure Data y a reacTIVision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5. Muestra de cmo aparecen en un tablero las identicaciones de cada o ducial al mostrarlos o quitarlos de delante de la cmara en Pure Data a 4.6. Programa de ejemplo en Flash . . . . . . . . . . . . . . . . . . . . . . . 4.7. Escenario para comparar movimientos de ratn/movimientos multi-touch o 4.8. La manipulacin de un dispositivo multi-touch permite simultanear aco ciones que en un PC tradicional tendr que ser secuenciales . . . . . . an 4.9. DI permite reconocer manos y duciales . . . . . . . . . . . . . . . . . 4.10. Comparativa de brillos en FTIR y DI . . . . . . . . . . . . . . . . . . . 4.11. Comparativa de zonas oscuras en FTIR y DI . . . . . . . . . . . . . . . 4.12. Efecto de los cambios de luminosidad en DI . . . . . . . . . . . . . . . 4.13. Falsos positivos y negativos para una rutina de 10 movimientos FTIR con 1 dedo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.14. Falsos positivos y negativos para una rutina de 10 movimientos FTIR con 2 dedos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.15. Falsos positivos y negativos para una rutina de 10 movimientos DI con 1 dedo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.16. Falsos positivos y negativos para una rutina de 10 movimientos DI con 2 dedos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
47
48
49 50 51 53
55 56 57 58 60 61 62 63 64 65 66 67 67 68 69 70 72 73 74 75
B.1. Plano de la estructura de la mesa elaborado por Dominik Schmidt en la que est basado nuestro diseo . . . . . . . . . . . . . . . . . . . . . . . a n B.2. Plano de la supercie de la mesa elaborado por Dominik Schmidt en la que est basado nuestro diseo . . . . . . . . . . . . . . . . . . . . . . . a n B.3. Plano de las paredes de la mesa elaborado por Dominik Schmidt en la que est basado nuestro diseo . . . . . . . . . . . . . . . . . . . . . . . a n B.4. Lista de materiales del diseo original de Dominik Schmidt . . . . . . . n
92 93 94 95
D.1. Vista general de la mesa . . . . . . . . . . . . . . . . . . . . . . . . . . 104
10
Indice de Tablas
3.1. 3.2. 3.3. 3.4. Materiales de la estructura de la mesa . . . . . . . . . . . . . . . . . . Comparativa de proyectores de corto alcance (tabla extra de (2)) . . da Presupuesto aproximado para el diseo de una mesa multi-touch DI . . n Presupuesto aproximado para el diseo de una mesa multi-touch FTIR n 28 36 42 52
11
12
Cap tulo 1
Introduccin o
1.1.
Prefacio
Las mquinas que se ajusten al entorno humano en lugar de forzar a los humanos a a entrar al suyo harn que el usar una computadora sea tan agradable como un paseo a por el bosque (11) Me van a permitir que comience la memoria de mi Proyecto de Fin de Carrera con una historia de curiosidad en primera persona que me llev a realizar el estudio que o copar buena parte del tiempo y el esfuerzo de los ultimos meses y del que aqu vern a a reejado su fruto. Habiendo ahorrado minuciosamente, al n consegu hacerme con una cmara MiniDV a con la que me dispon a rodar mis primeros pseudo-cortometrajes. Sin embargo, y para a mi sorpresa, los primeros usos que le dar a mi preciada adquisicin mucho distaron a o de los esperados. Y es que pronto descubr que la cmara pod hacer la funcin de a a o entrada de v deo en mi PC y que no era nada complicado usarla de interfaz, como si de un teclado, un ratn o la voz, se tratara, para detectar imgenes delante de su objetivo o a y transformarlas mediante la programacin en comandos. Slo hab que imprimir unas o o a guritas en negro sobre blanco llamadas amebas o duciales, y un software, reacTIVision, y comprobar lo sencillo que es convertir algo que enseas a la cmara; es decir, n a un gesto que realizas, en una orden para el computador. Habiendo descubierto esta nueva funcionalidad se abr un mundo de posibilidades a que fui desarrollando a travs de la programacin en lenguaje Pure Data que me e o permit realizar distintos clculos matemticos, incluyendo la generacin de ondas a a a o senoidales, y por tanto de sonidos, de guras geomtricas en movimiento, y por tanto e de v deos, en funcin de la o las guras mostradas a cmara. o a Adems hall que pod transformar estas mismas ordenes hasta ahora matemticas a e a a en comandos MIDI y generar y manipular msicas realizando un puente entre Pure u 1
Cap tulo 1. Introduccin o Data y un secuenciador de audio y MIDI llamado Ableton Live. Lo interesante de esto, ms all de lo estrictamente musical, es que empezaba a suponerme una incomodidad a a el tener que mostrar varias guras a la cmara, a veces al mismo tiempo, sin disponer a de una supercie en la que apoyarme. Y de manera tan casual cre, sin saberlo, mi e primera mesa multi-touch con una caja de cartn, una webcam ordinaria (ya ni siquiera o era necesaria una cmara de mejor denicin) en el fondo y un cristal como supercie a o para posar las guras de papel mostradas al objetivo. Poco despus encontr una librer Touchlib (ms tarde conocida como tbeta), que e e a, a proporcionar la opcin de deshacerme de los duciales y empezar a dar ordenes con a o los dedos de la mano y mediante gestos directos. Qu maravilla! Incluso rpidamente e a se me revelar el mayor desaf en la creacin de mesas multi-touch, y en lo que ms a o o a tiempo pasar investigando, probando, haciendo y deshaciendo: la iluminacin. a o As s dio comienzo este Proyecto de Fin de Carrera que espero sea de utilidad , , para los que vengan despus en la investigacin de un campo tan interesante, incipiente e o y ambicioso como es el de las tecnolog tctiles. Bienvenidos. as a
1.2.
Motivacin o
La inteligencia ambiental es una disciplina informtica que persigue la integracin a o transparente de tecnolog de computacin en entornos f as o sicos (hogares, hospitales, aulas, veh culos, etc). As proporciona entornos altamente interactivos que usan com, putacin embebida para observar y participar en los asuntos cotidianos del mundo que o les rodea (12). Uno de los retos que plantea esta disciplina es el desarrollo de interfaces naturales con las que usar dichas tecnolog as. En este sentido, las supercies multi-touch (del ingls tacto mltiple), que se care u acterizan por detectar varios puntos de interaccin simultneamente sobre la propia o a supercie, permiten desarrollar diversas tcnicas de Interaccin Hombre-Mquina* que e o a prescinden de barreras informticas como ratn o teclado en favor de una manipulacin a o o ms directa, natural y con capacidad para mltiples usuarios. A su vez estas supercies a u pueden integrarse en el entorno de forma no intrusiva, proporcionando una herramienta de interaccin idnea a los entornos inteligentes. o o
HCI
1.3. OBJETIVOS
1.3.
Objetivos
El objetivo principal de este Proyecto es, como indica su t tulo, el diseo y la n implementacin de una mesa multi-touch. Adems trataremos de comprender su funo a cionamiento mediante varias aplicaciones y pruebas de ejemplo. Sern pues objeto a de estudio la utilidad, el alcance, la naturalidad o la usabilidad de las tecnolog as multi-touch y ms espec a camente de un prototipo de mesa funcional realizado en el laboratorio AmILab de la Universidad Autnoma de Madrid. o
1.4.
Organizacin de la memoria o
Informacin general de este trabajo o Publicaciones recientes han demostrado que las pantallas multi-touch tienen el potencial de revolucionar la HCI en el modo en que permiten la interaccin ino tuitiva con aplicaciones a travs de la manipulacin directa de las construcciones e o grcas. Varios grupos de investigacin han demostrado que la realizacin de tara o o eas simples a travs de pantallas multi-touch muestran una gran mejor respecto e a a los mtodos convencionales. Por desgracia, la mayor de aplicaciones grcas e a a interactivas que existen en la actualidad no son capaces de explotar este potencial ya que estn diseadas para un dispositivo de puntero unico como el ratn. Este a n o proyecto de investigacin se ha dividido en cuatro partes. o Estudio del Estado del Arte en la materia Realizaremos un profundo estudio del Estado del Arte en la materia de las tecnolog tctiles y multi-tctiles con el n de situar nuestro proyecto. as a a El diseo y la implementacin de un dispositivo multi-touch de tipo optico n o Actualmente no hay apenas dispositivos de multi-touch de tipo ptico disponibles o en el mercado. Con el n de realizar los experimentos necesarios diseamos y conn struimos un dispositivo multi-contacto desde cero. Es este el grueso del Proyecto de Fin de Carrera. Trabajaremos en base a diferentes librer de interaccin gestual. Con la introas o duccin de lo multi-tctil, la interaccin gestual se ha convertido en un nuevo o a o estndar en la interaccin con las aplicaciones. Para poder utilizar los gestos en a o un dispositivo multi-touch es necesario disear e implementar una librer de inn a teraccin gestual Multi-Touch (en el AmILab se ha desarrollado paralelamente o la aplicacin FLING** ). La librer va a recuperar la informacin del software o a o de seguimiento multi-touch y transformarlo en rdenes. Los gestos detectados o
**
http://amilab.ii.uam.es/doku.php?id=ing
Cap tulo 1. Introduccin o estn expuestos a los desarrolladores de aplicaciones a travs de una interfaz de a e programacin de aplicaciones. o Pruebas y aplicaciones Con el n de medir las capacidades de entrada y benecios de un dispositivo multitouch una bater de pruebas ser corrida sobre la mesa. Las pruebas servirn para a a a estudiar la tolerancia a la luminosidad ambiental, el impacto de la conguracin o software, las limitaciones,... de nuestro dispositivo. Conclusiones y trabajo futuro
Cap tulo 2
Estado del Arte

La existencia de patentes desde principios de la dcada de los 70 (13) (14) demuestra e que la tecnolog multi-touch no es completamente nueva. Existen diversas tecnolog a as tctiles, como las basadas en la resistencia o en la capacitancia que requieren fabricacin a o industrial; sin embargo, el redescubrimiento del principio de la Reexin Total Interna o Frustrada* y de la Iluminacin Difusa** ha permitido desarrollar supercies multi-touch o robustas y de bajo coste. As estas tcnicas de identicacin de puntos de contacto en , e o una supercie mediante anlisis de imagen (dedos en el caso de la FTIR y/u objetos a identicados por su forma o a travs de marcadores imprimidos en su supercie infee rior en el caso de la DI) han sido punta de lanza de numerosas innovaciones en este campo que, en los ultimos aos, estn recibiendo considerable atencin y empezando n a o a comercializarse en el mercado (vanse productos como la Microsoft Surface, la ree acTable de la Universidad Pompeu i Fabra o las mesas de Perceptive Pixel). Vamos a omitir parcialmente los dispositivos de pequeo tamao (iPad, Smartphones, etc) por n n considerarlos complementarios pero no sustitutivos de los aqu nombrados.
2.1.
Estudios Previos
Inteligencia Ambiental: Weiser y Coen Weiser (11) ya hablaba de los ordenadores personales como un paso intermedio, una transicin, para alcanzar el verdadero potencial de la informacin tecnolgio o o ca e intentaba imaginar una nueva manera de pensar los computadores; una en la que se tuviera en cuenta el mundo humano y se permitiera a las propias mquinas desaparecer, fundirse en el ambiente. Esta desaparicin no ser una a o a consecuencia fundamental del desarrollo tecnolg sino de la psicolog humana: o co a
* **
FTIR DI
CAP ITULO 2. ESTADO DEL ARTE cuando una persona aprende algo sucientemente bien, deja de ser consciente de ello. Adems, se empezaba a sugerir que una computadora ubicua debe saber a dnde se encuentra, conocer su alrededor para poder interactuar con l e incluso o e adaptarse al mismo. Esto evidentemente entronca directamente con las diferentes aplicaciones que puede tener una mesa multi-touch en funcin del lugar en o el que se coloque; por ejemplo, en el AmILab, laboratorio en donde se simula una habitacin inteligente (12), se pueden controlar distintas variables del entorno o (luces, presencias, otros aparatos,...) desde la propia mesa.
Figura 2.1: Laboratorio de Inteligencia Ambiental AmILab El propio Coen describ un entorno inteligente como aqul que lleva la coma e putacin al mundo f o sico, real. El objetivo es el de permitir a las computadoras participar en actividades en las que nunca hab sido requeridas y permitir al an usuario interactuar con estos sistemas de la manera en que lo har con otras an personas: mediante gestos, voz, movimiento y contexto. Un referente, Buxton No podemos proseguir nuestro repaso a las primeras tecnolog tctiles sin nomas a brar a William Buxton, el que probablemente sea el mayor terico en la materia. o Recomendamos fervientemente la lectura de su work-in-progress Multi-Touch Systems that I Have Known and Loved *** cuyo estudio dar para la realizacin de a o otro Proyecto de Fin de Carrera completo. El propio Buxton en el ao 1985 presentar un prototipo de tableta sensible al n a tacto (1) cuya mayor innovacin es que era capaz de detectar varios puntos de o contacto al mismo tiempo, asociando unas coordenadas y un grado de fuerza a cada uno. Esta cualidad proven de la divisin de la supercie de la tableta en a o
***
http://www.billbuxton.com/multitouchOverview.html
2.1. ESTUDIOS PREVIOS una malla de puntos discretos rodeada por una matriz de sensores basada en la tcnica de la medicin de la capacitancia entre la punta de un dedo y una placa e o de metal.
Figura 2.2: Un modelo de sensor en una matriz de sensores (gura extra de (1)) da
El algoritmo utilizado para localizar el contacto es el de subdivisin recursiva. o Es decir, al detectar un contacto en un cuadrado se divide este en dos cuadrados iguales y se vuelve a buscar en cul de ellos ocurre el evento y as recursivamente a hasta dar con el m nimo cuadrado que pueda dar las coordenadas buscadas. Un ao despus ya demostraba cmo el uso de dos manos mejora el rendimiento en la n e o realizacin de determinadas tareas, asemejando cada vez ms la supercie multio a touch a un escritorio convencional en el que usas las dos extremidades para, por ejemplo, escribir y mover una hoja al mismo tiempo (15). En los subsiguientes aos ya se empezar a discutir formas para mejorar la pren an cisin de las supercies tctiles (16), y en los albores del milenio siguiente (17) o a an se planteaban mecanismos como el Active Click: un transductor de corriu ente elctrica a vibracin colocado detrs de la pantalla en un Asistente Digital e o a **** Personal que mejorar el rendimiento en ambientes ruidosos. a
A continuacin se estudian las diferentes tecnolog para la fabricacin de supero as o cies tctiles y multitctiles mediante la clasicacin planteada en el Technical Rea a o port (2) realizado por miembros de la comunidad ms importante de estudiosos sobre a
****
PDA
CAP ITULO 2. ESTADO DEL ARTE la materia de interfaces naturales, el NUI Group***** , para el IEEE Tabletops Workshop de 2008. Esta clasicacin ha sido usada como referencia a partir de entonces por o numerosos investigadores. Al Nui Group contribuy el autor de este texto mediante o la recopilacin de una extensa bibliograf sobre tecnolog multi-touch. Esta puede o a as encontrarse en http://http://www.citeulike.org/user/pfcgonzalo
2.2.
Supercies Tctiles Resistivas a
Mediante dos nas capas conductivas y transparentes separadas por un material aislante y un controlador que alterne entre ambas se puede desarrollar una supercie tctil (no multi-tctil) resistiva. Ejemplos de materiales que aparecen en la literatura a a son el xido indio-estao, para cubrir la parte conductiva, y el silicio, para la parte o n aislante. El controlador se encarga de, por un lado, alimentar una de las capas y, por el otro, medir la corriente de la otra. As es fcil crear un divisor de tensin al pulsar , a o la pantalla que, gracias al controlador, nos permite saber las coordenadas del toque e incluso la fuerza del mismo. Es una tecnolog barata y por ello se utiliza en PDAs, cmaras digitales y consolas a a porttiles (por ejemplo: Nintendo DS****** ). Adems de baratas, este tipo de pantallas a a son de bajo consumo. El inconveniente que presentan es que son frgiles y que, al a no ser excesivamente brillantes, se hace complicado encontrar soluciones para colocar protecciones encima de ellas. Se puede encontrar informacin ms detallada en (18) o a y (2). En la siguiente Figura 2.3 se puede apreciar cmo una membrana exible se coloca o del lado del usuario y un sustrato de vidrio en el lado contrario.
***** ******
http://nuigroup.com http://www.nintendo.es
2.2. SUPERFICIES TACTILES RESISTIVAS
Figura 2.3: Funcionamiento de una supercie resistiva (gura extra de (2)) da
CAP ITULO 2. ESTADO DEL ARTE
2.3.
Supercies Tctiles Capacitivas y Supercies a Tctiles de Capacidad Proyectada a
Estas tecnolog se han hecho famosas al ser utilizadas en el producto estrella as de los ultimos aos en lo relativo al multi-touch: el iPhone (21). Al contrario que las n supercies resistivas, las que tienen que ver con la capacidad tienen una alta claridad, son robustas, y son caras. Como ellas, estuvieron en un principio preparadas para ser tctiles pero se les aadi la funcionalidad multi-tctil con el paso de los aos. a n o a n Se usan tanto en los ratones integrados en los porttiles o en las tabletas de diseo a n como en aplicaciones industriales en ambientes con condiciones moderadamente duras. Una de sus cualidades a tener en cuenta es que no les afecta la presencia de objetos no conductores (tazas, papeles,...) sobre la supercie. En 1985 Lee, Buxton y Smith desarrollaron una tableta multi-touch capaz de medir tambin la presin de contacto (1) y Buxton realiz un anlisis de las posibilidades de e o o a sta en la HCI (19). Ese mismo ao R. Boie de Bell Labs desarroll la primera pantalla e n o multitctil conocida (20) en la que la precisin disminu al sumar puntos de contacto. a o a
Supercies Tctiles Capacitivas a En este caso, se colocan electrodos en los bordes del cristal (cubierto por una supercie conductora) que generan un campo elctrico. Al pulsar la pantalla este e campo se modica y se obtienen las coordenadas del toque midiendo la corriente en las esquinas del cristal. Supercies Tctiles de Capacidad Proyectada a Es la ms robusta y la ms cara de las tecnolog presentadas hasta ahora. Su a a as mayor ventaja respecto a las dems es que presenta soluciones multi-tctiles. a a Los Mitsubishi Electric Research Laboratories (MERL) son pioneros en la creacin o de un dispositivo multi-touch en el ao 2001: el Diamond Touch (3). Es una n mesa pensada para uso colaborativo con identicacin de cada usuario, de hecho o las sillas que la rodean van conectadas a un receptor para que se formen dos acoplamientos capacitativos: la persona con la mesa y la persona con la silla. Los usuarios deben evitar el tocarse entre s para no romper lo descrito. Como vemos en la Figura 2.4, el proyector est colocado encima de la supercie, por lo que a cualquier objeto o persona que se interponga en su haz de luz pervierte la seal n enviada. Para obtener las coordenadas de cada contacto, se usan los diamantes que vemos en la misma gura. Estos no son ms que las y columnas de antenas a conectadas en una direccin y aisladas en la contraria que al ser tocadas crean o como hemos visto anteriormente un acoplamiento capacitativo. 10
2.3. SUPERFICIES TACTILES CAPACITIVAS Y SUPERFICIES TACTILES DE CAPACIDAD PROYECTADA
Figura 2.4: Esquema de una Diamond Touch (gura extra de (3)) da
Un ao ms tarde, en 2002, los Sony Computer Sciences Laboratories presentan n a su supercie multi-touch: la SmartSkin (4). Comparte con la Diamond Touch el hecho de que el proyector est colocado de manera frontal. Como vemos en la a Figura 2.5, las coordenadas del objeto conductor (un dedo es un objeto conductor desde el punto de vista f sico) y su distancia respecto a la supercie (en este caso no hace falta tocarla para detectar su presencia) se obtienen mediante la medicin o de la seal enviada por una malla de electrodos de cobre (de los transmisores a n los receptores) situada entre dos supercies de cristal. Esta seal se ve modicada n al acercar un objeto conductor. 11
Figura 2.5: Conguracin de sensores en una Smart Skin (gura extra de (4)) o da
2.4.
Supercies Tctiles basadas en Ultrasonidos a
De las tecnolog nombradas, es la gran desconocida (aunque existen patentes, as vase Surface Wave Touch (SAW) (22)). Adems, slo soporta dos contactos simultneos. e a o a Esta vez para medir las coordenadas del toque habr que observar cmo se modican a o 12
2.5. SUPERFICIES TACTILES OPTICAS las ondas de ultrasonidos lanzadas por unos piezoelctricos montados en la supercie. e
2.5.
Supercies Tctiles Opticas a
Al pensar en supercies tctiles opticas, la primera que nos viene a la mente es el a reacTable (5), un instrumento electro-acstico que a diferencia de los modelos vistos u ms arriba lleva el proyector debajo de la supercie y obtiene las coordenadas de los a toques mediante el procesado y ltrado de la imagen; es decir, mirando a travs de una e cmara (tambin situada en el interior de la mesa). Este dispositivo no lee dedos, sino a e imgenes llamadas duciales: a
Figura 2.6: Diferentes tipos de duciales (gura extra de (5)) da 13
Figura 2.7: reacTable (gura extra de (5)) da
Adems de lo recientemente escrito, estas tecnolog opticas tienen la ventaja de a as ser robustas y de un coste muy inferior a las anteriores. Para mejorar su rendimiento y aislar sus capacidades de las condiciones ambientales suelen funcionar con luz infrarroja.
Supercies Multitctiles a partir de Cmaras situadas por encima de la Supercie a a Como la Diamond Touch o la SmartSkin comparten el problema de las sombras creadas por las personas u objetos que se interpongan entre la supercie y la cmara o el proyector. Un ejemplo de esta tecnolog es el PlayAnywhere (6) de a a Microsoft que permite utilizar cualquier supercie (no hace falta usar una mesa en particular) analizando las sombras de los puntos de contacto mediante las cmaras situadas en la parte frontal, ver Figura 2.8. a 14
2.5. SUPERFICIES TACTILES OPTICAS
Figura 2.8: Prototipo de Play Anywhere (gura extra de (6)) da
Reexin Interna Total Frustrada (FTIR) o 15
Figura 2.9: Esquema FTIR (Tim Roth, 2008) El redescubrimiento del principio ptico de la Reexin Interna Total Frustrao o da por Han (24) ha relanzado el estudio de las tecnolog multitctiles opticas. as a Este procedimiento ha sido usado durante aos para el reconocimiento de huellas n dactilares y Han propuso una versin aumentada de este proceso. El principio o establece que las ondas electromagnticas trasmitidas por el interior de un mae terial son completamente reectadas si el material tiene un ndice de refraccin o superior a los materiales situados en su frontera y el ngulo de incidencia es sua perior a un cierto ngulo cr a tico. Sin embargo otro material situado en la frontera puede frustrar est reexin interna, dejando escapar la luz. Las supercies que a o utilizan este mtodo por tanto constan generalmente de un panel acr e lico con un marco alrededor de LEDs infrarrojos que inyectan luz dentro. Al ser tocado el acr lico, la luz es reejada en el punto de contacto del dedo debido a su mayor ndice de refraccin. Una cmara sensible al espectro infrarrojo situada al otro lao a do del panel puede detectar estas reexiones. Tratando estas imgenes se pueden a conocer los puntos de contacto. Al ser la supercie transparente se puede usar un proyector detrs del panel para obtener una pantalla multitctil (25) (26) (2). a a En los siguientes aos se perfeccionar la tcnica aadiendo una supercie de n a e n contacto trasparente (goma, silicona, ltex,...) por encima de la supercie acr a lica (27) que mejorar la experiencia tctil (sensacin de tocar algo) adems de a a o a amplicar el efecto FTIR. Ms adelante se aadir la capacidad de leer objetos a n a 16
2.5. SUPERFICIES TACTILES OPTICAS (FTIR slo reconoce dedos) mediante la colocacin de luces infrarrojas por encio o ma de la supercie (28). El haz de luz que crean stas se multiplexa en el tiempo e con el propio haz de dentro de la supercie con el resultado de poder identicar sombras (de objetos, manos,...).
Iluminacin Difusa (DI) o
Figura 2.10: Esquema DI (Tim Roth, 2008)
Ejemplos de dispositivos DI:
Microsoft Touchlight, 2004 Microsoft Touchlight (7) es una pantalla con tecnolog similar a DI pero con a capacidad de generar imgenes 3D a partir de dos imgenes en 2D mediante a a estereo visin: o 17
Figura 2.11: Microsoft TouchLight (gura extra de (7)) da
Microsoft Surface, 2007
Microsoft Surface (http://www.microsoft.com/surface) es el ms conoa cido de los dispositivos comerciales. Es una mesa multi-touch con capacidad para detectar objetos adems de dedos. Actualmente ya va por su versin a o 2.0: 18
2.5. SUPERFICIES TACTILES OPTICAS
Figura 2.12: Microsoft Surface Microsoft Sphere, 2008 Microsoft Sphere (9) tiene la particularidad de ser una supercie esfrica: e
Figura 2.13: Microsoft Sphere (gura extra de (9)) da Microsoft SecondLight, 2008 Microsoft SecondLight (8) proyecta y detecta actividad en el plano de la supercie y en planos paralelos situados por encima de ella: 19
Figura 2.14: Microsoft SecondLight (gura extra de (8)) da
Como se aprecia en la Figura 2.10, la conguracin es similar a la de FTIR pero o esta vez la luz infrarroja se distribuye por dentro de una mesa cerrada (le afecta la iluminacin ambiental) y se lanza desde lmparas de infrarrojos. El objetivo o a es tener una iluminacin difusa en la supercie. Este sistema permite detectar o objetos por su forma y admite capas trasparentes de proteccin por encima de o la supercie. Al recibir un contacto, la cmara lo percibe porque reeja la luz a infrarroja. Sin embargo, un objeto situado en un plano superior al de la supercie es difuminado y por lo tanto no le do.
Supercie de Iluminacin Difusa (DSI) o 20
2.6. SUPERFICIES MULTITACTILES A PARTIR DE LCD CON SENSORES OPTICOS
Figura 2.15: Esquema DSI (Tim Roth, 2008) El inventor de esta tcnica derivada de las dos anteriores es Tim Roth (http: e //iad.projects.zhdk.ch/multitouch/). Es similar a FTIR porque lleva luz infrarroja por dentro del acr lico mediante la colocacin de LEDs en los bordes o y porque no se necesita tapar la mesa pero, al tener menos contraste (2), sufre ms con las condiciones lum a nicas ambientales. La diferencia principal respecto a FTIR es que el acr lico lleva por dentro unas pequeas part n culas que actan u como espejos y expanden la luz por todo el acr lico (incluso por arriba y debajo de l). Esto resulta en una iluminacin realmente difusa en la supercie (el gran e o reto al construir una mesa DI) y adems permite la lectura de duciales (no se a necesitan siliconas u otros materiales encima del acr lico).
2.6.
Supercies Multitctiles a partir de LCD con a Sensores Opticos
La tecnolog ms comn es la de Plano de Luz mediante LEDs (LED-LP). Como a a u su nombre indica, esta tcnica consiste en la creacin de un plano de luz infrarroja por e o encima de la supercie (y no por dentro como en FTIR). Para que la luz no se escape 21
CAP ITULO 2. ESTADO DEL ARTE del plano se hace uso de un marco. La utilidad de esta tecnolog es la de transformar a LCDs (pantallas de cristal l quido) no tctiles en tctiles colocando el marco encima a a de la pantalla. Al pulsar el marco, la luz infrarroja atraviesa la pantalla sin que se perturbe ni la imagen de la pantalla ni el propio haz de infrarrojos y este se captura con una cmara que slo vea en el espectro infrarrojo. Aunque su funcionamiento no a o es para nada optimo, se est comercializando de manera importante por su extremada a sencillez y por la gran penetracin de los dispositivos LCDs en el mercado. Existen o mtodos similares con menor xito que usan lser (Plano de Luz Lser, LLP) pero son e e a a demasiado peligrosos para el ojo. Evidentemente, al igual que en el caso de FTIR, no se pueden reconocer objetos con esta tcnica. e
22
Cap tulo 3
Dise o e implementacin de la mesa n o

Para este proyecto de investigacin hemos implementado y probado dos tcnicas o e (FTIR y DI) en una misma mesa. Ambas tcnicas estn basadas en el reconocimiento e a de imagen mediante una cmara. La eleccin de una u otra tcnica depende del ambia o e ente en el que se encuentre situada la mesa y del tipo de aplicaciones que se vayan a ejecutar en ella. En este cap tulo retomaremos brevemente cmo funcionan estas tcnicas, o e qu criterios tuvimos en cuenta para la implementacin del dispositivo y los problemas e o con los que nos encontramos. Para la implementacin de la mesa nos basamos en el o prototipo DI realizado por Dominik Schmidt (http://www.dominikschmidt.net/) en la Lancaster University.
3.1.
Criterios de dise o y funcionamiento de los disn positivos opticos
Nuestro objetivo principal es el de probar las limitaciones y potencial de una mesa multi-touch que construiremos en el laboratorio con las dos tecnolog arriba menas cionadas. Una referencia a nivel de diseo y funcionamiento desde el principio fue la n Microsoft Surface por ser la de mayor penetracin en el mercado. El diseo en el que o n nos basamos fue el de Dominik Schmidt que se ajusta a estas caracter sticas y explica con detalle el proceso constructivo. As su altura tendr que ser el de una mesa , a estndar (para poder usarse estando de pie o sentado al lado de la mesa) y su supercie a ser lo sucientemente grande como para poder ser usada por varias personas al mismo tiempo. Estas podr estar realizando tareas colaborativas o manipulando la mesa por an separado. Otro objetivo a la hora de disear la mesa es el de aislar lo mximo posible n a su funcionamiento de las condiciones ambientales. Ms adelante explicaremos qu se a e ha conseguido y qu no. e As las primeras semanas de trabajo fueron dedicadas a elegir los materiales en base , 23
CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA a los propuestos por Dominik Schmidt y a encontrar los distribuidores ms econmicos a o para cada pieza. En los casos de materiales como el hot mirror, el acr lico, el ltro de infrarrojos para la cmara o la silicona no fue tarea sencilla. a Mller (10) es la referencia a nivel de software en mesas multi-touch y esta es su u descripcin de la cadena de eventos que ocurren cuando se procede a utilizar una de o ellas: Los dispositivos pticos (basados en visin de blobs, tambin llamados marcas o o o e eventos, a travs de una cmara) multi-touch comparten el mismo concepto de procee a sado y ltrado de imgenes capturadas en patrones. En general, la interaccin puede a o ser descrita como la del pipeline de la Figura 3.1. El pipeline se inicia cuando el usuario ve una escena en el panel y decide interactuar. Para interactuar con el dispositivo, el usuario toca el panel. A nivel de hardware, la cmara registra el toque. Debido a que a el fotograma capturado puede no slo incluir los puntos de contacto, sino tambin un o e fondo esttico, se requiere realizar el procesamiento de imagen en cada fotograma capa turado. El fotograma capturado se convierte en una imagen en escala de grises y el fondo se elimina al restar el fotograma actual con uno de referencia. Como resultado, el cuadro slo muestra los contornos blancos (blobs), que son los o puntos de contacto. Mediante el seguimiento de estas manchas el sistema deviene capaz de detectar el tacto. Con el n de realizar un seguimiento de sus representaciones, las posiciones se transmiten al detector de blobs que compara blobs de fotogramas anteriores con el fotograma actual. Despus del procesamiento, los eventos se activarn e a y podrn ser utilizados en una aplicacin multi-tctil. La aplicacin modicar objetos a o a o a de la escena actual de acuerdo con las nuevas posiciones de los blobs. El resultado se devuelve al usuario a travs de la pantalla. e El rendimiento del dispositivo multi-touch ptico depende del hardware y del softo ware utilizados. Cuando un usuario toca un dispositivo multi-touch, espera que el dispositivo responda instantneamente. La capacidad de respuesta del dispositivo depende a del tiempo que necesita para procesar el input del usuario y presentar un resultado a travs de la pantalla. En el pipeline de interaccin dos niveles son importantes, los de e o hardware y software, ya que usando una cmara que sea capaz de leer 30 fotogramas a por segundo se permite una interaccin uida con el sistema. Sin embargo, esto reo quiere un sistema que pueda manejar el procesamiento de imgenes y el la deteccin a o de blobs en 1/30 de segundo. As pues, una combinacin de algoritmos inteligentes o implementados mediante software y un hardware veloz ayudan a minimizar la latencia y aumentan la capacidad de respuesta del dispositivo.
24
3.2. DISENO DE LA ESTRUCTURA
Figura 3.1: Pipeline de la interaccin multi-touch (gura extra de (10)) o da
3.2.
Dise o de la estructura n
La estructura ha de ser lo ms r a gida posible. Por ello usamos las barras de aluminio de la marca Bosch Rexroth (http://www.boschrexroth.es/) propuestas en el diseo n original. Puesto que tienen ra les, permiten que todos los elementos de dentro la mesa sean mviles (espejo, cmara, proyector, lmparas,...) para posibles reconguraciones. o a a En la Tabla 3.1 quedan descritos los materiales que hemos utilizado para construir la estructura. En las Figuras B.1, B.2, B.3 y B.4 incluidas en el Anexo vemos los planos del prototipo realizado por D. Schmidt y la lista de materiales que nos propuso al inicio del proyecto como base. 25
CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA Referencia 3842529018 3842529404 3842535571 3842535576 3842535577 3842502683 3842992476 3842990720 3842990720 3842990720 3842993120 3842993120 3842993120 3842993120 3842993120 3842529324 3842529321 3842538275 3842516845 Descripcin o CAP COVER W40X40 CORNER BRACKET R40X40 SET INSIDE BRACKET 10 R INSIDE BRACKET 8/10 INSIDE BRACKET 8R JOINT 30X30 CSTRUT PROFILE 11X20 (soporte espejo) STRUT PROFILE 30X30 (espejo) STRUT PROFILE 30X30 (soporte proyector) STRUT PROFILE 30X30 (soporte proyector) STRUT PROFILE 40X40L (largo mesa) STRUT PROFILE 40X40L (alto mesa) STRUT PROFILE 40X40L (alto interior mesa) STRUT PROFILE 40X40L (ancho mesa) STRUT PROFILE 40X40L (escuadra soporte proyector) CORREDERA DESLIZANTE P.RANURAS 10 M8 ES CORREDERA DESLIZANTE P.RANURAS 8 M8 ES L=16 MONTAJE GIRATORIO 180GRAD 8 PALANCA DE APRIETE GN 300-63-M8-12-SW Tabla 3.1: Materiales de la estructura de la mesa L. (mm) No 1 1 10 10 10 1 1 1 1 1 1 1 1 1 1 100 100 1 1
200 220 300 338 910 660 620 570 300
Los acr licos de la supercie y las paredes fueron cortados a medida por Segainvex* . En cambio las barras de aluminio se trabajaron en el laboratorio por medio de una sierra de calar:
http://www.uam.es/investigacion/servicios/segainvex/
26
3.2. DISENO DE LA ESTRUCTURA
Figura 3.2: Agujereo y cortado de los aluminios
27
CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA
3.3.
Dise o e implementacin de la mesa con tecn o nolog DI a
A esta parte del proyecto le dedicamos el 80 % del tiempo porque necesitamos una iluminacin lo ms difusa posible dentro de la mesa y porque tratamos de aminorar el o a efecto de la luz ambiental sobre el rendimiento de la misma. Es este el punto cr tico de la tecnolog DI: la iluminacin. Realizamos a mano un esquema de la conguracin a o o DI:
Figura 3.3: Esquema de componentes para la conguracin DI o
Para completar la supercie multicontacto es necesario utilizar un sistema de ventilacin para evitar que se calienten demasiado los componentes encerrados en la eso tructura, ver Figura 3.4. 28
3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA
(a) Sistema de ventilacin visto (b) Sistema de ventilacin visto o o desde fuera de la mesa desde dentro de la mesa
Figura 3.4: Sistema de ventilacin visto desde dentro y desde fuera de la mesa o
Como se puede apreciar en la Figura 3.4(b), las paredes por dentro estn forradas a en una cartulina rugosa blanca que ayuda a difuminar la luz por la mesa. Para que las paredes puedan pegarse y despegarse de la estructura sin esfuerzo, se sujetan mediante tiras de velcro adhesivas.
3.3.1.
Eleccin de la cmara (E) o a
Elegimos una cmara modelo Firey MV (Figura 3.5) por su velocidad de respuesta a (60 fps) y su comportamiento cerca del espectro de la luz infrarroja (Figura 3.6).
Figura 3.5: Firey MV 29
Figura 3.6: Respuesta espectral de la Firey MV
Sobre la cmara va montada une lente Varifocal 1.8-3.6mm de gran angular para a que abarque toda la supercie de la mesa. Es importante colocar un ltro que deje pasar slo la banda de luz infrarroja sobre la lente (D). En este caso usamos un Knight o Optical 850FAP5050 850nm que como podemos apreciar en la grca de la Figura 3.7 a bloquea la luz de longitud de onda menor a la infrarroja. Al ser la longitud de onda inversamente proporcional a la frecuencia, consideramos que es un ltro paso bajo en frecuencia. Lo ideal hubiera sido tener un ltro paso banda para evitar que se cuelen infrarrojos a longitudes de onda considerablemente mayores de las que utilizamos. Trabajamos siempre a 850nm ya que se obtienen mejores resultados que a la otra longitud ms utilizada: 940nm. A 850nm la sensibilidad, el brillo de los LEDs visto a desde la cmara, es mayor aunque el infrarrojo no sea completamente invisible al ojo a humano como a 940 nm. 30
3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA
Figura 3.7: Respuesta Filtro IR 850FAP5050
En este caso tenemos que recortar el ltro para que encaje sobre la lente:
Figura 3.8: Filtro IR 850FAP5050 31
Figura 3.9: Filtro IR colocado sobre la lente
Para concluir, podr amos decir que, aunque en nuestro caso usemos una cmara a Firewire de alta calidad, una webcam domstica (vase la cmara de la Play Station e e a 3) funciona bien en algunos casos pero (2):
A menudo un ltro de infrarrojos debe ser eliminado. La sensibilidad a los infrarrojos puede ser un problema. El framerate se suele limitar a 15-30 fps.
Y en las cmaras industriales en cambio: a
El framerate sube a 60-120 fps. Existen versiones monocromo con mejor sensibilidad a los infrarrojos. 32
3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA Una mejor calidad de imagen que reduce la necesidad de procesamiento de la imagen.
El precio es mayor.
3.3.2.
Eleccin del proyector (G) o
Modelo de Proyector 3M DMS 700 JVC DLA-SX21SU NEC WT610 Sanyo PLC-XL50 Toshiba TDP-ET20U Toshiba TDP-EW25
Resolucin Nativa o 1024x768 1400x1050 1024x768 1024x768 854x768 1280x800
Precio Recomendado (dlares) o 2765 11995 3999 2900 999 1899
Tabla 3.2: Comparativa de proyectores de corto alcance (tabla extra de (2)) da
Teniendo en cuenta las medidas de nuestra mesa adems del precio elegimos el a Toshiba TDP-EW25. Adjuntamos un plano preliminar de la mesa con las medidas de la misma: 33
Figura 3.10: Esquema preliminar que muestra las dimensiones de la mesa
Como se puede comprobar, responde a una relacin 16:10. La altura de 70 cm es la o habitual en cualquier mesa de escritorio. Sobre el proyector colocamos un hot mirror (H), o lo que es lo mismo, un ltro de vidrio dicroico (Permacolor B de 160 mm de dimetro, de la marca Rosco) que a realizar la labor contraria al ltro de la cmara: es decir, bloquear toda la luz infrara a a roja que pueda estar emitiendo el proyector para que sta no llegue a la supercie de e proyeccin. En este caso no hace falta recorte alguno ya que tiene una circunferencia o superior a la lente del proyector. Entre el proyector y la supercie de proyeccin colocaremos un espejo de primera o supercie (Knight Optical MGE400280-C) en donde se reejar la imagen antes de a mostrarse en pantalla. Esto permite disminuir la distancia entre la supercie de proyeccin y el proyector (que tendr que ir colocado dado la vuelta; es decir, boca abajo, para o a que lo proyectado en pantalla aparezca en el sentido correcto). Este sistema proyectorhot mirror-espejo no viene reejado en la Figura 3.3 pero se puede observar en las Figuras 3.4(b) y 3.10. Para mantener jo el espejo usamos de nuevo un acr lico estre34
3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA cho y un sistema de sujecin sencillo como el de los marcos de fotos formado por cuatro o pinzas de aluminio.
3.3.3.
Supercie de proyeccin y contacto (A) + (B) o
Necesitamos como es normal una supercie r gida que soporte apoyos de diferentes objetos y manos a la vez. Por ello utilizamos una buena plancha de acr lico transparente de 10mm de grosor. Como supercie de proyeccin se usa un sencillo papel de calco de buena calidad, o en este caso un papel de calco natural HP. A su vez ste har la vez de difusor de la e a luz infrarroja. Las paredes de la mesa sern acr a licos del mismo material que el de la parte superior pero en este caso de color negro y ms estrechos (3mm). La mesa permanecer cerrada a a en todo momento, de modo que no entre ni salga luz ms que por la zona del difusor. a
3.3.4.
CPU (F)
Usamos un procesador Intel Core 2 Duo pero no se necesita una capacidad de proceso demasiado grande para las tareas que proponemos. El modelo de PC utilizado es: Lenovo ThinkCentre A57 9702 - Core 2 Duo E8400 a 3 GHz con 2 GB de memoria RAM y una tarjeta grca Intel GMA 3100. Trabajamos en el sistema operativo a Microsoft Windows XP Professional.
3.3.5.
Iluminacin Infrarroja DI (C) o
Para iluminar el interior de la mesa de luz infrarroja probamos dos tipos de lmparas a de LEDs infrarrojos a 850 nm (IR70 e IR100 de la marca RF Concepts). Unas rectangulares (Figura 3.11(a)) y otras circulares (Figura 3.11(b)): 35
(a) Lmpara de IR rectangular a
(b) Lmpara de IR circular a
Figura 3.11: Lmparas de IR probadas a
Ambas lmparas slo funcionan en modo nocturno; es decir, vienen con un sensor a o de luz que al notar falta de ella las activa. Tapamos ambos sensores con cinta aislante negra para que las lmparas funcionen de manera continua: a
(a) Tapado del sensor de la (b) Tapado del sensor de la lmpara de IR rectangular a lmpara de IR circular a
Figura 3.12: Tapado de los sensores de las lmparas de IR a
Cada una lleva su fuente de alimentacin independiente. La colocacin de los focos o o es un punto cr tico para el correcto funcionamiento de la mesa, en DI la iluminacin o debe estar difuminada y ser uniforme en todo el interior. En este punto del trabajo es en el que ms tiempo dedicamos a hacer pruebas para tratar por un lado de difuminar a an ms la luz y por otro, para evitar que existieran brillos dentro de la mesa. Para lo u a primero colocamos las lmparas en diferentes posiciones (en las esquinas inferiores de a la estructura, escondiendo las lmparas debajo del proyector,...), y tratamos de utilizar a difusores de la luz (pusimos papel de aluminio arrugado en las paredes de la mesa, 36
3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA colocamos ltros de papel de la marca Rosco encima de las lmparas,...). Ninguno a de todos estos procedimientos nos ofreci una mejora sustancial de lo que ten o amos previamente. Para lo segundo, evitar los brillos en la mesa, cubrimos de cinta aislante negra todos los aluminios en donde se reeja la luz. En este caso s resolvimos el problema. As en ultimo caso, usamos las lmparas rectangulares, colocando una en cada , a esquina superior de la mesa apuntando hacia abajo con un angulo de aproximadamente o 30 respecto a la vertical de la mesa. Por otro lado, para iluminar los puntos negros de las esquinas que son generados por la conguracin de las lmparas, realizamos cuatro sencillos circuitos (uno para o a cada esquina) de tres LEDs de infrarrojos que son colocados en la parte superior de las esquinas, Figura 3.13. Estos van directamente conectados a una fuente de alimentacin o a 5V.
Figura 3.13: LEDs para mejorar la iluminacin en una esquina de la mesa o 37
3.3.6.
Coste aproximado de una mesa multi-touch DI
MATERIAL CPU Toshiba TDP-EW25 FFMV-03MTM-CS + FFMV-DEVKIT VARIFOCAL 1.8-3.6mm (NT55-254) KO 850FAP5050 850nm Acrylic KO MGE400280-C ROSCO PERMACOLOR B 160 mm dimetro a Papel de calco HP C3868A Panel acr lico 950 x 610 x 10mm Clear (2x) Panel 700 x 650 x 3mm Black (2x) Panel 996 x 700 x 3mm Black (4x) IR Illuminator IR70 y PSU Perles de aluminio TOTAL
UTILIDAD Ordenador Proyector Cmara + Accesorios a Lente de la cmara a Filtro de IR para la cmara a Espejo de primera supercie Hot Mirror Difusor y supercie de proyeccin o Supercie Paredes Paredes Lmparas IR a Estructura de la mesa
PRECIO 500,00 1.645,05 220,77 185,25 9,82 53,79 85,19 20,00 150,00 35,56 49,79 334,35 600,00 3.889,57
Tabla 3.3: Presupuesto aproximado para el diseo de una mesa multi-touch DI n
3.4.
Dise o e implementacin de la mesa con tecn o nolog FTIR a
Una vez montada la mesa con tecnolog DI, y compartiendo estructura y la mayor a a de los materiales (papel de calco (A), acr lico (C), ltro de IR para la cmara (D), a cmara (E), CPU (F), proyector (G) y hot mirror (H)) pasamos a implementar una a mesa FTIR. La realizacin de esta es ms rpida que la de la DI, requiere aadir una o a a n tira de LEDs alrededor del acr lico y crear e instalar una capa de silicona por encima del acr lico. Realizamos a mano un esquema de la conguracin FTIR: o 38
3.4. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG FTIR IA
Figura 3.14: Esquema de componentes para la conguracin FTIR o
Al ir la luz infrarroja por dentro del acr lico, no es necesario que la mesa est cue bierta; es decir, nos podemos deshacer de las paredes y por tanto de la ventilacin. La o inuencia de la luz ambiental es esta vez much simo menor.
3.4.1.
Supercie de contacto (B)
La forma ms sencilla de comenzar con FTIR es usando una capa de acr a lico con un marco de LEDs de infrarrojos. Sin embargo, con esta conguracin, los usuarios han de o apretar fuerte en la supercie para que el efecto de FTIR se realice. Adicionalmente, cuando se pone un dedo en la supercie, por ejemplo haciendo un gesto de movimiento, la friccin puede decrecer la intensidad del efecto de FTIR causado. o Por tanto, diferentes investigadores usan una capa adicional (una capa de contacto) encima del acr lico para aumentar la sensibilidad de la supercie. Estas supercies de contacto estn t a picamos compuestas de algn material trasparente y mullido que se u coloca entre la plancha de acr lico y la capa difusora (la pantalla de proyeccin). Cuando o se aplica presin sobre la supercie, el acoplamiento de la capa difurosa y del acr o lico crea el efecto de FTIR; efecto que se ve intensicado por la supercie de contacto aadida al sistema (2). n Encontrar el material adecuado para la supercie de contacto es crucial. Experi39
CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA mentando con diferentes materiales, comprobaron (2) que dos problemas principales pueden ocurrir con la capa: o no se crea un efecto de FTIR sucientemente intenso, ver imagen izquierda de la Figura 3.15, o se queda pegada a la supercie, lanzando constantemente el efecto de FTIR incluso despus de que el dedo haya sido quitado, e ver imagen derecha de la Figura 3.15. En el peor de los casos, si se usa una combinacin equivocada de material de contacto y capa de proyeccin, las dos capas pueden o o quedarse pegadas permanentemente.
Figura 3.15: Usar la conguracin equivocada de materiales puede resultar en dos o problemas: (izquierda) o el efecto de FTIR no es sucientemente intenso; o (derecha) las capas se quedan pegadas (gura extra de (2)) da
En estos mismos experimentos, los mejores resultados para la supercie de conctacto se consiguieron con las siliconas SORTA-Clear 40** y ELASTOSIL RT 60*** ya que ambos materiales son relativamente duros, no pegajosos y muy transparentes. Una vez superpuestas, ambas capas de silicona pueden quitarse fcilmente, y volver a colocarse a sobre la supercie acr lica. Sin embargo, el usar silicona como supercie de contacto supone un problema ya que el material es entregado en un bote como un gel que debe ser vertido equitativamente sobre la supercie. Esta es la parte ms cr a tica del proceso ya que es dif no cometer cil errores y que no aparezcan pompas en la silicona. Una vez vertida completamente hay que dejarla secar durante 48 horas. En nuestro caso usamos ELASTOSIL RT 601 porque es menos viscosa y por consiguiente es ms fcil de verter, obteniendo menos pompas. Para realizar la capa de a a silicona vertimos el gel lo ms uniformemente posible sobre una plancha lisa y lo dea
** ***
http://www.smooth-on.com/tb/les/Sorta Clear 40 TB.pdf http://www.wacker.com/cms/en/products-markets/products/product.jsp?product=10461
40
3.4. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG FTIR IA jamos secar. Al haber realizado una capa demasiado gorda y al ser el laboratorio de trabajo un lugar muy caluroso, el gel tardar semanas en solidicarse y adems a a quedar muchas irregularidades en su supercie, sobre todo en las partes laterales. an Sin embargo, y aunque es incmodo al tacto en algunas zonas, su funcionamiento es o correcto. En la siguiente gura vemos cmo nuestra silicona ya seca puede despegarse o sin problemas del acr lico:
Figura 3.16: Supercie de contacto realizada en el laboratorio
Como una alternativa a la silicona se plante usar una na capa de ltex. La ventaja o a principal de este mtodo es que no hay nada que verter por lo que se reduce el tiempo e de construccin. Adems, el ltex no se queda pegado a las capas vecinas por lo que o a a puede combinarse con un nmero mayor de superces de proyeccin. En contraste con u o la silicona, el ltex debe combinarse con la supercie de proyeccin; dejando un hueco a o de aire entre el ltex y el acr a lico. En la versin con silicona ten o amos exactamente el requisito contrario. Veremos claramente las diferencias en las Figuras 3.17 y 3.18. 41
Figura 3.17: Supercie de contacto de silicona: el hueco (c) est entre la supercie de a proyeccin (d) y la combinacin de la silicona (b) y la supercie acr o o lica (a) (gura extra de (10)) da
Figura 3.18: Supercie de contacto de ltex: las capas de proyeccin (d) y de ltex (c) a o a han de estar combinadas; el hueco (b) estar entre stas dos y la supercie acr a e lica (gura extra de (10)) da
En la Figura siguiente se puede apreciar el ltex que se utiliz. Nosotros no llegamos a o a probar esta tcnica ya que, tras enviarle por correo una tira de ltex a D. Schmidt, e a nos coment que el resultado en ningn caso fue mejor al obtenido con la silicona al o u no ser el ltex tan trasparente como la silicona: a
Figura 3.19: Tira de ltex a 42
3.4. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG FTIR IA
3.4.2.
Iluminacin Infrarroja FTIR (I) o
Se coloca alrededor del marco de la mesa y a escasos mil metros del borde de la supercie acr lica una tira de LEDs a 850nm de la marca Environmental Lights. Este producto fue desarrollado particularmente para la creacin de mesas multi-touch con o **** tecnolog FTIR . En nuestro caso, no bordeamos la supercie entera con la tira de a LEDs, sino que colocamos la tira en solo dos bordes contiguos con forma de ele. Esta cantidad de iluminacin es suciente para rellenar el acr o lico entero.
Figura 3.20: Cinta de LEDs para FTIR y su fuente de alimentacin o
****
http://www.environmentallights.com/shop/images/tech specs/infrared led guide.pdf
43
3.4.3.
Coste aproximado de una mesa multi-touch FTIR
MATERIAL CPU Toshiba TDP-EW25 FFMV-03MTM-CS + FFMV-DEVKIT VARIFOCAL 1.8-3.6mm (NT55-254) KO 850FAP5050 850nm Acrylic KO MGE400280-C ROSCO PERMACOLOR B 160 mm dimetro a Papel de calco HP C3868A Panel acr lico 950 x 610 x 10mm Clear ELASTOSIL RT 601 LED Ribbon Flex 5 meter (IR 850 nm) Perles de aluminio TOTAL
UTILIDAD Ordenador Proyector Cmara + Accesorios a Lente de la cmara a Filtro de IR para la cmara a Espejo de primera supercie Hot Mirror Difusor y supercie de proyeccin o Supercie Capa de silicona Cordn de LEDs o Estructura de la mesa
PRECIO 500,00 1.645,05 220,77 185,25 9,82 53,79 85,19 20,00 150,00 50,00 152,43 600,00 3.672,30
Tabla 3.4: Presupuesto aproximado para el diseo de una mesa multi-touch FTIR n
3.5.
Conguracin y calibracin del software de reo o conocimiento de imagen
La conguracin y calibracin de la cmara y del software es esencial para obtener o o a resultados precisos. El tratamiento de la imagen que ve la cmara es el paso de la a misma por una sucesin de ltros que explicaremos en este apartado. o El software que utilizamos es tbeta (http://ccv.nuigroup.com/), que es una solucin multi-plataforma de cdigo abierto para la visin y deteccin por ordenador. Toma o o o o una entrada de v deo y saca datos de seguimiento, por ejemplo, las coordenadas y el tamao de un blob. Un blob es la marca que deja un dedo al pulsar la mesa. n Vamos a mostrar un ejemplo de conguracin y calibracin sobre nuestra mesa o o con FTIR. Al encender todos los componentes de la mesa que necesitan alimentacin o (CPU, proyector, LEDs, ventiladores) y lanzar tbeta, esta es la imagen que aparece en pantalla: 44
3.5. CONFIGURACION Y CALIBRACION DEL SOFTWARE DE RECONOCIMIENTO DE IMAGEN
Figura 3.21: Interfaz de tbeta
Como podemos apreciar hay seis ventanas:
Source Image es la imagen directa que ve la cmara. a Tracked Image es la imagen ya tratada, aqu veremos los blobs tras pasar por todos los ltros de tbeta. Thresold ajusta el nivel de pixels detectados aceptable. Cuanto ms alto sea el nivel, mayores tendrn que ser los blobs para a a ser detectados. Background es el fondo de la imagen. Al pulsar el botn de Remove Backo ground se captura el fotograma actual y se usa como la nueva imagen de fondo esttica para ser sustra del siguiente fotograma activo. Dynamic Suba da stract lo mantenemos siempre activado porque ajusta dinmicamente el fondo a adaptndose a la luz ambiental. a Smooth suaviza la imagen y ltra ruido de la misma. 45
CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA Highpass: Blur elimina las partes borrosas y deja las brillantes y Noise ltra el ruido tras aplicar el ltro de Blur. Amplify amplica los pixels ms dbiles. Se utiliza si los blobs son demasiado a e difusos.
Aparecen algunos brillos en la Source Image porque hemos dejado el obturador de la cmara demasiado abierto y est entrando luz solar. Cerrndolo, y usando FTIR, a a a lo normal es tener una imagen casi completamente oscura. Activamos el Dynamic Substract y pulsamos Remove Background. Como vemos en la siguiente Figura, la imagen ltrada (Tracked Image) se ha quedado con el fondo negro y al colocar la mano sobre la mesa se distinguen perfectamente los dedos/los blobs:
Figura 3.22: Aplicamos Remove Background. Apreciamos cmo a pesar de seguir o existiendo brillos en la imagen fuente, el fondo de la imagen tratada es negro y el reconocimiento de los blobs claro 46
3.5. CONFIGURACION Y CALIBRACION DEL SOFTWARE DE RECONOCIMIENTO DE IMAGEN Desactivamos el ltro Highpass. Como se aprecia en la siguiente gura, esta vez se detectan las partes borrosas (la sombra de la mano):
Figura 3.23: Desactivamos el ltro Highpass. Se cuelan y detectan partes borrosas como la sombra de la mano
Desactivamos la amplicacin de los blobs ya que son sucientemente claros y o ajustamos el ltro de Smooth para obtener una imagen de calidad: 47
Figura 3.24: Ajuste de Smooth. Obtenemos una imagen de calidad al ltrar el ruido de la imagen
Por ultimo, ajustamos ligeramente el Thresold pero la inuencia es m nima porque los blobs obtenidos ya son de calidad. Ahora pasamos a calibrar el programa para que el lugar donde pulsamos sea localizado de la manera ms exacta posible. Una mala calibracin equivoca las coordenadas a o del toque. La Figura 3.25 muestra la pantalla de calibracin. Habr que ir pulsando o a las cruces verdes empezando por arriba a la izquierda, donde est el c a rculo rojo. Al pulsar dentro de ese c rculo, ste saltar a la nueva cruz y as sucesivamente hasta el e a nal. 48
3.5. CONFIGURACION Y CALIBRACION DEL SOFTWARE DE RECONOCIMIENTO DE IMAGEN
Figura 3.25: Pantalla de calibracin o
49
50
Cap tulo 4
Pruebas y aplicaciones
4.1.
Reconocimiento de objetos
Mostramos ejemplos de reconocimiento de objetos mediante reacTIVision, posiblemente el software con mejor rendimiento a lo hora de trabajar con duciales (estos pueden ir pegados a objetos) y realizamos dos sencillos programas en lenguaje Pure Data para demostrarlo.
reacTIVision
reacTIVision* es un software libre, un framework multi-plataforma para el reconocimiento rpido y able de marcadores duciales (ver Figura 2.6) generala mente pegados a objetos f sicos, as como para el reconocimiento multi-touch de dedos.
La imagen de los duciales tratados por el software es la siguiente. Esta imagen es captada con una webcam enchufada al PC:
http://reactivision.sourceforge.net/
51
CAP ITULO 4. PRUEBAS Y APLICACIONES
Figura 4.1: Reconocimiento de marcadores duciales a travs de reacTIVision e
Cada ducial lleva asignado un nmero de identicacin y ser reconocido por la u o a cmara. a
Pure Data + reacTIVision Pure Data** es un entorno de programacin grca en tiempo real para audio, o a v deo y procesamiento grco. De nuevo las imgenes capturadas para estos ejema a plos se toman de la entrada de una webcam conectada al PC. El sencillo programa TUIO PureData.pd de la Figura 4.2, cuyos autores son los mismos de reacTIVision, muestra en pantalla los duciales aadidos y quitados de n delante de la cmara y sus coordenadas y ngulo de rotacin. Vamos a proceder a a o a realizar una serie de capturas de pantalla para entender el procedimiento, ver Figuras 4.2 y 4.3:
**
http://puredata.info/
52
4.1. RECONOCIMIENTO DE OBJETOS
Figura 4.2: Programa de reconocimiento de duciales mediante Pure Data y reacTIVision. En x-axis se muestra la coordenada x, en y-axis la coordenada y y en angle el angulo de rotacin o
53
Figura 4.3: Muestra de cmo aparecen las identicaciones de cada ducial al mostrarlos o (added) o quitarlos (removed) de delante de la cmara en Pure Data a
Para ver las aplicaciones grcas de Pure Data vamos a utilizar un programa a que muestre en un tablero cticio la posicin de los duciales con id 0, 4, 8, 12, o 16, 18 y procedemos a ensear a cmara los marcadores 0, 4 y 8. Como en el n a caso anterior, realizamos dos capturas de pantalla para entender el programa, ver Figuras 4.4 y 4.5: 54
4.1. RECONOCIMIENTO DE OBJETOS
Figura 4.4: Programa grco de reconocimiento de duciales mediante Pure Data y a reacTIVision
55
Figura 4.5: Muestra de cmo aparecen en un tablero las identicaciones de cada ducial o al mostrarlos o quitarlos de delante de la cmara en Pure Data a
4.2.
Reconocimiento de dedos
Flash + tbeta Usando la librer de AS3 que proporciona el NUI Group con tbeta utilizamos un a programa de prueba que mezcla la interaccin mediante ratn con la interaccin o o o mediante gestos con los dedos de la mano. La clase del programa se extiende de RotatableScalable(), que es la clase que ofrece las caracter sticas que necesitamos para que el multi-touch funcione; es decir, que los objetos sean, mediante el tacto, movibles, rotables, escalables,... Al pulsar con el ratn sobre el marco que o aparece en la pantalla al ejecutar el programa, aparece un c rculo rojo en la posicin en la que estamos. El c o rculo podr ser manipulado mediante los dedos a y as sucesivamente con todos los c rculos que se quieran crear con un click de ratn. En la Figura 4.6 pueden ver un ejemplo. Esta prueba fue realizada por o simulacin desde el PC, no corrida sobre la mesa: o 56
4.2. RECONOCIMIENTO DE DEDOS
Figura 4.6: Programa de ejemplo en Flash
En el Apndice A encontrarn el cdigo de este programa llamado MyTouchApp.as e a o
Comparativa ratn/multi-touch o Realizamos un sencillo programa en la plataforma Fling (Flash Library for Interpreting Natural Gestures), que es una capa de funcionalidad que aade capacin dades multi-touch a Adobe Flash y a las aplicaciones Air usando ActionScript. El escenario propuesto es el de seis guras, tres a cada lado de un l nea delimitadora, Figura 4.7. Esta prueba fue realizada de manera cualitativa, no corrida sobre la mesa: 57
Figura 4.7: Escenario para comparar movimientos de ratn/movimientos multi-touch o
Tendremos que pasar los cuadrados a la derecha de la l nea y los tr angulos a la izquierda. Mediante el uso del ratn slo podemos seleccionar un objeto o o en cada movimiento as que realizaremos un m nimo de seis movimientos. Sin embargo, mediante el uso de tres dedos de cada mano a la vez podr amos realizar el objetivo en un unico movimiento. Esto multiplicar evidentemente la velocidad a de realizacin de esta accin por seis. o o Incluso realizando, para mayor comodidad, dos movimientos (primero se mueve un tipo de objeto y luego el otro) estar amos multiplicando por tres el rendimiento, ver Figuras 4.8(a) y 4.8(b). 58
4.3. VENTAJAS DI SOBRE FTIR
(a) Posicin 1 o
(b) Posicin 2 o
Figura 4.8: La manipulacin de un dispositivo multi-touch permite simultanear acciones o que en un PC tradicional tendr que ser secuenciales an
En el Apndice A adjuntamos el cdigo del programa principal HelloWorld.as y e o de los objetos que contiene: Square.as, Triangle.as y Bar.as
4.3.
Ventajas DI sobre FTIR
Las ventajas de DI sobre FTIR en base a su rendimiento son pocas pero DI tiene una cualidad muy valiosa: la capacidad de detectar objetos. Al ver sombras, se puede trabajar por ejemplo en tareas de reconocimiento de manos para detectar usuarios (Figura 4.9(a)). DI est preparado para leer los duciales de reacTIVsion, ver Figua ra 2.6, que pueden por ejemplo, ir pegados a la base de un objeto (Figura 4.9(b)).
(a) Reconocimiento de manos (b) Lectura de duciales (objepara detectar usuarios en DI tos) en DI
Figura 4.9: DI permite reconocer manos y duciales 59
4.4.
Comparativa DI/FTIR
Figura 4.10: a) Arriba: Brillos en FTIR / b) Abajo: Brillos en DI. Se puede apreciar que la inuencia de la luz es ms acusada en DI a
Ponemos un ejemplo en la Figura 4.10 de un brillo que aparece en FTIR al lado de nuestro blob aunque generalmente estos se pueden paliar calibrando la cmara a (cerrando el obturador principalmente). Como vemos, en DI la inuencia de los brillos es ms acusada. a 60
4.4. COMPARATIVA DI/FTIR
Figura 4.11: a) Arriba: Zonas oscuras en FTIR / b) Abajo: Zonas oscuras en DI. En FTIR no hay zonas oscuras
En la Figura 4.11 comprobamos que en FTIR no hay zonas oscuras mientras que en DI s (slo se detectan dos dedos de una mano). Esto viene dado por la propia o colocacin de los LEDs. o 61
Figura 4.12: a) Arriba: Luz ambiente moderada en DI / b) Abajo: Luz ambiente fuerte en DI. Tras aplicar un cambio brusco de luminosidad vemos cmo se pierden los blobs o en DI
Aplicamos un brusco cambio de luminosidad a la sala y vemos en la Figura 4.12 cmo habr que recalibrar completamente en DI ya que se pierden los blobs. No o a adjuntamos Figura de FTIR porque no se ve afectada por este cambio: al encender las luces, se sustrae dinmicamente el fondo con mucha rapidez. Si queda algn brillo a u es porque el ltro de la cmara es paso bajo y se cuela alguna longitud de onda, para a contrarrestarlo bastar con encender el ltro Highpass de tbeta que, al ser, un ltro a paso alto se combina con el anterior y lo contrasta. 62
4.5. FALSOS POSITIVOS Y FALSOS NEGATIVOS
4.5.
Falsos positivos y falsos negativos
Uno de los problemas t picos durante el manejo de una supercie multi-touch es la aparicin de falsos positivos y de faltos negativos. Un falso positivo aparece cuando o un brillo no provocado por el usuario es reconocido por el software como un toque. Un falso negativo aparece cuando se pierde un toque realizado por el usuario; es decir, cuando un brillo o una zona oscura impide que se reconozca el toque. Realizamos una rutina consistente en recorrer diez veces primero con uno y luego con dos dedos una diagonal de la mesa y comprobar la cantidad de falsos positivos y de falsos negativos que son detectados por el programa de seguimiento. Con ello dibujamos mediante Matlab las siguientes cuatro grcas: a
Figura 4.13: Falsos positivos y negativos para una rutina de 10 movimientos FTIR con 1 dedo. FTIR es extremadamente able a la hora de no leer falsos positivos 63
Figura 4.14: Falsos positivos y negativos para una rutina de 10 movimientos FTIR con 2 dedos. FTIR pierde algo de abilidad al usar dos dedos
Observando las Figuras 4.13 y 4.14 comprobamos como FTIR es extremadamente able a la hora de no leer falsos positivos (un mximo de uno en veinte movimientos). a Esto se debe a la manera en que se aisla de las condiciones de iluminacin ambientales y o al buen funcionamiento en zonas oscuras. Sin embargo, FTIR reduce algo su abilidad al usar dos dedos (aparecen cinco falsos negativos en uno de los movimientos) ya que pierde el blob en alguna zona rugosa de la silicona. Esto podr evitarse mediante unas a mejores conguracin y calibracin. La conclusin es que es una tecnolog robusta y o o o a an ms en comparacin con DI. u a o 64
4.5. FALSOS POSITIVOS Y FALSOS NEGATIVOS
Figura 4.15: Falsos positivos y negativos para una rutina de 10 movimientos DI con 1 dedo. En DI aparecen pocos falsos negativos pero un nmero importante de falsos u positivos
65
Figura 4.16: Falsos positivos y negativos para una rutina de 10 movimientos DI con 2 dedos. DI pierde algo de abilidad al usar dos dedos
Observando las Figuras 4.15 y 4.16 comprobamos que en DI aparecen pocos falsos negativos (ms cuantos ms dedos haya) pero que se dispara la aparicin de falsos a a o positivos por la cantidad de brillos que se generan por la luz solar, por reejos dentro de la mesa,... La conclusin en este caso es sencillamente que el rendimiento es peor, o y que tantos falsos positivos pueden ser fatales a la hora de correr adecuadamente un programa sobre la mesa.
66
Cap tulo 5
Conclusiones y Trabajo Futuro
5.1.
Conclusiones
El objetivo principal de este proyecto era, como indica su t tulo, y como remarcbamos a un nmero considerable de pginas ms atrs el diseo y la implementacin de una u a a a n o mesa multi-touch funcional. Esta implementacin nos ha permitido estudiar las forto alezas y las debilidades de las dos tecnolog montadas y entender el funcionamiento as de estos dispositivos. Si nos ceimos al dispositivo DI, la eleccin de algunos de los materiales (lmparas n o a y ltros) es cr tica y la obtencin de una luz difusa y uniforme dentro de la mesa, sin o brillos,... es tediosa. Por ello, el proceso de conguracin y de calibracin es extenso y o o es fcil obtener un prototipo inestable. a Debemos sin embargo decir que nuestro sistema DI funciona adecuadamente en un ambiente controlado y con una luz ambiental tenue. En cambio, la implementacin de la tecnolog FTIR ha resultado sencilla. Se ha o a montado de manera rpida y el trabajo de conguracin y de calibracin ha sido casi a o o nulo, obteniendo una funcionalidad importante independientemente de las condiciones ambientales. El pero es el no haber conseguido realizar una supercie de contacto (silicona) sin ningn tipo de irregularidad. u As pues, el autor de este texto recomienda la tecnolog FTIR frente a la DI a a pesar de que esta ultima est ms preparada para reconocer objetos y que con FTIR e a an se est empezando a trabajar en este campo. u e Esperamos, como escrib amos en el resumen inicial, que este Proyecto de Fin de Carrera pueda servir de base para nuevas investigaciones en la materia. El multi-touch 67
CAP ITULO 5. CONCLUSIONES Y TRABAJO FUTURO no va a sustituir al ratn, ni a los ordenadores personales convencionales, pero ofrece o unas posibilidades de trabajo admirables. El simple hecho de naturalizar la interaccin o del usuario con el dispositivo, obviando intermediarios, de que podamos comunicarnos mediante gestos con el aparato (el nmero de gestos posibles slo depende del prograu o mador), o de que podamos multiplicar por diez la velocidad de determinadas tareas, ya nos indica que ser un error subestimar las posibilidades de lo multi-touch. a Adems, el autor de este texto tuvo la oportunidad de trabajar durante dos d a as en la feria ms importante de Digital Signage de Espaa, Total-Media (http://www. a n total-media.es/feria2010/), en el stand de LG Electronics Espaa y comprob cmo n o o la demanda de tecnolog tctiles era importante. Se lleg a calcular que aproximadaas a o mente el 60 % de las personas que se acercaban al stand preguntaban por futuras soluciones en el dominio de lo multi-tctil (superando ampliamente a las nuevas pantallas a 3D). Por esto ultimo, y porque dudamos de que vayan a expandirse en el ambito domsti e co (los altos precio y peso de la mesa son dos ejemplos de inconvenientes en este sentido), pensamos que el futuro de las mesas multi-touch de tamao mediano est en los n a entornos laborales (tareas colaborativas o incluso remotas), en la creacin art o stica y, sobre todo, en la publicidad.
5.2.
Trabajo Futuro
A partir del trabajo realizado, sugerimos diez ideas para continuar en esta l nea de investigacin: o
Perfeccionar las tecnolog DI y FTIR. En el primer caso habr que buscar una as a solucin nueva para la iluminacin y en el segundo simplemente hacer una capa o o de silicona nueva. Implementar alguna de las muchas tecnolog pticas incipientes. Algunas de as o ellas estn descritas en el apartado del Estado del Arte. a Aprovechar las nuevas librer que reconocen manos completas para que la mesa as pueda identicar usuarios. Esto se convierte en algo muy util por lo que supone en los ambitos de la seguridad, la personalizacin,... o Programar aplicaciones de cualquier tipo, aqu slo se depende de la imaginacin o o del programador. Es ms que evidente que cada vez se va a tender ms al uso al a a mismo tiempo de objetos y dedos. 68
5.2. TRABAJO FUTURO Interactuar con mesas remotas. Esto no implica demasiada dicultad por ir conectada la mesa a un PC y por lo tanto a Internet y porque adems el protocolo de a comunicacin que utiliza tbeta, TUIO, est preparado para ello. o a Disear una mesa de mayor tamao o con alguna forma irregular usando ms de n n a una cmara. a Montar pantallas verticales e intentar solucionar el problema de la profundidad (un proyector ocupa demasiado espacio detrs de la pantalla) sin usar LCDs. a Beneciarse de los nuevos sistemas operativos que soportan multi-touch, como Windows 7, para acercar la experiencia tctil a la del usuario medio. a Juntar varias mesas y realizar un mosaico funcional con ellas (como los llamados video-walls que se realizan con los monitores tradicionales). Trabajar sobre espejos en vez de sobre supercies trasparentes.
69
CAP ITULO 5. CONCLUSIONES Y TRABAJO FUTURO
70
Bibliograf a
[1] SK. Lee, W. Buxton, K.S. A multi-touch three dimensional touch-sensitive tablet. CHI 85 PROCEEDINGS. 1985. [2] Johannes Schoning, Peter Brandl, F.D.F.E.O.H.J.H.M.L.N.M.L.M.P.O.T.R.U.v.Z. Multi-touch surfaces: A technical guide. IEEE Tabletops Workshop. 2008. [3] P. Dietz y D. Leigh. Diamondtouch: a multi-user touch technology. . In Proceedings of the 14th annual ACM symposium on User interface software and technology, page 226. ACM. 2001. [4] J. Rekimoto. Smartskin: an infrastructure for freehand manipulation on interactive surfaces. In Proceedings of the SIGCHI conference on Human factors in computing systems: Changing our world, changing ourselves, pages 113120. ACM New York, NY, USA. 2002. [5] M. Kaltenbrunner y R. Bencina. reactivision: a computer-vision framework for table-based tangible interaction. In Proceedings of the 1st international conference on Tangible and embedded interaction, page 74. ACM. 2007. [6] Wilson, A. Playanywhere: a compact interactive tabletop projection-vision system. In Proceedings of the 18th annual ACM symposium on User interface software and technology, page 92. ACM. 2005. [7] Wilson, A. Touchlight: an imaging touch screen and display for gesture-based interaction. In Proceedings of the 6th international conference on Multimodal interfaces, pages 6976. ACM. 2004. [8] S. Izadi, S. Hodges, S.D.N.A. y J. Westhues. Going beyond the display: a surface technology with an electronically switchable diuser. In Proceedings of the 21st annual ACM symposium on User interface software and technology, pages 269278. ACM. 2008. [9] H. Benko, A.W. y R. Balakrishnan. Sphere: multi-touch interactions on a spherical display. In Proceedings of the 21st annual ACM symposium on User interface software and technology, pages 7786. ACM. 2008. 71
BIBLIOGRAF IA [10] Muller, L. Multi-touch displays: design, applications and performance evaluation. Tesis Doctoral. 2008. [11] Weiser, M. The computer for the 21st century. Scientic American. September 1991. [12] Coen, M.H. Design principles for intelligent environments. En Fifteenth National Conference on Articial Intelligence (AAAI98). AAAI, AAAI Press, Madison, WI. 1998, pginas 547554. a [13] et al., R.G.J. Touch actuable data input panel assembly. 1972. US patent 3,673,327. [14] Mueller., R.E. Direct television drawing and image manipulation system. 1974. US patent 3,846,826. [15] Buxton, W. y Myers, B.A. A study in two-handed input. CHI 86 PROCEEDINGS. 1986. [16] Richard L. Potter, Linda J. Weldon, B.S. Improving the accuracy of touch screens: an experimental evaluation of three strategies. CHI 88. 1988. [17] FUKUMOTO, Masaaki; SUGIMURA, T. Active click: Tactile feedback for touch panels. CHI 2001. 2001. [18] Downs, R. Using resistive touch screens for human/machine interface. Texas Instruments Incorporated. 2005. [19] William Buxton, Ralph Hill, P.R. Issues and techniques in touch-sensitive tablet input. SIGGRAPH 85. 1985. [20] Boie, R. y Miller, G. Conformable tactile sensor. 1985. [21] S.P. Hotelling, C.K. y Huppi, B. Multipoint touch surface controller. 2006. [22] Wallace, D. Surface wave touch screen. 2002. [23] A. Agarwal, S. Izadi, M. y A. Blake. High precision multi-touch sensing on surfaces using overhead cameras. In IEEE International Workshop on Horizontal Interactive Human-Computer System,. 2007. [24] Han, J. Low-cost multi-touch sensing through frustrated total internal reection. In Proceedings of the 18th annual ACM symposium on User interface software and technology, page 118. ACM. 2005. [25] Han, J. Multi-touch sensing light emitting diode display and method for using the same. 2005. [26] Davidson, P. y Han, J. Synthesis and control on large scale multi-touch sensing displays. In Proceedings of the 2006 conference on New interfaces for musical expression, page 219. IRCAMCentre Pompidou. 2006. 72
BIBLIOGRAF IA [27] JD Smith, TCN Graham, D. y J. Borchers. Low-cost malleable surfaces with multitouch pressure sensitivity. In Horizontal Interactive Human-Computer Systems, 2007. TABLETOP07. Second Annual IEEE International Workshop on, pages 205208. 2007. [28] F. Echtler, M. y G. Klinker. Shadow tracking on multi-touch tables. In Proceedings of the working conference on Advanced visual interfaces, pages 388391. ACM. 2008. [29] KC Dohse, T. Dohse, J.S. y Parkhurst, D. Enhancing multi-user interaction with multi-touch tabletop displays using hand tracking. In Advances in ComputerHuman Interaction, 2008 First International Conference on, pages 297302. 2008. [30] N. Motamedi. Hd touch: multi-touch and object sensing on a high denition lcd tv. Publicacin desconocida. 2008. o [31] R. Hofer, D. y A. Kunz. Flatir: Ftir multi-touch detection on a discrete distributed sensor array. In Proceedings of the 3rd International Conference on Tangible and Embedded Interaction, pages 317322. ACM. 2009. [32] R. Hofer y A. Kunz. Tnt: Touch n tangibles on lc-displays. In Proceedings of the 8th International Conference on Entertainment Computing, page 227. 2009. [33] S. Izadi, S. Hodges, A.A. y B. Buxton. Thinsight: integrated optical multi-touch sensing through thin form-factor displays. In Proceedings of the 2007 workshop on Emerging displays technologies: images and beyond: the future of displays and interaction, page 6. ACM. 2007. [34] A. Abileah y P. Green. Optical sensors embedded within amlcd panel: design and applications. In ACM SIGGRAPH 2007 emerging technologies, page 27. ACM. 2007. [35] Raphael Wimmer, Florian Schulz, F.H.S.B.H.H. Curve: Blending horizontal and vertical interactive. University of Munich. 2010.
73
BIBLIOGRAF IA
74
Apndice A e
Archivos de prueba
A.1.
MyTouchApp.as
))package app.demo.MyTouchApp{ import flash.display.*; import flash.events.*; import app.core.action.RotatableScalable; public class MyTouchApp extends RotatableScalable { public function MyTouchApp() { //--------connect to TUIO----------------TUIO.init(this,localhost,3000,,true); trace("MyTouchApp Initialized"); //---------------------------------------addEventListener(MouseEvent.MOUSE_DOWN, onMouseDown); // adds an event listener looking for a mouse click //- runs "onMouseDown" }
private function onMouseDown(event:MouseEvent):void { //creates a circle when the mouse is clicked var circle:Sprite = new Sprite(); circle.graphics.lineStyle(10, 0xff0000); //set line width to 10px and red
75
APENDICE A. ARCHIVOS DE PRUEBA
circle.graphics.drawCircle(0,0,40); // draw a 40px circle circle.x = mouseX; //put it where the mouse clicked circle.y = mouseY; addChild(circle); //add the circle to the plane } } }
A.2.
HelloWorld.as
))package{ import import import import import import
fling.*; fling.parsers.*; fling.workspace.*; fling.blackboard.*; fling.osc.*; fling.symbols.*;
public class HelloWorld extends FlingRootObj{ var bg:FlingBG; var triangle:Triangle, square:Square, triangle2:Triangle, square2:Square, triangle3:Triangle, square3:Square, bar:Bar; public function HelloWorld():void{ bg = new FlingBG(); this.addChild(bg); triangle = new Triangle; bg.addChild(triangle); triangle.x = (3/4)*stage.nativeWindow.width; triangle.y = (1/4)*stage.nativeWindow.height; square = new Square(); bg.addChild(square); square.x = (1/4)*stage.nativeWindow.width; square.y = (1/4)*stage.nativeWindow.height; triangle2 = new Triangle;
76
A.3. TRIANGLE.AS
bg.addChild(triangle2); triangle2.x = (3/4)*stage.nativeWindow.width; triangle2.y = (2/4)*stage.nativeWindow.height; square2 = new Square(); bg.addChild(square2); square2.x = (1/4)*stage.nativeWindow.width; square2.y = (2/4)*stage.nativeWindow.height; triangle3 = new Triangle; bg.addChild(triangle3); triangle3.x = (3/4)*stage.nativeWindow.width; triangle3.y = (3/4)*stage.nativeWindow.height; square3 = new Square(); bg.addChild(square3); square3.x = (1/4)*stage.nativeWindow.width; square3.y = (3/4)*stage.nativeWindow.height; bar = new Bar(); bg.addChild(bar); bar.x = (1/2)*stage.nativeWindow.width; bar.y = (1/2)*stage.nativeWindow.height; } } }
A.3.
Triangle.as
public class Triangle extends FlingObj{
public function Triangle():void{ this.movable = true; this.clickable = true;
77
this.resizable = true; this.rotatable = true; this.flipable = true; }
} }
A.4.
Square.as
public class Square extends FlingObj{
public function Square():void{ this.movable = true; this.clickable = true; this.resizable = true; this.rotatable = true; this.flipable = true; }
} }
A.5.
Bar.as
))package{ import fling.*;
78
A.5. BAR.AS
import import import import import
fling.blackboard.*; fling.osc.*; fling.parsers.*; fling.symbols.*; fling.workspace.*;
public class Bar extends FlingObj{ public function Bar():void{ this.movable = true; } } }
79
80
Apndice B e
Planos de la mesa y lista de materiales
81
APENDICE B. PLANOS DE LA MESA Y LISTA DE MATERIALES
Figura B.1: Plano de la estructura de la mesa elaborado por Dominik Schmidt en la que est basado nuestro diseo a n 82
Figura B.2: Plano de la supercie de la mesa elaborado por Dominik Schmidt en la que est basado nuestro diseo a n 83
Figura B.3: Plano de las paredes de la mesa elaborado por Dominik Schmidt en la que est basado nuestro diseo a n 84
Figura B.4: Lista de materiales del diseo original de Dominik Schmidt n
85
86
Apndice C e
Presupuesto
1) Ejecucin Material o Desarrollo mesa DI Material de ocina e industrial Total de ejecucin material o 2) Gastos generales 16 % sobre Ejecucin Material o 3) Benecio Industrial 6 % sobre Ejecucin Material o 4) Honorarios Proyecto 500 horas a 15 / hora 5) Material fungible Gastos de impresin o Encuadernacin o 6) Subtotal del presupuesto Subtotal Presupuesto 7) I.V.A. aplicable 18 % Subtotal Presupuesto 8) Total presupuesto Total Presupuesto 15.188 2.317 12.871 200 60 7.500 251 670 3.890 300 4.190
87
APENDICE C. PRESUPUESTO
Madrid, Abril 2011 El Ingeniero Jefe de Proyecto
Fdo.: Gonzalo Marcos D ez Ingeniero Superior de Telecomunicacin o
88
Apndice D e
Pliego de condiciones
Pliego de condiciones
Este documento contiene las condiciones legales que guiarn la realizacin, en este proyeca o to, del diseo e implementacin de una mesa multi-touch. En lo que sigue, se supondr que el n o a proyecto ha sido encargado por una empresa cliente a una empresa consultora con la nalidad de realizar dicho sistema. Dicha empresa ha debido desarrollar una l nea de investigacin con o objeto de elaborar el proyecto. Esta l nea de investigacin, junto con el posterior desarrollo o de los programas est amparada por las condiciones particulares del siguiente pliego. a Supuesto que la utilizacin industrial de los mtodos recogidos en el presente proyecto ha o e sido decidida por parte de la empresa cliente o de otras, la obra a realizar se regular por las a siguientes: Condiciones generales.
1. La modalidad de contratacin ser el concurso. La adjudicacin se har, por tanto, a la o a o a proposicin ms favorable sin atender exclusivamente al valor econmico, dependiendo o a o de las mayores garant ofrecidas. La empresa que somete el proyecto a concurso se as reserva el derecho a declararlo desierto. 2. El montaje y mecanizacin completa de los equipos que intervengan ser realizado o a totalmente por la empresa licitadora. 3. En la oferta, se har constar el precio total por el que se compromete a realizar la obra a y el tanto por ciento de baja que supone este precio en relacin con un importe l o mite si este se hubiera jado. 4. La obra se realizar bajo la direccin tcnica de un Ingeniero Superior de Telecomunia o e cacin, auxiliado por el nmero de Ingenieros Tcnicos y Programadores que se estime o u e preciso para el desarrollo de la misma.
89
APENDICE D. PLIEGO DE CONDICIONES
5. Aparte del Ingeniero Director, el contratista tendr derecho a contratar al resto del a personal, pudiendo ceder esta prerrogativa a favor del Ingeniero Director, quien no estar obligado a aceptarla. a 6. El contratista tiene derecho a sacar copias a su costa de los planos, pliego de condiciones y presupuestos. El Ingeniero autor del proyecto autorizar con su rma las copias a solicitadas por el contratista despus de confrontarlas. e 7. Se abonar al contratista la obra que realmente ejecute con sujecin al proyecto que a o sirvi de base para la contratacin, a las modicaciones autorizadas por la superioridad o o o a las rdenes que con arreglo a sus facultades le hayan comunicado por escrito al o Ingeniero Director de obras siempre que dicha obra se haya ajustado a los preceptos de los pliegos de condiciones, con arreglo a los cuales, se harn las modicaciones y a la valoracin de las diversas unidades sin que el importe total pueda exceder de los o presupuestos aprobados. Por consiguiente, el nmero de unidades que se consignan u en el proyecto o en el presupuesto, no podr servirle de fundamento para entablar a reclamaciones de ninguna clase, salvo en los casos de rescisin. o 8. Tanto en las certicaciones de obras como en la liquidacin nal, se abonarn los o a trabajos realizados por el contratista a los precios de ejecucin material que guran en o el presupuesto para cada unidad de la obra. 9. Si excepcionalmente se hubiera ejecutado algn trabajo que no se ajustase a las condiu ciones de la contrata pero que sin embargo es admisible a juicio del Ingeniero Director de obras, se dar conocimiento a la Direccin, proponiendo a la vez la rebaja de precios a o que el Ingeniero estime justa y si la Direccin resolviera aceptar la obra, quedar el o a contratista obligado a conformarse con la rebaja acordada. 10. Cuando se juzgue necesario emplear materiales o ejecutar obras que no guren en el presupuesto de la contrata, se evaluar su importe a los precios asignados a otras a obras o materiales anlogos si los hubiere y cuando no, se discutirn entre el Ingeniero a a Director y el contratista, sometindolos a la aprobacin de la Direccin. Los nuevos e o o precios convenidos por uno u otro procedimiento, se sujetarn siempre al establecido a en el punto anterior. 11. Cuando el contratista, con autorizacin del Ingeniero Director de obras, emplee mateo riales de calidad ms elevada o de mayores dimensiones de lo estipulado en el proyecto, a o sustituya una clase de fabricacin por otra que tenga asignado mayor precio o ejecute o con mayores dimensiones cualquier otra parte de las obras, o en general, introduzca en ellas cualquier modicacin que sea beneciosa a juicio del Ingeniero Director de obras, o no tendr derecho sin embargo, sino a lo que le corresponder si hubiera realizado la a a obra con estricta sujecin a lo proyectado y contratado. o 12. Las cantidades calculadas para obras accesorias, aunque guren por partida alzada en el presupuesto nal (general), no sern abonadas sino a los precios de la contrata, segn a u las condiciones de la misma y los proyectos particulares que para ellas se formen, o en su defecto, por lo que resulte de su medicin nal. o 13. El contratista queda obligado a abonar al Ingeniero autor del proyecto y director de obras as como a los Ingenieros Tcnicos, el importe de sus respectivos honorarios e
90
facultativos por formacin del proyecto, direccin tcnica y administracin en su caso, o o e o con arreglo a las tarifas y honorarios vigentes. 14. Concluida la ejecucin de la obra, ser reconocida por el Ingeniero Director que a tal o a efecto designe la empresa. 15. La garant denitiva ser del 4 % del presupuesto y la provisional del 2 %. a a 16. La forma de pago ser por certicaciones mensuales de la obra ejecutada, de acuerdo a con los precios del presupuesto, deducida la baja si la hubiera. 17. La fecha de comienzo de las obras ser a partir de los 15 d naturales del replanteo a as ocial de las mismas y la denitiva, al ao de haber ejecutado la provisional, procen dindose si no existe reclamacin alguna, a la reclamacin de la anza. e o o 18. Si el contratista al efectuar el replanteo, observase algn error en el proyecto, deber cou a municarlo en el plazo de quince d al Ingeniero Director de obras, pues transcurrido as ese plazo ser responsable de la exactitud del proyecto. a 19. El contratista est obligado a designar una persona responsable que se entender con el a a Ingeniero Director de obras, o con el delegado que ste designe, para todo relacionado e con ella. Al ser el Ingeniero Director de obras el que interpreta el proyecto, el contratista deber consultarle cualquier duda que surja en su realizacin. a o 20. Durante la realizacin de la obra, se girarn visitas de inspeccin por personal facultao a o tivo de la empresa cliente, para hacer las comprobaciones que se crean oportunas. Es obligacin del contratista, la conservacin de la obra ya ejecutada hasta la recepcin o o o de la misma, por lo que el deterioro parcial o total de ella, aunque sea por agentes atmosfricos u otras causas, deber ser reparado o reconstruido por su cuenta. e a 21. El contratista, deber realizar la obra en el plazo mencionado a partir de la fecha del a contrato, incurriendo en multa, por retraso de la ejecucin siempre que ste no sea o e debido a causas de fuerza mayor. A la terminacin de la obra, se har una recepcin o a o provisional previo reconocimiento y examen por la direccin tcnica, el depositario de o e efectos, el interventor y el jefe de servicio o un representante, estampando su conformidad el contratista. 22. Hecha la recepcin provisional, se certicar al contratista el resto de la obra, reo a servndose la administracin el importe de los gastos de conservacin de la misma a o o hasta su recepcin denitiva y la anza durante el tiempo sealado como plazo de o n garant La recepcin denitiva se har en las mismas condiciones que la provisiona. o a al, extendindose el acta correspondiente. El Director Tcnico propondr a la Junta e e a Econmica la devolucin de la anza al contratista de acuerdo con las condiciones o o econmicas legales establecidas. o 23. Las tarifas para la determinacin de honorarios, reguladas por orden de la Presidencia o del Gobierno el 19 de Octubre de 1961, se aplicarn sobre el denominado en la actuala idad Presupuesto de Ejecucin de Contrata anteriormente llamado Presupuesto de o Ejecucin Materialque hoy designa otro concepto. o
2
91
Condiciones particulares. La empresa consultora, que ha desarrollado el presente proyecto, lo entregar a la ema presa cliente bajo las condiciones generales ya formuladas, debiendo aadirse las siguientes n condiciones particulares:
1. La propiedad intelectual de los procesos descritos y analizados en el presente trabajo, pertenece por entero a la empresa consultora representada por el Ingeniero Director del Proyecto. 2. La empresa consultora se reserva el derecho a la utilizacin total o parcial de los reo sultados de la investigacin realizada para desarrollar el siguiente proyecto, bien para o su publicacin o bien para su uso en trabajos o proyectos posteriores, para la misma o empresa cliente o para otra. 3. Cualquier tipo de reproduccin aparte de las reseadas en las condiciones generales, o n bien sea para uso particular de la empresa cliente, o para cualquier otra aplicacin, o contar con autorizacin expresa y por escrito del Ingeniero Director del Proyecto, que a o actuar en representacin de la empresa consultora. a o 4. En la autorizacin se ha de hacer constar la aplicacin a que se destinan sus reproduco o ciones as como su cantidad. 5. En todas las reproducciones se indicar su procedencia, explicitando el nombre del a proyecto, nombre del Ingeniero Director y de la empresa consultora. 6. Si el proyecto pasa la etapa de desarrollo, cualquier modicacin que se realice sobre l, o e deber ser noticada al Ingeniero Director del Proyecto y a criterio de ste, la empresa a e consultora decidir aceptar o no la modicacin propuesta. a o 7. Si la modicacin se acepta, la empresa consultora se har responsable al mismo nivel o a que el proyecto inicial del que resulta el aadirla. n 8. Si la modicacin no es aceptada, por el contrario, la empresa consultora declinar toda o a responsabilidad que se derive de la aplicacin o inuencia de la misma. o 9. Si la empresa cliente decide desarrollar industrialmente uno o varios productos en los que resulte parcial o totalmente aplicable el estudio de este proyecto, deber comunia carlo a la empresa consultora. 10. La empresa consultora no se responsabiliza de los efectos laterales que se puedan producir en el momento en que se utilice la herramienta objeto del presente proyecto para la realizacin de otras aplicaciones. o 11. La empresa consultora tendr prioridad respecto a otras en la elaboracin de los proyeca o tos auxiliares que fuese necesario desarrollar para dicha aplicacin industrial, siempre o que no haga expl cita renuncia a este hecho. En este caso, deber autorizar expresaa mente los proyectos presentados por otros.
92
12. El Ingeniero Director del presente proyecto, ser el responsable de la direccin de la a o aplicacin industrial siempre que la empresa consultora lo estime oportuno. En caso o contrario, la persona designada deber contar con la autorizacin del mismo, quien a o delegar en l las responsabilidades que ostente. a e
93
Figura D.1: Gracias por la lectura
94

Diseño e Implementación de Una Mesa Multi-Touch - Gonzalo Marcos Diez - 2011

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Diseño e Implementación de Una Mesa Multi-Touch - Gonzalo Marcos Diez - 2011

Uploaded by

Copyright:

Available Formats

Universidad Autonoma de Madrid

Escuela Politecnica Superior

Proyecto fin de carrera

DISENO E IMPLEMENTACION DE UNA MESA MULTI-TOUCH

DISENO E IMPLEMENTACION DE UNA MESA MULTI-TOUCH

Resumen y Palabras Clave

Gonzalo Marcos D ez Abril 2011

4. Pruebas y aplicaciones 4.1. Reconocimiento de objetos . . . . . . . . . . . . . . . . . . . . . . . . . 4.2. Reconocimiento de dedos . . . . . . . . . . . . . . . . . . . . . . . . . . 5

B. Planos de la mesa y lista de materiales C. Presupuesto D. Pliego de condiciones

D.1. Vista general de la mesa . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Estado del Arte

Supercies Tctiles Resistivas a

2.2. SUPERFICIES TACTILES RESISTIVAS

Figura 2.3: Funcionamiento de una supercie resistiva (gura extra de (2)) da

CAP ITULO 2. ESTADO DEL ARTE

Supercies Tctiles Capacitivas y Supercies a Tctiles de Capacidad Proyectada a

2.3. SUPERFICIES TACTILES CAPACITIVAS Y SUPERFICIES TACTILES DE CAPACIDAD PROYECTADA

Figura 2.4: Esquema de una Diamond Touch (gura extra de (3)) da

CAP ITULO 2. ESTADO DEL ARTE

Supercies Tctiles basadas en Ultrasonidos a

Supercies Tctiles Opticas a

Figura 2.6: Diferentes tipos de duciales (gura extra de (5)) da 13

CAP ITULO 2. ESTADO DEL ARTE

Figura 2.7: reacTable (gura extra de (5)) da

2.5. SUPERFICIES TACTILES OPTICAS

Figura 2.8: Prototipo de Play Anywhere (gura extra de (6)) da

Reexin Interna Total Frustrada (FTIR) o 15

CAP ITULO 2. ESTADO DEL ARTE

Iluminacin Difusa (DI) o

Figura 2.10: Esquema DI (Tim Roth, 2008)

Ejemplos de dispositivos DI:

CAP ITULO 2. ESTADO DEL ARTE

Figura 2.11: Microsoft TouchLight (gura extra de (7)) da

Microsoft Surface, 2007

2.5. SUPERFICIES TACTILES OPTICAS

CAP ITULO 2. ESTADO DEL ARTE

Figura 2.14: Microsoft SecondLight (gura extra de (8)) da

Supercie de Iluminacin Difusa (DSI) o 20

2.6. SUPERFICIES MULTITACTILES A PARTIR DE LCD CON SENSORES OPTICOS

Supercies Multitctiles a partir de LCD con a Sensores Opticos

Dise o e implementacin de la mesa n o

Criterios de dise o y funcionamiento de los disn positivos opticos

3.2. DISENO DE LA ESTRUCTURA

Figura 3.1: Pipeline de la interaccin multi-touch (gura extra de (10)) o da

200 220 300 338 910 660 620 570 300

3.2. DISENO DE LA ESTRUCTURA

Figura 3.2: Agujereo y cortado de los aluminios

CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA

Dise o e implementacin de la mesa con tecn o nolog DI a

Figura 3.3: Esquema de componentes para la conguracin DI o

3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA

Eleccin de la cmara (E) o a

Figura 3.5: Firey MV 29

CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA

Figura 3.6: Respuesta espectral de la Firey MV

3.3. DISENO E IMPLEMENTACION DE LA MESA CON TECNOLOG DI IA

Figura 3.7: Respuesta Filtro IR 850FAP5050

Figura 3.8: Filtro IR 850FAP5050 31

CAP ITULO 3. DISENO E IMPLEMENTACION DE LA MESA

Figura 3.9: Filtro IR colocado sobre la lente

Y en las cmaras industriales en cambio: a

Eleccin del proyector (G) o

Resolucin Nativa o 1024x768 1400x1050 1024x768 1024x768 854x768 1280x800

fling.; fling.parsers.; fling.workspace.; fling.blackboard.; fling.osc.; fling.symbols.;

fling.; fling.parsers.; fling.workspace.; fling.blackboard.; fling.osc.; fling.symbols.;