ReacTIVision & Flash patroonherkenning

Een systeem bestaande uit hardware (een tafel, die dient als een soort van multi-touchscreen) en software (de applicatie die geprojecteerd wordt op de tafel m.b.v. een beamer), ontwikkeld tijdens de TDI-case. Ons (Anwar, Ahsan en ikzelf) idee was in eerste instantie het bouwen van een touchscreen m.b.v. van DI of FTIR techniek en TouchLib . Omdat het niet meer haalbaar was binnen de deadline een werkende demo te bouwen, zijn we overgestapt op patroonherkenning met reacTIVision. reactiVISion kan bepaalde voorgedefinieerde patronen (zogenaamde 'fiducials') herkennen wanneer deze voor een webcam gehouden worden. Deze fiducials kunnen op voorwerpen geplakt worden. Wanneer je deze dan voor een webcam plaatst kan reacTIVision bijhouden welke voorwerpen in beeld zijn (via een ID nummer) en welke positie en rotatie deze hebben. Onze applicatie laat bijvoorbeeld foto's en informatie over een bepaald type auto zien wanneer een fiducial met een bepaald ID in beeld komt. De rotatie bepaald de kleur van de auto, en de positie wordt (realtime) doorgegeven aan een cursor waarmee je door de applicatie kunt navigeren. Zo kun je video's, foto's en informatie van het type auto bekijken.

Meer informatie over onze applicatie en de bijbehorende techniek kun je in dit document (pdf) vinden. Wanneer je meer te weten wilt komen over de betreffende technieken (Tangible User Interfaces) of zelf een touchscreen wilt bouwen kunt je bij de NUI Group terecht.

Hieronder staat een afbeelding van de applicatie die we gebouwd hebben. Audiovisueel design door Anwar Shehata, interactiedesign door Ahsan Hussain, techniek/programmacode door mijzelf. Doorklik naar de live versie. N.B.: Werkt alleen i.c.m. reacTIVision (Win32 versie, versies voor OSX en Linux kun je hier vinden), FlashOSC (Flash Open Sound Control) en een webcam. Als je niet in het bezit bent van een webcam kun je de TUIO Simulator gebruiken i.p.v. reacTIVision (welke een webcam en geprinte fiducials vereist). Fiducials voor je webcam kun je in het zip-bestand van reacTIVision vinden.

Tafel die we gebouwd hebben uit aluminium en plexiglas. Hier worden de fiducials op geplaatst. De applicatie wordt hier van onderen op geprojecteerd met een beamer via een spiegel. We hebben tracing paper (overtrekpapier) gebruikt als projectiedoek. Je kunt hier eventueel ook 'Rosco Grey' voor gebruiken.

Detail van de tafel:

Testopstelling met infrarood LEDs en een gemodificeerde webcam in een doos met plexiglas en overtrek papier.

De IR-LEDS op een breadboard in de doos.

De fiducials die we gebruikt hebben. Dit is de eerste pagina, in totaal zijn er 6 pagina's met in totaal 90 fiducials. Wij hebben de nummer 0, 4 en 8 gebruikt, welke ook op deze pagina staan. Deze zou je dus uit kunnen printen voor onze applicatie.

De TUIO simulator welke je kunt gebruiken i.p.v. reacTIVision, wanneer je niet beschikt over een webcam of fiducials. (TUIO staat voor het het Tangible User Interface protocol).