Meer 3D in Augmented Reality met Structure Sensor
We tellen de dagen af totdat onze Structure Sensor geleverd wordt. Structure Sensor is een soort mini-Kinect die je achterop een iPad monteert waardoor je iPad 3D beelden binnen krijgt. Wat je daar dan aan hebt? Wij hebben onze fantasie los laten gaan.
We tellen de dagen af totdat onze Structure Sensor geleverd wordt. Structure Sensor is een soort mini-Kinect die je achterop een iPad monteert waardoor je iPad 3D beelden binnen krijgt. Wat je daar dan aan hebt? Wij hebben onze fantasie los laten gaan.
De meeste beeldherkenningsplatformen kunnen al 3D objecten in de werkelijkheid zetten. De een kan meer polygonen aan dan de andere, dat wil zeggen ingewikkelder structuren, maar over het algemeen is de kwaliteit prima. Je kunt ook al 3D trigger images gebruiken met de scan functie van Metaio. Als je dan een theepot scant van alle kanten, dan kan de AR animatie rondom de theepot door lopen. Oftewel je kunt het motiefje op de theepot tot leven laten komen.
Deze week hebben Niels en Levi op kantoor het kasteel Gravensteen uit Gent gemodelleerd in Autodesk Maya en in een Unity/Vuforia app gezet. Uit de 11e eeuw zijn er geen bouwtekeningen beschikbaar, dus de input voor hun werk waren met name Google Maps foto’s. Maar het mag gezegd worden: het ziet er prima uit, zie foto.
Om te begrijpen hoe bijzonder dat is moet je je realiseren hoe augmented reality werkt. Bij beeldherkenning ontvangt de software een plaatje waarin een bepaalde structuur herkend wordt. Die structuur bepaalt aan de ene kant welke digitale content er getoond moeten worden (identificatie), maar ook bepaalt die structuur waar in het live camerabeeld die digitale content getoond moet worden (tracking). Video is niets meer dan het 20x per seconde herhalen van een foto, dus dit proces van tracking maakt ook dat de digitale content vervolgens in de echt wereld lijkt te staan. Als de digitale content een 3D model is, dan is het met behulp van tracking ook mogelijk om rond een model te kijken.
Het blijft echter zo, ook met 3D content in augmented reality, dat deze in feite ‘voor’ het camerabeeld geplaatst wordt. Het kopje koffie op de foto verdwijnt onder het kasteel als je het naar rechts schuift. Het kasteel áchter het kopje schuiven is niet mogelijk. Op dit moment.
Maar straks, met Structure Sensor, dan kunnen we dit wel! Structure Sensor zorgt ervoor dat we de diepte in de échte wereld zien en dus vanuit de software rekening kunnen houden met wat er zichtbaar moet zijn van zowel real als augmented objecten. Dan weten we dat de poppetjes in het kasteel staan, of andersom, dat dit kopje koffie vóór het kasteel staat.
Wij kunnen niet wachten tot we deze ultieme mix van echt en digitale wereld kunnen gaan maken! Nog 60 nachtjes slapen.
Kasteel Gravensteen uit Gent in augmented 3D op het bureau bij Dutch Rose Media
De meeste beeldherkenningsplatformen kunnen al 3D objecten in de werkelijkheid zetten. De een kan meer polygonen aan dan de andere, dat wil zeggen ingewikkelder structuren, maar over het algemeen is de kwaliteit prima. Je kunt ook al 3D trigger images gebruiken met de scan functie van Metaio. Als je dan een theepot scant van alle kanten, dan kan de AR animatie rondom de theepot door lopen. Oftewel je kunt het motiefje op de theepot tot leven laten komen.
Deze week hebben Niels en Levi op kantoor het kasteel Gravensteen uit Gent gemodelleerd in Autodesk Maya en in een Unity/Vuforia app gezet. Uit de 11e eeuw zijn er geen bouwtekeningen beschikbaar, dus de input voor hun werk waren met name Google Maps foto’s. Maar het mag gezegd worden: het ziet er prima uit, zie foto.
Om te begrijpen hoe bijzonder dat is moet je je realiseren hoe augmented reality werkt. Bij beeldherkenning ontvangt de software een plaatje waarin een bepaalde structuur herkend wordt. Die structuur bepaalt aan de ene kant welke digitale content er getoond moeten worden (identificatie), maar ook bepaalt die structuur waar in het live camerabeeld die digitale content getoond moet worden (tracking). Video is niets meer dan het 20x per seconde herhalen van een foto, dus dit proces van tracking maakt ook dat de digitale content vervolgens in de echt wereld lijkt te staan. Als de digitale content een 3D model is, dan is het met behulp van tracking ook mogelijk om rond een model te kijken.
Het blijft echter zo, ook met 3D content in augmented reality, dat deze in feite ‘voor’ het camerabeeld geplaatst wordt. Het kopje koffie op de foto verdwijnt onder het kasteel als je het naar rechts schuift. Het kasteel áchter het kopje schuiven is niet mogelijk. Op dit moment.
Maar straks, met Structure Sensor, dan kunnen we dit wel! Structure Sensor zorgt ervoor dat we de diepte in de échte wereld zien en dus vanuit de software rekening kunnen houden met wat er zichtbaar moet zijn van zowel real als augmented objecten. Dan weten we dat de poppetjes in het kasteel staan, of andersom, dat dit kopje koffie vóór het kasteel staat.
Wij kunnen niet wachten tot we deze ultieme mix van echt en digitale wereld kunnen gaan maken! Nog 60 nachtjes slapen.
Kasteel Gravensteen uit Gent in augmented 3D op het bureau bij Dutch Rose Media
cultural innovation Gent, Google Maps, Gravensteen, Kinect, Maya, metaio, Structure Sensor, Unity, vuforia
