De volgende videogamecontroller is je stem

Ondanks alle vooruitgang van het moderne gamen, is conversatie nog steeds een vrij eenvoudige aangelegenheid. Starship Commander, een aankomende virtual reality-game op Oculus en SteamVR, illustreert zowel de belofte als de uitdaging van een nieuw paradigma dat dat probeert te verhelpen: je stem gebruiken.

In een vroege demo bestuur ik een ruimteschip dat geclassificeerde goederen aflevert door verraderlijke ruimte. Alles wordt bestuurd door mijn stem: het schip besturen is zo simpel als zeggen 'computer, gebruik de stuurautomaat', terwijl mijn sergeant in live action video opduikt om vragen te beantwoorden.

Op een gegeven moment wordt mijn schip onderschept en uitgeschakeld door een slechterik, die op mijn scherm verschijnt en me begint te grillen. Na wat heen en weer, blijkt hij een deal te willen: 'Zeg je wat, jij brengt me naar de Delta-buitenpost en ik laat je leven.'



Ik probeer in karakter te veranderen. 'Wat als ik je aanval?' Ik zeg. Geen reactie, alleen een onbewogen maar verwachtingsvolle blik. 'En als ik nee zeg?' Ik voeg toe. Ik probeer een half dozijn reacties, maar -- misschien omdat ik een vroege versie van het spel speel of misschien kan het mijn stem gewoon niet ontcijferen -- ik kan de juiste zin niet vinden om de volgende fase van Speel.

Het is ongemakkelijk. Mijn onderdompeling in het spel wordt bijna afgebroken als mijn gesprekspartner niet beantwoordt. Het is tweerichtingsverkeer: als ik de dialoog van het spel van dichtbij wil ontleden om een ​​interessant punt te maken, moet het ook de mijne bijbenen.

De situatie verslechtert. De slechterik krijgt er uiteindelijk genoeg van dat ik het gesprek niet kan voeren. Hij blaast mijn schip op en beëindigt het spel.

Toch is er potentieel voor een natuurlijk heen en weer gesprek met personages. Er zijn meer dan 50 mogelijke antwoorden op een simpele vraag van de sergeant -- 'Is er iets dat je wilt weten voordat we aan de missie beginnen?' -- zegt Alexander Mejia, de oprichter en creatief directeur van Human Interact, dat de game ontwerpt. Het systeem wordt aangedreven door Microsoft's Custom Speech Service (vergelijkbare technologie als Cortana), die de spraakinvoer van spelers naar de cloud stuurt, deze analyseert voor ware bedoelingen en binnen milliseconden een reactie krijgt. Soepele spraakbesturing in combinatie met virtual reality betekent een volledig handsfree, levensechte interface met bijna geen leercurve voor iemand die nog nooit een gamepad heeft opgepakt.

Spreken voelt zeker natuurlijker aan dan het selecteren van een van de vier dialoogopties uit een menu, zoals een traditioneel rollenspel zou kunnen bieden. Het maakt me meer oplettend in gesprekken - ik moet aandacht besteden aan de monologen van personages, details en inconsistenties oppikken terwijl ik verhelderende vragen bedenk die me op een toevallige verhaalroute kunnen brengen (net als in het echte leven). Nee, ik kan een schip niet precies naar onbekende planeten sturen, omdat spraakbesturing immers niet ideaal is om door de fysieke ruimte te navigeren. Maar wat deze game in plaats daarvan biedt, is conversatieverkenning.


Videogames zijn altijd bezig geweest met het vervagen van de scheidslijn tussen kunst en het echte leven.

Fotorealistische 4K-graphics, het uiteenvallen van niveaus in uitgestrekte open werelden, virtual reality waarbij spelers in de schedel van een andere persoon worden geplaatst: het impliciete einddoel van elke game-vooruitgang lijkt te zijn om een ​​kunstmatige realiteit te creëren die niet te onderscheiden is van de onze. Toch communiceren we met deze steeds intelligenter wordende games met botte tools. De joystick/knoppen en toetsenbord/muis-combinaties die we gebruiken om met games te praten, lijken weinig op de acties die ze vertegenwoordigen. Zelfs games die levensechte besturing gebruiken, van de blokkerige plastic Time Crisis-geweren tot Nintendo Switch Joy-Cons, houden nog steeds in dat je door menu's moet scrollen en op dialoogopties moet klikken. De volgende stap is dat we met games gaan praten.

Terwijl games die de stem gebruiken in de loop der jaren zijn opgedoken -- Seaman op Sega's Dreamcast, Lifeline op de PlayStation 2, Mass Effect 3 op de Kinect van de Xbox 360 -- waren hun commando's vaak frustrerend onhandig en audio-invoer leek nooit meer dan een nieuwigheid .

Daar komt misschien een einde aan. Er zijn goed beoordeelde audiogames op de iPhone verschenen, zoals Papa Sangre en Zombies, Run! Op de E3 deze maand verwees Dominic Mallinson, senior vice-president voor onderzoek en ontwikkeling van Sony, naar het begrip van natuurlijke taal onder 'enkele van de technologieën die ons op dit moment in het laboratorium echt opwinden'.

Vooral de haast van Microsoft, Google, Amazon en Apple om digitale assistenten te domineren, stuwt het hele veld van spraakcomputing naar voren. In maart meldde The Information dat Amazon-CEO Jeff Bezos wil dat gaming een 'killer-app' wordt voor Alexa, en dat het bedrijf ontwikkelaars heeft betaald die de best presterende vaardigheden produceren. Games zijn nu de topcategorie voor Alexa en het aantal klanten dat games speelt op Echo-apparaten is het afgelopen jaar vertienvoudigd, aldus een woordvoerster van Amazon. 'Als ik terugdenk aan de geschiedenis van de wereld, zijn er altijd games geweest', zegt Paul Cutsinger, hoofd Alexa Voice Design Education bij Amazon. 'En het lijkt alsof de uitvinding van elke nieuwe technologie gepaard gaat met games.'

'Het lijkt alsof de uitvinding van elke nieuwe technologie gepaard gaat met games.' - Paul Cutsinger, Amazon

Simpel: als stemassistenten het volgende grote computerplatform worden, is het logisch dat ze hun eigen games hebben. 'Op de meeste nieuwe platforms zijn games een van de eerste dingen die mensen proberen', zegt Aaron Batalion, een partner gericht op consumententechnologie bij durfkapitaalbedrijf Lightspeed Venture Partners. 'Het is leuk, boeiend en, afhankelijk van het spelmechanisme, gaat het vaak viraal.' Volgens eMarketer zullen 35,6 miljoen Amerikanen dit jaar minstens één keer per maand een stemassistent zoals Echo gebruiken, terwijl 60,5 miljoen Amerikanen een soort virtuele stemassistent zoals Siri zullen gebruiken. De vraag is, welke vorm zullen deze nieuwe games aannemen?

Gaming-vaardigheden op Alexa zijn tegenwoordig voornamelijk terug te voeren op radiodrama - de geserialiseerde voice-acted fictie van het begin van de 20eeeuw -- inclusief RuneScape whodunnit One Piercing Note, Batman-mysteriespel The Wayne Investigation en Sherlock Holmes-avontuur Baker Street Experience.

Earplay is ondertussen uitgegroeid tot een toonaangevende uitgever van audiogames en ontving sinds mei meer dan $ 10.000 van Amazon, volgens Jon Myers, die het bedrijf in 2013 mede oprichtte. Myers beschrijft hun werk als 'verhalen die je speelt met je stem'. en het bedrijf maakt zowel hun eigen games als de tools waarmee anderen hetzelfde kunnen doen.

In Codename Cygnus speel je bijvoorbeeld een James Bond-achtige spion die door buitenlandse locaties en schurken navigeert met gekunstelde Europese accenten en instructies ontvangt via een oortje. Ondertussen navigeer je in Half door een surrealistisch Groundhog Day-scenario, waarbij je bij elke playthrough aanwijzingen oppikt om te ontsnappen aan de oneindig herhalende reeks gebeurtenissen.

'Wat je ziet met het huidige aanbod van Earplay komt veel voort uit wat we het afgelopen decennium bij Telltale Games hebben gedaan.'

Net als bij een avonturenroman waarin je je eigen keuze maakt, worden in deze ervaringen stukjes verhaal afgewisseld met cruciale momenten waarop de speler een beslissing kan nemen door te antwoorden met verbale aanwijzingen. Stippel de juiste koers uit via een uitgebreide dialoogboom en je bereikt het einde. De audiovertelling activeert je verbeeldingskracht, maar er is weinig keuzevrijheid als speler: het verhaal kabbelt voort in zijn eigen tempo totdat je elk waypoint bereikt. Je bewoont niet zozeer een personage of een wereld als wel co-auteur van een verhaal met een verteller.

'Wat je ziet met het huidige aanbod van Earplay komt veel voort uit wat we de afgelopen tien jaar bij Telltale Games hebben gedaan', zegt Dave Grossman, Chief Creative Officer van Earplay. 'Ik wil het bijna geen spelletjes noemen. Het zijn een soort interactieve vertelervaringen, of verhalende spellen.'

Grossman heeft een lange carrière achter de rug als het gaat om het vertellen van verhalen in games. Hij wordt algemeen gecrediteerd voor het maken van de eerste game met voice-acting tot en met 1993's Day of the Tentacle - en werkte ook aan de Monkey Island-serie. Voordat hij bij Earplay aankwam, werkte hij tien jaar bij Telltale Games, de makers van The Wolf Among Us en The Walking Dead.

Earplay zet de bloedlijn van dit genre voort: het doel is niet onderdompeling, maar het vertellen van verhalen. 'Ik denk dat [onderdompeling] uitstekend is om het publiek te betrekken bij wat je wilt, zodat ze er iets om geven, maar ik denk niet dat dit het ultieme doel is van alle games', zegt Grossman. . 'Mijn primaire doel is om het publiek te entertainen. Dat is waar ik het meest om geef, en er zijn veel manieren om dat te doen waarbij je ze nergens in onderdompelt.'

'Mijn primaire doel is om het publiek te vermaken... Er zijn veel manieren om dat te doen waarbij je ze nergens in onderdompelt.'

In de games van Earplay wordt de 'mogelijkheidsruimte' - de mate waarin de gebruiker de wereld kan beheersen - bewust smal gehouden. Dit weerspiegelt de filosofie van Earplay. Maar het weerspiegelt ook de huidige beperkingen van audiogames. Het is moeilijk om fysieke omgevingen in detail te verkennen, omdat je ze niet kunt zien. Omdat Alexa niet tegelijkertijd kan praten en luisteren, kan er geen uitwisseling van kwinkslagen zijn tussen speler en computer, alleen praten beide partijen op vooraf goedgekeurde momenten. Voice lijkt een natuurlijke interface, maar het is nog steeds in wezen het maken van selecties uit een meerkeuzemenu. Radiodrama kan een voor de hand liggende inspiratiebron zijn voor deze nieuwe vorm; zijn overdreven stijlfiguren en verhalende conventies zijn ook goed ingeburgerd voor het publiek. Maar op dit moment, net als bij radioverhalen, lijkt de ervaring van deze games nog steeds meer te gaan over luisteren dan over spreken.

de-volgende-videogame-controller-is-je-stem foto 1 Menselijke interactie


Ook Untethered is geïnspireerd op hoorspelen. Gemaakt door Numinous Games, die eerder That Dragon Cancer maakte, draait het op Google's Daydream virtual reality-platform, waarbij beelden worden gecombineerd met spraak en een handcontroller.

Virtual reality en spraakbesturing lijken hier ideaal bij te passen. Op praktisch niveau maakt spraak de noodzaak voor beginnende gamers overbodig om ingewikkelde knopplaatsingen uit te zoeken op een handheld-controller die ze niet kunnen zien. Op een ervaringsniveau brengt de combinatie van het kunnen rondkijken in een 360-graden-omgeving en er natuurlijk mee praten games een stap dichter bij het oplossen van de vierde muur.

In de eerste twee afleveringen laat Untethered je eerst naar een radiostation in de Pacific Northwest en vervolgens naar een bestuurdersstoel, waar je personages tegenkomt wiens gezichten je nooit ziet. Hun verhalen vloeien langzaam in elkaar over, maar je leert ze alleen kennen via hun stem. Fysiek ben je meestal op één plek geworteld, hoewel je de Daydream-controller kunt gebruiken om records op te zetten en oproepen te beantwoorden. Als je de cue krijgt, spreek je: je producer laat je een radiocommercial opnemen, en je moet op je achterbank bemiddelen bij een ruzie tussen man en vrouw. 'Het zit misschien tussen een boek en een film in, omdat je je niet elk detail voorstelt', zegt hoofdschrijver Amy Green.

De game draait op Google's Cloud Speech-platform dat spraakinvoer herkent en 15 of 20 regels kan retourneren die reageren op wat je ook zegt, zegt Green. Hoewel die lijnen het verhaal in verschillende richtingen kunnen slingeren, is de uitkomst van het spel altijd hetzelfde. 'Als je nooit een woord zegt, heb je nog steeds een heel goede ervaring', zegt ze.

'Het klinkt als een hele opgave, maar je zou er versteld van staan ​​hoe beperkt het soort vragen dat mensen stellen zijn.' -Alexander Mejia, menselijke interactie

Dit is een soortgelijk ontwerp als Starship Commander: anticiperen op alles wat de speler zou kunnen zeggen, om een ​​vooraf geschreven, spraakgestuurd antwoord op te nemen.

'Het klinkt als een hele opgave, maar je zou er versteld van staan ​​hoe beperkt het soort vragen dat mensen stellen zijn', zegt Mejia van Human Interact. 'Wat we ontdekten, is dat 99% van de mensen, wanneer ze in VR stappen, ze in de stoel van de commandant zetten en zeggen: 'Je hebt een ruimteschip. Waarom ga je er niet op uit en doe je er iets mee?' Mensen proberen niet naar de fastfoodtent te gaan of te vragen hoe het weer buiten is. Ze kruipen in het personage.'

'Het script is meer een trechter, waar mensen allemaal op ongeveer dezelfde plek willen uitkomen', voegt hij eraan toe.

Maar om spraakspellen volledig te laten reageren op alles wat een gebruiker zou kunnen zeggen, zijn traditionele scripts misschien niet eens nuttig. Het ideale systeem zou 'full-stack AI gebruiken, niet alleen de AI die bepaalt wat je zegt en vervolgens spraaklijnen afspeelt, maar de AI waarmee je daadwerkelijk een gesprek kunt voeren', zegt Mejia. 'Hij doorstaat de Turing-test met vlag en wimpel; je hebt geen idee of het een persoon is.'

In deze wereld zijn er geen scriptbomen, alleen een soep van kennis en gebeurtenissen waaruit kunstmatige intelligentie plukt en snoeit, spontaan reagerend op wat de speler zegt. In plaats van een strak gescripte route met weinig ruimte voor expressie, zou een ideaal gesprek vloeiend kunnen zijn, van het onderwerp af en weer terug. Op dit moment, in plaats van dat stemspelletjes een bevrijdende ervaring zijn, is het gemakkelijk om je opgesloten te voelen, gevangen in de ergste soort conversatie -- overdreven gestructureerd met iedereen die gewoon op zijn beurt wacht om te praten.

Een voorbeeld van een procedureel gegenereerd gesprek is te vinden in Spirit AI's Character Engine. Het systeem creëert personages met hun eigen motivaties en veranderende emotionele toestanden. De dialoog is niet volledig vooraf geschreven, maar is gebaseerd op een database met informatie - mensen, plaatsen, tijdlijn van gebeurtenissen - om zelf hele zinnen aan elkaar te rijgen.

'Ik zou dit beschrijven als personages die kunnen improviseren op basis van wat ze weten over hun kennis van de wereld en het soort dingen dat ze hebben geleerd hoe ze moeten zeggen', zegt Mitu Khandaker, chief creative officer bij Spirit AI en een assistent-professor aan het Game Center van de New York University. Projecten die de technologie gebruiken, gaan al in productie en zouden binnen twee jaar moeten verschijnen, zegt ze. Als games als Codename Cygnus en Baker Street Experience een meer gestructureerde kant van voice-gaming vertegenwoordigen, weerspiegelt de engine van Spirit AI het tegenovergestelde van de vrije vorm.

de-volgende-videogame-controller-is-je-stem foto 2

'Untethered', een virtual reality-titel van Numinous Games.

Elke maker van een game heeft te maken met een reeks klassieke vragen over het vertellen van verhalen: geven ze hun gebruikers liever vrijheid of controle? Onderdompeling of een goed verteld verhaal? Een ervaring onder leiding van de speler of ontwikkelaar? Vrije wil of zin?

Met de opkomst van vocale technologie die ons in staat stelt om steeds naadlooser te communiceren met games, zullen deze vragen nog relevanter worden.

'Het is fijn om het idee te hebben dat er een auteur is, of een God, of iemand die betekenis geeft aan dingen, en dat de dingen waar ik geen controle over heb, met een reden gebeuren', zegt Grossman. 'Dat heeft iets geruststellends: 'Je bent nu in goede handen. We vertellen een verhaal, en ik ga al deze dingen afhandelen, en jij zult ervan genieten. Ontspan en geniet ervan.''

In Untethered waren er momenten waarop ik geen idee had of mijn gesproken commando's een betekenisvolle invloed hadden op het verhaal. Een deel van mij waardeerde dat dit nabootst hoe het leven echt werkt. 'Je leeft gewoon je leven en wat er die dag ook gebeurde, dat zou die dag altijd gebeuren', zegt Green. Maar een ander deel van mij miste de duidelijk getelegrafeerde splitsingen in de weg die aangaven dat ik op het punt stond een belangrijke beslissing te nemen. Ze zijn een soort fantasie van volmaakte kennis, van oorzaak en gevolg, die in het echte leven niet altijd voorkomen. Een deel van de aantrekkingskracht van games is dat ze de complexiteit van het dagelijks leven vereenvoudigen en structureren.

'Niet iedereen houdt per se van games die over geweld of schieten gaan, maar iedereen begrijpt wat het is om met mensen te praten. Iedereen weet wat het is om een ​​of andere menselijke betrokkenheid te hebben.' - Mitu Khandaker, Spirit AI

Terwijl ontwikkelaars met deze balans worstelen, zullen ze een geheel nieuwe vorm van spel creëren: een die is gericht op complexe personages in fysieke omgevingen; gesprek en onderhandeling over actie en traditionele gameplay. Het idee van wat een game tot een game maakt, zal nog verder worden uitgebreid. En de stem kan de toegangsdrempel van gaming voor een algemeen publiek verminderen, om nog maar te zwijgen van visueel en lichamelijk gehandicapten (de Able Gamers Foundation schat dat 33 miljoen gamers in de VS een of andere handicap hebben). 'Door games te maken die meer over personages gaan, kunnen meer mensen ermee omgaan', zegt Khandaker. 'Niet iedereen houdt per se van games die over geweld of schieten gaan, maar iedereen begrijpt wat het is om met mensen te praten. Iedereen weet wat het is om een ​​of andere menselijke betrokkenheid te hebben.'

Toch is het vermogen van voice gaming om een ​​natuurlijke interface naar games te brengen weinig van belang als het niet naadloos werkt, en dat blijft het grootste punt van de industrie om te bewijzen. Een responsieve, zij het abstracte gamepad is altijd te verkiezen boven onbetrouwbare spraakbesturing. Een uitgebreide dialoogboom die een gebrek aan echte intelligentie verdoezelt, verslaat een jonge AI die de basiscommando's niet kan begrijpen.

Ik moet hieraan denken de tweede keer dat ik de Starship Commander-demo speel. Anticiperend op de verrassingsaanval en het ultimatum van de schurk, heb ik me al neergelegd bij de enige optie waarvan ik weet dat die het verhaal vooruit zal helpen: instemmen met zijn verzoek.

'Breng me naar de Delta-buitenpost en ik laat je leven', zegt hij.

'Natuurlijk, ik neem je mee,' zeg ik.

Deze keer staart hij me niet wezenloos aan. 'Brand op het schip,' antwoordt hij tot mijn verbazing.

Een salvo van raketten en mijn spel is weer voorbij. Ik zet mijn headset af en David Kuelz, een schrijver over het spel die de demo heeft opgezet, lacht. Hij zag hoe de computer mijn spraak omzet in tekst.

'Ik neem je mee' werd verward met 'fuck you'', zegt hij. 'Dat is eigenlijk een veel voorkomende reactie.'

Aanbevolen verhalen

Je volgende favoriete nummers vormen de ruggengraat van 'Metronomicon'

De meeste muziekgames bevatten nummers die je al beu bent om te spelen. 'The Metronomicon' niet en het spel is er des te beter voor.

Instagram laat je nu live video-replays delen

Zodra je live-uitzending is afgelopen, zie je een optie onder aan het scherm met het label 'Delen'. Tik daarop om 24 uur lang een herhaling van je livevideo aan Instagram Stories toe te voegen.

'Kill Switch' combineert filmmagie met trucs voor videogames

In Kill Switch moet Will Porter de mensheid redden door een doos naar een toren te brengen, een reis die we zien vanuit een first-person-shooter POV en door veel visuele effecten.

Sony heeft een gigantische PS4-controller gemaakt die je niet kunt gebruiken

Er is een reus voor nodig om de gigantische DualShock 4-gamepad die Sony heeft gemaakt om de heruitgave van 'Parappa the Rapper' te promoten, comfortabel vast te pakken.