Project Gameface, een nieuwe handsfree gamingmuis van Google, stelt gebruikers in staat om de cursor van een computer te besturen met hun hoofdbewegingen en gezichtsgebaren.
Mensen kunnen hun wenkbrauwen optrekken om te klikken en te slepen, of hun mond openen om de cursor te verplaatsen, waardoor iedereen kan gaan gamen.
Inspiratie
Het project is geïnspireerd op het verhaal van videogamestreamer Lance Carr, die een spierziekte heeft. Om toch te kunnen blijven gamen, gebruikte hij een head-tracking-muis om zijn cursor te besturen. In 2021 vloog het huis van Lance in brand terwijl hij op een avond aan het gamen was - en het werd allemaal vastgelegd op een livestream en bekeken door gamers over de hele wereld. Lance verloor al zijn online gamingapparatuur in de brand, inclusief de dure head-tracking-muis, de belangrijkste technologie waarmee hij computerspellen kon spelen.
Herkenning via webcam
Nadat werknemers bij Google het verhaal van Lance had gehoord, wisten ze dat ze moesten helpen. Daarom heeft Google samen met Lance 'Project Gameface' ontworpen, een handsfree gamingmuis die gebruikmaakt van de open-sourceoplossingen van Google MediaPipe. Hoofdbewegingen en gezichtsgebaren die eenvoudig met een webcam worden vastgelegd, worden herkend door machine learning-modellen om de cursor te verplaatsen.
Om de muis aan te passen aan de behoeften van verschillende gebruikers, is in Project Gameface het idee van een gebaargrootte opgenomen, waarmee gebruikers kunnen bepalen hoe prominent hun gebaar moet zijn om een muisactie te activeren.
Relatief goedkoop
Project Gameface is nog in ontwikkeling, maar heeft de potentie om gaming toegankelijker te maken. Het is namelijk relatief goedkoop om te bouwen en te onderhouden. De code is openbaar en vandaag beschikbaar in preview. Als je geïnteresseerd bent in het bijdragen, verbeteren of gebruiken van deze technologie, bezoek dan de GitHub-repository van Google.
(Bron: Google)