Project Gameface diluncurkan di Android

Pada I/O 2023, kami meluncurkan Project Gameface, sebuah ‘mouse’ gaming sumber terbuka dan handsfree yang memungkinkan orang mengontrol kursor komputer menggunakan gerakan kepala dan gerakan wajah. Orang dapat mengangkat alis untuk mengeklik dan menyeret, atau membuka mulut untuk menggerakkan kursor, sehingga membuat game lebih mudah diakses.

Proyek ini terinspirasi oleh kisah streamer video game lumpuh Lance Carr, yang menderita distrofi otot, penyakit progresif yang melemahkan otot. Lalu, kami berkolaborasi dengan Lance untuk mewujudkan Project Gameface. Cerita lengkap di balik produk ini tersedia di blog Google Keyword.

Kami sangat senang melihat perusahaan seperti playAbility memanfaatkan elemen penyusun Project Gameface, seperti MediaPipe Blendshapes, dalam perangkat lunak inklusif mereka. Kini, kami membuat lebih banyak kode sumber terbuka untuk Project Gameface guna membantu developer membangun aplikasi Android agar setiap perangkat Android lebih mudah diakses. Melalui kamera perangkat, perangkat ini dengan mulus melacak ekspresi wajah dan gerakan kepala, lalu menerjemahkannya ke dalam kontrol intuitif dan personal. Pengembang kini dapat membangun aplikasi yang membantu penggunanya untuk mengonfigurasi pengalaman mereka dengan menyesuaikan ekspresi wajah, ukuran gerakan, kecepatan kursor, dan banyak lagi.

Untuk rilis ini, kami berkolaborasi dengan Incluzza, sebuah perusahaan sosial di India yang mendukung penyandang disabilitas, untuk mempelajari bagaimana Project Gameface dapat diperluas ke lingkungan pendidikan, pekerjaan, dan lainnya, seperti kemampuan mengetik pesan untuk keluarga atau mencari pekerjaan baru.

Saat membangun Project Gameface untuk Android, kami mendesain dan mengembangkan produk kami berdasarkan tiga prinsip inti:

1. Memberikan sarana tambahan baru kepada penyandang disabilitas untuk mengoperasikan perangkat Android.

2. Membangun solusi hemat biaya yang tersedia secara umum untuk memungkinkan penggunaan yang skalabel.

3. Memanfaatkan pembelajaran dan prinsip panduan dari peluncuran Gameface pertama untuk menjadikan produk ramah pengguna dan dapat disesuaikan.

Membangun kursor di perangkat Android

Kami meluncurkan cara baru untuk mulai mengoperasikan perangkat Android. Berdasarkan masukan positif untuk Project Gameface, kami menyadari bahwa developer dan pengguna menghargai gagasan menggerakkan kursor dengan gerakan kepala dan mengambil tindakan melalui ekspresi wajah.

Kami telah mereplikasi ide yang sama untuk menghadirkan kursor virtual baru di perangkat Android. Kami menggunakan layanan aksesibilitas Android untuk membuat kursor baru dan memanfaatkan MediaPipe Face Landmarks Detection API untuk memprogram kursor sedemikian rupa sehingga bergerak sesuai dengan gerakan kepala pengguna.

Di dalam API tersebut, terdapat 52 nilai blendshape wajah yang merepresentasikan ekspresi dari 52 gestur wajah seperti menaikkan alis kiri atau membuka mulut. Kami menggunakan beberapa dari 52 nilai ini untuk memetakan dan mengontrol berbagai fungsi secara efektif, menawarkan kemungkinan penyesuaian dan manipulasi yang lebih luas kepada pengguna. Kami juga memanfaatkan koefisien blendshape yang membuat developer dapat menetapkan nilai minimum berbeda di setiap ekspresi spesifik dan membantu mereka menyesuaikan pengalaman.

Menghadirkan Layanan Aksesibilitas Android terbaik ke Project Gameface

Tindakan seluler

Dalam versi Windows untuk Project Gameface, kami memungkinkan pengguna untuk mereplikasi tindakan klik yang umum. Namun, di Android, ada lebih banyak kemampuan yang perlu dilakukan pengguna. Ada peristiwa sentuh yang dimasukkan ke dalam OS dan ada peristiwa aksi global lainnya seperti “Go Back”, “Switch to Multitasking”, “Home”. Kami menggunakan tindakan seluler yang didukung Android Accessibility API untuk menentukan tindakan mana yang dapat diberikan kepada pengguna. Saat ini, Project Gameface untuk Android mendukung GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS

Feed Kamera

Feed lamera secara signifikan meningkatkan pengalaman pengguna, memfasilitasi pengaturan nilai minimum yang akurat, dan pemahaman gerakan yang lebih mendalam. Feed ini juga mengirimkan sinyal yang jelas kepada pengguna bahwa kamera mereka sedang digunakan secara aktif untuk memahami gerakan kepala dan gestur mereka.

Hanya dengan membuat overlay feed kamera akan mencegah developer mengakses beberapa bagian penting perangkat Android mereka seperti pengaturan Android. Kami menggunakan layanan aksesibilitas Android dengan Project Gameface untuk memungkinkan kamera terus mengambang bahkan di pengaturan Android dan bagian penting lainnya dari perangkat Android pengguna.

Memungkinkan pengguna untuk melakukan ‘fungsi tarik’

Layanan aksesibilitas Android saat ini tidak memiliki metode langsung bagi pengguna untuk menarik layar interaktif secara real-time. Namun, produk kami telah ditingkatkan untuk menyertakan fungsionalitas tarik sehingga memungkinkan pengguna menentukan titik awal dan akhir. Akibatnya, tindakan tarik akan dijalankan dengan mulus di sepanjang jalur yang ditentukan.

Kami sangat antusias melihat potensi Project Gameface dan tidak sabar menunggu developer dan perusahaan memanfaatkannya untuk membangun pengalaman baru. Kode untuk Gameface kini menjadi sumber terbuka di Github.

Ucapan Terima kasih

_{Kami ingin mengucapkan terima kasih atas kontribusi tak ternilai dari orang-orang berikut bagi Project GameFace untuk Android: Edwina Priest, Sisi Jin, KC Chung, Boon Panichprecha, Dome Seelapun, Kim Nomrak, Guide Pumithanon, Lance Carr, Communique Team (Meher Dabral, Samudra Sengupta), EnAble/Incluzza India (Shristi G, Vinaya C, Debashree Bhattacharya, Manju Sharma, Jeeja Ghosh, Sultana Banu, Sunetra Gupta, Ajay Balachandran, Karthik Chandrasekar}