Истражувачите во Meta развија алка што ги преведува вашите гестови со рака во команди за интеракција со компјутер, вклучително и поместување на курсорот, па дури и транскрибирање на вашиот ракопис во воздух во текст.
Тоа би можело да ги направи денешните лични уреди многу подостапни за луѓето со намалена подвижност или мускулна слабост, па дури и да отклучи нови начини луѓето да ги контролираат своите гаџети без напор.
Во труд објавен во Nature оваа недела тимот на Reality Labs го опиша својот sEMG-RD (уред за истражување на површинска електромиографија), кој користи сензори за да ги преведе сигналите на електричните моторни нерви што патуваат низ зглобот до раката во дигитални команди што можете да ги користите за контрола на поврзан уред.
Овие сигнали се, во суштина, вашиот мозок што ѝ кажува на вашата рака да изврши дејства што сте одлучиле да ги извршите, така што можете да ги сметате за намерни инструкции.
Meta почна да работи на ова пред години. Во 2021 година компанијата имаше тим, вклучувајќи го и Томас Рирдон, кој се приклучи на Reality Labs во 2019 година како директор на невромоторни интерфејси, кој создаде прототип на уред за контрола на гестови базиран на електромиографија. Во тоа време Meta беше заинтересирана да ја развие оваа технологија за да ги подобри интеракциите во искуствата со зголемена реалност и првично имаше за цел да овозможи едноставни интеракции како што е реплицирање на еден клик со глувчето. Рирдон ја водеше и работата документирана во овој труд.
Исто така, имаше многу други обиди за изградба на слични системи, вклучувајќи и еден од 2023 година, кој користеше сензори за барометарски притисок за да препознае 10 различни гестови на рацете, и Mudra Band, за кој тврдат дека користи површинска нервна спроводливост за да го контролира вашиот Apple Watch со едноставни гестови.
Технологијата sEMG-RD оди доста подалеку. Не само што можете да контролирате курсор на екранот во еднонасочен режим (како ласерски покажувач), туку и да се движите низ интерфејс и да избирате предмети користејќи стискање на прстите, лизгање со палецот и допирање со палецот. Дури можете да внесувате текст со имитирање на ракопис со пристојни 20,9 зборови во минута. Последното е особено интересно, со оглед на тоа што пишувањето на тастатурата на телефонот во просек изнесува околу 36 зборови во минута.
Освен тоа, овој систем не треба да се калибрира за секоја индивидуа пред да го користи – иако може да се дотерува за поголема персонализација. Тимот разви метод за снимање на податоци за обука од учесниците во студијата во голем обем и го водеше низ невронска мрежа за прецизно трансформирање на суровите сигнали во команди, без оглед на тоа кој го користел преносниот уред.
Истражувачите користеа податоци за обука од илјадници учесници, пренесени преку нивниот систем за длабоко учење за да создадат генерички модели за декодирање кои точно го толкуваат внесот на корисникот кај различни луѓе. Тоа ја негира потребата од прилагодување на sEMG-RD на поединци. Ова значи дека луѓето можат да почнат да го користат интерфејсот штом ќе се навикнат, исто како што луѓето без попреченост можат да користат компјутерски глушец без претходно да се калибрираат според начинот на кој ги движат рацете.
Тимот верува дека оваа технологија би можела понатаму да се развива за директно да ја детектира наменетата сила на гестот и да најде примена во понијансирани контроли за камери и џојстици. Исто така, би можела да ги намали веќе малите физички напори потребни за ракување со телефони и други дигитални уреди.
(New Atlas)
(фото: Flickr)
