Nowa rękawica tłumaczy język migowy na mowę w czasie rzeczywistym

Nowa rękawica tłumaczy język migowy na mowę w czasie rzeczywistym



Bioinżynierowie zaprojektowali rękawicę, która potrafi tłumaczyć język amerykański Język migowy przemawiać w czasie rzeczywistym.

Rękawica ma cienkie, rozciągliwe czujniki, które biegną do czubków palców. Czujniki te są w stanie wychwytywać ruchy i palce w elektrycznie przewodzących przędzach.

Czujniki te są następnie podłączane do małego kawałka płytki drukowanej – mniej więcej wielkości monety – którą użytkownicy noszą na nadgarstkach.


W związku z tym, gdy ludzie poruszają rękami i palcami, aby podpisać słowa, rękawica jest w stanie przetłumaczyć poszczególne litery, cyfry, słowa i frazy na słowa mówione.

Dodatkowe czujniki można dodać do twarzy, między brwiami i po bokach ust, aby uchwycić mimikę twarzy.

Rzeczywiste tłumaczenie odbywa się za pomocą aplikacji na smartfona, która wykorzystuje niestandardowy niestandardowy algorytm uczenia maszynowego do przekształcania gestów w litery, cyfry i słowa.

System rozpoznaje 660 znaków, które obejmują każdą literę alfabetu i cyfry od zera do dziewięciu.

Może tłumaczyć z prędkością jednego słowa na sekundę.

Wersja komercyjna tej technologii wymagałaby więcej słownictwa i krótszego czasu tłumaczenia. UCLA złożyła patent na rękawicę.

„Mamy nadzieję, że otworzy to prosty sposób dla osób używających języka migowego do bezpośredniej komunikacji z osobami niebędącymi sygnatariuszami bez potrzeby tłumaczenia dla nich kogoś innego”, powiedziany Jun Chen, główny śledczy na rękawicy.

„Ponadto mamy nadzieję, że pomoże to większej liczbie osób w nauce języka migowego”.

Zhihao Zhao, Kyle Chen, Songlin Zhang, Yihao Zhou i Weili Deng, z University of California, Los Angeles (UCLA), są autorami badania, które opracowało rękawicę wraz z Chenem.

Jin Yang, z chińskiego Uniwersytetu Chongqing, również jest autorem badania.

Zaletą rękawicy jest jej przenośność i waga. Poprzednie urządzenia do noszenia oferowały podobne możliwości, ale były ciężkie i niepraktyczne.

Ten nowy projekt jest znacznie lżejszy, a polimery są tanie – podobnie jak komponenty elektroniczne.

Jednak niektórzy niesłyszący badacze skrytykowali ten rozwój.

„Ta technologia jest zbędna, ponieważ osoby niesłyszące korzystają z oprogramowania do zamiany tekstu na mowę lub oprogramowania do tłumaczenia tekstu w swoich telefonach lub po prostu piszą długopisem i kartą, a nawet wyraźnie gestykulują” – powiedziała Gabrielle Hodge, głucha badaczka z głuchoty Cognition and Language Research Centre w University College London, do CNN. „W tych formach komunikacji nie ma nic złego”.

„Byłoby o wiele łatwiej, gdyby technologia skupiła się przede wszystkim na projektach zorientowanych na użytkownika i skoncentrowanych na użytkowniku, zamiast wymyślać„ rozwiązania ”, które według nich rozwiążą wszystkie problemy na świecie”.

.



Source link