Переводчик русского языка жестов разработали в Новосибирске

В Новосибирском государственном техническом университете (НГТУ) нейросеть научили распознавать русский язык жестов и создали двусторонний онлайн-переводчик. Это изобретение позволит глухим и слышащим общаться в режиме реального времени.

Переводчик работает в две стороны: от глухого к слышащему и наоборот. Задержка перевода составляет не более 1 секунды.

Михаил Гриф, профессор кафедры автоматизированных систем управления НГТУ и разработчик программы, описал работу переводчика так: «Слышащий говорит, идет распознавание речи, перевод посылается на устройство глухого, на котором аватар осуществляет перевод на жестовый язык. Жестовая речь глухого считывается видеокамерой, на сервере идет распознавание жестового языка и перевод в текст либо в звучащую речь».

Компьютерный персонаж дополняет жесты эмоциями и артикуляцией.

Тестирование устройства начнется в сентябре студентами университета.