Крупнейший российский банк «Сбер» анонсировал выход нового приложения-переводчика русского жестового языка (РЖЯ). Разработка ведётся на базе искусственного интеллекта и должна появиться на рынке до конца 2026 года.
Первая версия приложения будет работать с видеозаписями: пользователь сможет загрузить ролик на РЖЯ, а ИИ-модель распознает жесты и преобразует их в текстовый формат. Это упростит коммуникацию для людей с нарушениями слуха и речи в самых разных жизненных ситуациях — от повседневного общения до взаимодействия с госорганами и сервисами.
В основе технологии — обучение на реальных данных от носителей языка. В работе над проектом приняли участие около 1 300 экспертов, имеющих опыт использования РЖЯ. Они помогали собирать данные для моделей и делились собственным опытом взаимодействия с сервисами.
Сбер уже несколько лет развивает направление доступности сервисов для людей с инвалидностью по слуху. С 2020 года в банке работает бесплатный сервис видеоконсультаций на РЖЯ через приложение «СберБанк Онлайн», а в шести тысячах отделений доступны переводчики на планшетах . В 2024 году банк совместно с SberDevices выпустил видеословарь РЖЯ с 400 жестами (около 660 слов) и открыл датасет Slovo для исследований.
Принципиальное отличие нового приложения от существующих аналогов, по словам разработчиков, в том, что оно будет распознавать полноценный жестовый язык, а не только дактиль — пальцевую азбуку для побуквенной передачи слов. Это позволит достичь более естественного и быстрого перевода.
Следующим этапом развития проекта станет распознавание нарушенной речи, что расширит аудиторию пользователей. Пока точные сроки запуска этой функции не называются.
