Размер шрифта:
Цвета сайта:
Изображения:
Настройки

Новосибирский государственный технический университет

Официальный сайт


Портал НГТУ / Новости

Новости


Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши (видео)

В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.

Для автора разработки русский жестовый язык (РЖЯ) — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ. Сейчас выпускник НГТУ НЭТИ Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода РЖЯ. «Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — утверждает Алексей Приходько. Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. «Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», — поделился он.

Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — комментирует Алексей Приходько.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», — рассказал Алексей Приходько

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка Алексея будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ. «Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», — комментирует она.

Помимо переводчика РЖЯ, Алексей Приходько работает и над другими проектами. В начале июля 2019 года проект «Жестовый интерфейс» принес победу программисту и его команде на конкурсе «Цифровой прорыв» федерального проекта «Россия — страна возможностей». За 36 часов команда единомышленников разработала проект для обучения глухих на РЖЯ и попала в число потенциальных участников финала всероссийского конкурса разработчиков.

Проект «Жестовый интерфейс» участвовал в конкурсе «Цифровой прорыв», а проект «Математика в тишине» в другом конкурсе, в летней школе — 2017 Потанина.

В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ. «Я бы смог доработать прототип до конечного продукта за 1—2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ)», — рассказал Алексей.

Видео работы системы Алексея Приходько

Справка

В 2013 году Алексей Приходько окончил бакалавриат на АВТФ-ИСТР НГТУ НЭТИ по специальности «Информатика и вычислительная техника». В 2015 году он получил степень магистра на факультете автоматики и вычислительной техники (АВТФ) НГТУ НЭТИ, в августе 2019 года окончил аспирантуру на кафедре автоматизированных систем управления (АСУ) университета.




Фоторепортаж


Информация для СМИ:

Юрий Лобанов, пресс-секретарь, +7-923-143-50-65, is@nstu.ru

Алина Рунц, журналист, +7-913-062-49-28, derevyagina@corp.nstu.ru

Руслан Курбанов, корреспондент, +7-913-772-30-78, kurbanov@corp.nstu.ru



Фотограф: К. Жуков
Дата публикации: 06.09.19


Все новости    
Все новости опорного университета
Все фоторепортажи
Все видеосюжеты
Прислать новость



Также на тему "Наука" за последние полгода:

20.09.19 НТИ-2019 приглашает молодых ученых


13.09.19 Инженеры НГТУ НЭТИ создадут сеть зарядок для электромобилей на базе подстанций для троллейбусов и трамваев


07.09.19 18–20 сентября пройдет международный семинар AMSA–2019
18–20 сентября в Новосибирске пройдет международный семинар Applied Methods of Statistical Analysis. Nonparametric Methods in Cibernetics and System Analysis – AMSA–2019.


06.09.19 6 сентября состоится телемост на тему «Молекулярная организация мозга и её особенности у людей с аутизмом»
Встреча в рамках цикла лекций Новосибирского Нейронет-центра в режиме телемоста пройдет 6 сентября. В фокусе — расстройства аутистического спектра (РАС).


27.08.19 Гранты НСО — молодым ученым
Министерство науки и инновационной политики Новосибирской области объявляет конкурсы, направленные на оказание государственной поддержки молодым ученым


04.07.19 Учёный НГТУ НЭТИ получил награду JTAC Young Scientist Award 2019 в Будапеште
С 18 по 21 июня в Будапеште прошла конференция 2nd Journal of Thermal Analysis and Calorimetry Conference (2nd JTACC+V4 2019). На мероприятии доцент кафедры химии и химической технологии НГТУ НЭТИ, кандидат технических наук Александр Баннов получил награду JTAC Young Scientist Award 2019. Как обладатель награды, он получил приглашение выступить с первым пленарным докладом «Thermal Analysis of Carbon Nanomaterials: Advantages and Problems of Interpretation».


17.06.19 Ученые НГТУ НЭТИ создали универсальный съемный электропривод для детских колясок (видео)
Команда молодых ученых факультета мехатроники и автоматизации НГТУ НЭТИ разработала модульную силовую установку, позволяющую детским коляскам двигаться по ровной поверхности и заезжать на возвышенности без усилий со стороны родителей. Пользователи могут самостоятельно устанавливать привод на коляску, система подходит для работы с колясками большинства популярных моделей.


11.06.19 Новосибирские инженеры официально завершили испытания первого российского «умного» накопителя энергии большой мощности
Новосибирские инженеры из компании «Системы накопления энергии» (СНЭ, проект Роснано) и ученые НГТУ НЭТИ завершили испытания головного образца первого отечественного «умного» накопителя энергии большой мощности, приемка которого официально завершилась в Новосибирске в мае 2019 года. Устройство не просто запасает энергию и отдает ее в сеть, а само решает, в какое время и в каком количестве это делать в зависимости от задач, которые перед ним стоят. Создание «умных» накопителей соответствует потребностям рынка EnergyNet Национальной технологической инициативы. Разработка выполнена в том числе на средства гранта Минобрнауки России.


07.06.19 Аспирант НГТУ НЭТИ стал победителем конкурса НИР на международной конференции и всероссийском форуме
С 14 по 17 мая в Сочи Министерством науки и высшего образования РФ проводились III Международная научная конференции «Наука будущего» и IV Всероссийский форум «Наука будущего — наука молодых». Участником этих мероприятий стал аспирант кафедры автоматизированных электроэнергетических систем факультета энергетики НГТУ НЭТИ Андрей Марченко, победивший на 1-м этапе Всероссийского конкурса НИР.


05.06.19 ИЯФ СО РАН и НГТУ НЭТИ открывают новую магистратуру для будущих инженеров
Новосибирский государственный технический университет НЭТИ (НГТУ НЭТИ) совместно с Институтом ядерной физики им. Г.И. Будкера СО РАН (ИЯФ СО РАН) запускают новую магистерскую программу «Радиофизические методы исследований» на базе физико-технического факультета НГТУ (ФТФ НГТУ). В магистратуре будут готовить специалистов инженерно-технического профиля для работы в научных лабораториях, научно-конструкторском отделе, инженерных службах и на экспериментальном производстве ИЯФ СО РАН. Вместе с этим планируется подготовка кадров для Центра коллективного пользования «Сибирский кольцевой источник фотонов» (ЦКП «СКИФ»), включенного в национальный проект «Наука», и других проектов программы развития Новосибирского научного центра «Академгородок 2.0».


28.05.19 Региональная группа рынка EnergyNet Национальной технологической инициативы при НГТУ НЭТИ будет искать инвесторов и заказчиков для новосибирских разработчиков умной энергетики
21 мая в Новосибирском государственном техническом университете НЭТИ открылась первая в Новосибирской области вузовская «Точка кипения». Во время открытия была создана региональная рабочая группа рынка EnergyNet Национальной технологической инициативы, которая будет заниматься экспертизой новосибирских разработок в области умной энергетики, а также поиском инвесторов и заказчиков для этих разработок. Рабочая группа стала первым в России региональным объединением экспертов по EnergyNet.


23.05.19 Более 70 программистов изо всей Сибири двое суток подряд создавали программы для энергетики в борьбе за 100 тысяч рублей в НГТУ НЭТИ (видео)
С 18 по 19 мая на базе НГТУ НЭТИ состоялось второе междисциплинарное соревнование по решению задач на стыке электроэнергетики и IT-технологий — Энергетический хакатон Energy Hack. Студенты писали программы на протяжении двух суток подряд, в том числе ночью. Участие в соревнованиях приняли более 70 молодых программистов, представляющих 17 команд из ТГУ и ТПУ (Томск), КузГТУ (Кемерово), Сколтеха (Москва) и нескольких факультетов НГТУ НЭТИ.


20.05.19 НГТУ НЭТИ создаст программы для генетических исследований в рамках проекта «Академгородок 2.0»
Новосибирский государственный технический университет НЭТИ и Институт цитологии и генетики СО РАН 20 мая подписали договор о сотрудничестве. В документе говорится, что НГТУ НЭТИ будет предоставлять студентам старших курсов возможность последующего трудоустройства в ИЦиГ СО РАН. Институт в свою очередь станет инициатором проведения в университете научно-исследовательских работ, представляющих интерес для отрасли. Студенты и аспиранты НГТУ НЭТИ получат возможность проходить все виды практики в Институте цитологии и генетики. Кроме того, предполагается, что НГТУ будет участвовать во внедрении в производство разработок одной из ведущих научных организаций СО РАН.


07.05.19 Выпускница НГТУ НЭТИ, профессор университета г. Хемница прочтет лекцию о наноматериалах
14:00

Конференц-зал 1 корпуса



07.05.19 Выпускница НГТУ НЭТИ, профессор университета Хемница прочтет лекцию о наноматериалах
14 мая в НГТУ НЭТИ состоится научная лекция на тему «Наноматериалы нового поколения в биомедицине и сенсорике».


29.04.19 Поздравляем новых кандидатов технических наук
25 апреля на заседании диссертационного совета НГТУ Д.212.173.01 состоялись две успешных защиты диссертации на соискание ученой степени кандидата технических наук.


24.04.19 Академгородок 2.0: НГТУ НЭТИ начинает подготовку специалистов для проектов класса «мегасайенс»
Институт ядерной физики им. Г. И. Будкера Сибирского отделения Российской академии наук (ИЯФ СО РАН) и Новосибирский государственный технический университет НЭТИ договорились начать специализированную подготовку студентов кафедры электронных приборов НГТУ НЭТИ для кадрового обеспечения проектов класса «мегасайенс»: Центра коллективного пользования «Сибирский кольцевой источник фотонов» (ЦКП «СКИФ») и ускорительного комплекса со встречными электрон-позитронными пучками — Супер С-Тау фабрики. НГТУ НЭТИ будет готовить специалистов в области сверхвысокого вакуума, электроники, СВЧ-техники и программного обеспечения.


17.04.19 Всероссийская научно-техническая конференция «Наука. Промышленность. Оборона» проходит в НГТУ 17–19 апреля
17–19 апреля в Новосибирском государственном техническом университете проходит всероссийская научно-техническая конференция молодых ученых «Наука. Промышленность. Оборона», посвященная 150-летию со дня рождения академика С. А. Чаплыгина.

Организаторы: Министерство образования и науки Российской Федерации, Новосибирский государственный технический университет, Сибирское отделение Российской академии наук, Академия военных наук, Российская академия ракетных и артиллерийских наук, Региональный уральско-сибирский центр РАРАН, Межрегиональная ассоциация «Сибирское соглашение», Новосибирское высшее военное командное училище (военный институт).

Основные направления конференции:

  • Конструкция и действие средств поражения и боеприпасов
  • Высокоэнергетические конденсированные системы
  • Самолето- и вертолетостроение, эксплуатация летательных аппаратов (ЛА) и авиационных двигателей
  • Ракетно-космическая техника, системы управления летательными аппаратами
  • Динамика и прочность машин
  • Системы жизнеобеспечения и оборудования ЛА
  • Технологические процессы в промышленности
  • Безопасность технологических процессов и производств
  • Аэрогидродинамика
  • Техника и физика низких температур
  • Экология, природопользование, защита окружающей среды
  • Экономика и управление в промышленности
  • Юридическое сопровождение технологических процессов
  • Радиолокация, радиоэлектронные комплексы и системы.

Подача заявок для участия в конференции — до 13 апреля.

Программа конференции «Наука. Промышленность. Оборона»



16.04.19 18 апреля в НГТУ НЭТИ состоится лекция «Применение методов биоинформатики для решения задач биомедицины»
18 апреля в НГТУ НЭТИ состоится открытая лекция заведующего лабораторией компьютерной протеомики Института цитологии и генетики СО РАН, кандидата биологических наук, доцента Владимира Александровича Иванисенко на тему «Применение методов биоинформатики для решения задач биомедицины».

Место проведения: 1 корпус НГТУ, 426 аудитория.
Начало: 14:00.



15.04.19 Гибрид квадрокоптера и самолета для перевозки грузов на дальние расстояния сделали студенты НГТУ НЭТИ (видео)
Студенты факультета летательных аппаратов НГТУ НЭТИ создали новый летательный аппарат, который совмещает в себе возможности привычного квадрокоптера и самолета. В начале апреля прошли первые испытания разработки. Помимо подъемных четырех винтов дрон имеет крылья, хвостовое оперение, а также пятый винт, который толкает квадрокоптер вперед. В англоязычной среде подобные аппараты получили название «wingcopter», что можно перевести как «крылокоптер». Крылокоптер взлетает, как обычный дрон, а после набора высоты переходит в режим самолета — в горизонтальный полет. В этот момент подъемные винты отключаются, что приводит к значительной экономии электроэнергии.


11.04.19 12 апреля в НГУ состоится открытая лекция выпускника НГТУ «Аппаратные средства для машинного обучения. Возможности и вызовы»
12 апреля в НГУ состоится открытая лекция выпускника кафедры электронных приборов Новосибирского государственного технического университета НЭТИ Александра Котельникова, соучредителя компании Turation Limited (Hong Kong), «Аппаратные средства для машинного обучения. Возможности и вызовы».


05.04.19 Разработка НГТУ НЭТИ взяла «золото» салона изобретений и инноваций «Архимед»
С 26 по 29 марта в Москве прошел XXII Московский международный Салон изобретений и инновационных технологий «Архимед».


04.04.19 Молодые ученые, аспиранты, студенты старших курсов приглашаются для участия в акселерационной программе «А:СТАРТ» – секции HealthNet НТИ
8—10 апреля Технопарк новосибирского Академгородка приглашает молодых ученых, аспирантов, студентов старших курсов для участия в секции HealthNet НТИ бизнес-ускорителя «А:СТАРТ» для наукоемких проектов в области биотехнологии, медицины.


03.04.19 ГПНТБ приглашает познакомиться с инновационной платформой поиска научной информации
4 апреля ГПНТБ СО РАН приглашает аспирантов, магистрантов, сотрудников вузов, занимающихся научным направлением, на семинар «Экосистема инновационных решений для науки Digital Science. Платформа Dimensions», который проводит руководитель проектов Digital Science в России и СНГ Кристина Бакшеева (Москва).


27.03.19 ФЛА отметил юбилей Чаплыгина конкурсом научно-технических проектов
В рамках празднования 150-летия со дня рождения С. А. Чаплыгина — советского ученого, механика и математика, одного из основоположников аэродинамики, академика АН СССР, Героя Социалистического Труда — на факультете летательных аппаратов НГТУ НЭТИ среди студентов и аспирантов проведен конкурс научно-технических проектов, посвященных юбилею ученого.


Все новости за полгода     Поиск новостей

Размещение информации на странице   
Управление информационной политики
pr@nstu.ru      is@nstu.ru