Нейросеть воссоздала движения рук человека по его речи. Подробнее об этом рассказывает популяризатор науки Андрей Коняев в программе N+2 на канале RTVI
Оказалось, что то, как мы говорим: тональность, скорость — все это можно переложить на движение рук
В чем механика исследования?
Нейросети давали публичные выступления политиков и проповедников. И нейросеть условно рисовала точки ключевых движений рук спикеров (она не прорисовывала каждую деталь, потому что это слишком сложно). Затем нейросеть составляла движения рук и спектрограмму звука и так понимала, когда и как действовали руки человека. Если он говорит громче, то, например, активнее двигает руками.
Вообще это работает так: существует нейросеть, которую надо обучать. Ей подается информация и смотрят, как она ее исправит. Если исправит неправильно, то ее перенастроят и заново дадут исправлять информацию.
То есть в будущем появятся роботы, которые смогут воссоздавать движения человека только по звуку его голоса?
Да, но вряд ли они будут делать это очень точно
В чем глобальная цель этого исследования?
Их главная цель — изучить нейросети, понять, где их можно использовать
Больше необычных фактов — в программе N+2