Нейросеть научилась читать по губам с недостижимой ранее точностью

09.12.2019Умеющие читать по губам алгоритмы существуют уже не первый год, но назвать эффективными эти программы нельзя, они намного уступают системам распознавания голоса. Специалисты Чжэцзянского университета (КНР), Технологического института Стивенса (США) и компании Alibaba решили усовершенствовать несовершенную технологию сообщает Venture Beat.Секрет в том, что исследователи обучали нейросеть по видеозаписям со звуком, и благодаря этому она извлекала информацию как из кадров видео, так и из контекста. При разработке методики LIBS команда исследователей использовала 2 массива информации – один содержал 45 тыс., второй 100 тыс. фраз на китайском языке. Благодаря особому подходу (метод дистилляции знаний) нейросеть стала глубже понимать содержание видео. Ей под силу даже расшифровывать предложения короче 14 символов. Специалисты надеются, что скоро алгоритмы типа LIBS смогут использовать люди с нарушением слуха для просмотра телепередач, не снабженных субтитрами. Фото: theusbreakingnews.comThe post Нейросеть научилась читать по губам с недостижимой ранее точностью appeared first on Поиск - новости науки и техники.