Все, что связано с компьютерными программами, интерфейсом и программированием
Ответить
Профессор
Участник
Баланс:2599
 
Сообщения: 174
Регистрация: 26.10.2019

Алгоритм, позволяющий превращать мысли в речь

Профессор » 25.09.2021 11:32

+
5
-
То, что несколько десятилетий назад считалось чудом, теперь стало возможным благодаря развитию науки. В данном случае, речь идет о прямом преобразовании мыслей в речь.

Изображение

Прототип устройства преобразования мысли в речь был разработан в Калифорнийском университете в Сан-Франциско, и хотя он может обрабатывать целые предложения, он еще не совсем точен для повсеместного использования вне лаборатории. По крайней мере, на данный момент.


Превращение мыслей в речь возможно благодаря искусственному интеллекту

Ученые ранее использовали искусственный интеллект для перевода отдельных слов, чаще всего односложных, на основе анализа активности мозга. Однако по сравнению с обработкой полных многосложных предложений эти первоначальные эксперименты можно было бы назвать примитивными. Поэтому только в этом случае можно говорить о прорыве, который стал результатом исследования ученых из Калифорнийского университета в Сан-Франциско под руководством доктора Эдварда Чанга.

Но немного предыстории. Чтобы иметь хоть какие-то шансы на успех такого сложного проекта, сначала необходимо было найти подходящих добровольцев. Команда Чанга пригласила к участию в эксперименте пятерых пациентов, которым к голове разместили электроды. Электроды, размещенные таким образом, позволяли точно контролировать и регистрировать мозговую активность участников. Это было ключевым условием.

Затем пациентов просили прочитать вслух несколько сотен предложений. Во время чтения команда Чанга сосредоточилась на анализе активности мозга, которая управляет речевым аппаратом.

Движения, выполняемые нашим голосовым аппаратом (это губы, голос, выдыхаемый воздух и т. д.), очевидно управляются непосредственно из мозга. Это означает, что считывая достаточно точный сигнал с имплантированных электродов, ученые смогли получить образец, по которому данное слово произносится вслух.

После создания достаточно большой базы ученые приступили к завершающей стадии эксперимента. Пациентов попросили подумать про себя написанные для них предложения. И аппарат пытался это зафиксировать.


Многим людям, утратившим способность говорить, это непременно принесет пользу. Современные устройства, которые позволяют людям общаться, требуют небольших движений для управления курсором, который выбирает буквы или слова на экране. Известным примером был физик Стивен Хокинг, который использовал устройство для генерации речи, активируемой мышцами щек.

Такое общение имеет серьезные ограничения. Хотя бы из-за скорости такой синтетической речи. Предлагаемые в настоящее время устройства позволяют произносить около десяти слов в минуту. По сравнению с нашим естественным темпом, который составляет около 150 слов/мин. это не так уж и много.

https://spidersweb.pl/2019/04/sztuczna- ... -mowe.html
Поделиться:

Аватара пользователя
MoonBear
Участник
Баланс:5726
 
Сообщения: 345
Регистрация: 02.06.2020

Re: Алгоритм, позволяющий превращать мысли в речь

MoonBear » 28.09.2021 21:04

+
5
-
Тема, безусловно, интересная и связана не только с медицинской помощью больным людям, но и открывает широкие перспективы для создания уникальных аппаратов, способных выступать универсальными переводчиками. Но, ознакомившись подробнее, в том числе, и с оригиналом статьи, задумался, а верной ли дорогой идут товарищи. Сам механизм при помощи которого ученые пытаются решить этот вопрос, вызывает сомнения. Судите сами:
Профессор писал(а):
25.09.2021 11:32
Движения, выполняемые нашим голосовым аппаратом (это губы, голос, выдыхаемый воздух и т. д.), очевидно управляются непосредственно из мозга. Это означает, что считывая достаточно точный сигнал с имплантированных электродов, ученые смогли получить образец, по которому данное слово произносится вслух.
За основу расшифровки положен принцип анализа зон активности мозга, отвечающих за физиологические реакции человека на механические действия всего аппарата речи. Проблема первая - далеко не все зоны, связанные с физиологией, расположены в легкой доступности для подключения электродов. Например, дыхательный центр расположен в самой глубине мозга, недалеко от его перехода в спинной. Тоже относится и к другим участкам из предлагаемых к мониторингу группой ученых. Это не случайно, чем древнее, в прямом смысле, физиологическая функция, тем глубже ее управляющий центр находится в мозге.

Вторая проблема - речь не только механическая функция, связанная исключительно с деятельностью конкретных зон точечного типа, а очень сложный, связанный с высшей нервной деятельностью (можно назвать и Душой) процесс. Человек говорит и думает мысле-образами, когда слова выступают лишь буквами, оставляя в разуме целую картину, ассоциативно связанную с огромным числом других ощущений. Например, человек говорит - малина, а за этим словом открывается целый мир: детство у бабушки и сладкие, красные ягоды в кружке на столе, а потом и банка варенья, стоящая на верхней полке шкафа, куда несколько раз пытался забраться.

В действие вступает вся кора головного мозга, включая участки отвечающие за осязание, обоняние, зрение. Но, они, хотя и имеют определенную локализацию, четно не привязаны и вполне могут дрейфовать, даже, перемещаясь совершенно в другие зоны. Кроме того, это одновременно связано еще и с работой физиологических функций, как уже было сказано: дыханием, движением губ, мимической мускулатурой.

На фоне этого, пример со Стивом Джобсом, совершенно некорректен, поскольку управление внешним устройством осуществлялись прямым, механическим контролем мышц, постепенно отмирающим. Тем более, вживление электродов в ткани мозга, изначально предполагает разрушение его тканей, не лавинообразное, но неизбежное, день за днем. Нервная ткань штука тонка, именно по этой причине сейчас исследуется, так много тем по бесконтактному обмену информацией с мозгом.

Аватара пользователя
Director
Эксперт
Баланс:13839
 
Сообщения: 703
Регистрация: 20.06.2018

Re: Алгоритм, позволяющий превращать мысли в речь

Director » 29.09.2021 09:31

+
7
-
MoonBear писал(а):
28.09.2021 21:04
... а верной ли дорогой идут товарищи?
Сам механизм при помощи которого ученые пытаются решить этот вопрос, вызывает сомнения.

Эти товарищи идут одной-единственной дорогой. Других дорог у них нет.
Поэтому с их точки зрения они идут верной дорогой.

А вот мы пойдем другим путём (с)
Наш путь начинается с постулата:
У человека есть Душа-сознание и эта Душа не тождественна мозгу человека.
Еще у человека есть Дух, который управляет телом, и этот Дух тоже не тождественен мозгу человека.

То есть, мозг - это только лишь проводник (связник) между телом, с одной стороны, и, с другой стороны, Душой (сознание человека) и Духом (управляющий телом человека).

Структура и механизм связей между телом (включая мозг, как неотъемлемая часть тела) и Душой - это неимоверно сложный вопрос, но этот вопрос можно и нужно решить. Чем наш Институт и занимается.

Официальная же наука базируется на постулате: у человека нет никакой Души и никакого Духа, а сознание и управление телом человека тождественно его мозгу.

То есть, с точки зрения официальной науки, мозг - это не проводник (связник), а центр (объект), который управляет телом и "содержит" сознание.
Именно поэтому
... За основу расшифровки положен принцип анализа зон активности мозга, отвечающих за физиологические реакции человека на механические действия всего аппарата речи.
С нашей точки зрения, за основу расшифровки надо брать другой принцип - поиск связи между некоей определенной зоной активности мозга, которая посредничает между:
- с одной стороны, определенной акцией Духа и/или Души,
- с другой стороны, соответствующей реакцией тела (механической, физиологической).

Посему, нам интересно изучать эксперименты официальной науки. Просто мы должны рассматривать результаты этих экспериментов с нашей точки зрения.
Проблема первая - ... чем древнее, в прямом смысле, физиологическая функция, тем глубже ее управляющий центр находится в мозге.
Очень верное утверждение.
Но надо сделать уточнение - у организма очень много управляющих центров и, соответственно, много зон мозга, посредством которых управляется те или иные части тела.

Более того, управляющие центры связаны в иерархическую структуру.
Т.е. какие-то центры могут быть принуждены выполнять команды вышестоящих центров.

Более того, в иерархической структуре управляющих центров также существуют и горизонтальные связи.
Т.е. какие-то центры могут выполнять команды не вышестоящих, а "рядом"-стоящих центров.
(Тут возникает законный вопрос: а откуда такое взялось?
Ответ: такая иерархически запутанная структура взялась их эволюционного развития. Когда-то чего-то случилось и почему-то оказалось успешным - вот организм и взял этот приёмчик на вооружение.)

Вторая проблема - речь не только механическая функция, связанная исключительно с деятельностью конкретных зон точечного типа, а очень сложный, связанный с высшей нервной деятельностью (можно назвать и Душой) процесс. Человек говорит и думает мысле-образами, когда слова выступают лишь буквами, оставляя в разуме целую картину, ассоциативно связанную с огромным числом других ощущений [других мысле-образов]
...
В действие вступает вся кора головного мозга, включая участки отвечающие за осязание, обоняние, зрение. Но, они, хотя и имеют определенную локализацию, четко не привязаны и вполне могут дрейфовать, даже, перемещаясь совершенно в другие зоны.
Согласен. Ценные наблюдения.
[Третья проблема - ] ... вживление электродов в ткани мозга, изначально предполагает разрушение его тканей, не лавинообразное, но неизбежное, день за днем.
Электроды в мозге неизбежно вносят сбой в нормальное функционирование мозга как посредника.
Засовывание железяки в живые клетки мозга неизбежно их повреждают и являются, по сути, микро-инсультом.

При обычном инсульте клетки мозга тоже повреждаются и отмирают. При этом организм (т.е. Дух) запускает управляющие программы (команды различным частям тела, включая части мозга) на устранение последствий инсульта.
А именно, дает команды другим (как правило, соседним) клеткам мозга на взятие на себя функции погибающих и уже погибших клеток.

Насколько организму (Духу) удастся заставить другие клетки мозга работать вместо погибших коллег, настолько человек и выздоравливает.
Понятно, что при микро-инсульте (при "вживление" микро-электродов) организму гораздо легче заставить близлежащих непострадавших коллег взять на себя дополнительную работу -- проявить активность.

... сейчас исследуется ... бесконтактному обмену информацией с мозгом.
А вот про бесконтактный обмен уже интересно.
Неужели официальная наука изобрели нечто иное нежели чем старая добрая технология ЭЭГ и новомодная МРТ ?

Аватара пользователя
MoonBear
Участник
Баланс:5726
 
Сообщения: 345
Регистрация: 02.06.2020

Re: Алгоритм, позволяющий превращать мысли в речь

MoonBear » 29.09.2021 19:27

+
5
-
Отвечая на вопрос уважаемого Director'а:
Director писал(а):
29.09.2021 09:31
Неужели официальная наука изобрели нечто иное нежели чем старая добрая технология ЭЭГ и новомодная МРТ ?
Должен сказать, что из всех многочисленных источников почерпнуть ничего не удалось. Если не считать экзотических предложений, уровня - изначально создать генномодифицированного человека, где в его белок мозговых тканей внесены изменения, делая их способными реагировать на электронно-магнитное поле. По принципу "включения" или "выключения" отдельных клеток, целенаправленно вмешиваясь в физиологические процессы, например, движения руки.

Плохо или хорошо это - зависит от точки зрения. Поборников генной инженерии и любителей делать профилактические прививки (а это, по сути она и есть), наверное вдохновит, заставив сделать подобный подарок собственному ребенку. А, что, вдруг выросшее дите приобнимет пралич или иной недуг, а у него и готовый интерфейс есть, дублирующая система управления, как у самолета. Прелесть. С другой стороны, противники прямого вмешательства в человеческое тело, тем более не свое, резонно заметят, - милые друзья, а кто вам дал право делать еще неродившемуся человеку такой роскошный подарок, который и не выбросишь, тем более, без его ведома и желания.

Тема плотно пересекается с вакцинацией, переходя на качественно иной уровень, когда человека можно формировать, как это происходит в любом обществе коллективных животных. Матка выдает яйца, а уже потом, в стадии имаго из них формируются совершенно разные насекомые, как по сфере применения, так и внешнему виду. Чем, скажите, не чудный мир будущего, где все рационально, иерархично и вообще - царство гармонии.

Но, в основном, все крутится-вертится около ЭЭГ, работают целые институты и государственные программы, поглощая большие денежные килознаки, правда, прорывных технологий нет. Да, и, честно, от куда им взяться? Проведем аналогию - представим шар с размещенными в нем процессорами, штук 100 хватит, работающими на разных частотах. До мощности человеческого мозга не дотянет, но для нашего эксперимента хватит. Следующий этап, облепим наш опытный экземпляр парой десятков датчиков и начнем анализировать. Конечно, кое-какие закономерности найдем, потратив уйму времени, например: взаимосвязь шевеления сервопривода с определенной гармоникой. И... все.

Между тем, мозг это гораздо более сложное устройство, причем, состоящее из единого кристалла, в который интегрированы все модули: память, как оперативная так и долговременная, процессор, видеокарта, система питания, даже BIOS есть в виде безусловных рефлексов. И как, на данном уровне развития техники, мы можем такой комплекс исследовать при помощи пусть и тысяч датчиков, в том числе, обработать феноменальный объем информации? А если в режиме онлайн?

По поводу современных тенденций, подобрал наиболее полную статью, пусть и в TJournal, но содержащую множество ссылок:
https://tjournal.ru/flood/69741-neyroin ... lirovaniya

Ответить
   ПОМОЩЬ по форуму!