Для человека с беспорядком артикуляции логопедия частично использует упражнения повторения: практик качественно анализирует произношение пациента и устно объясняет, используя рисунки, как поместить артикуляторы, особенно язык: что-то пациенты обычно не знает. То, как эффективная терапия, зависит от того, как хорошо пациент может объединить то, что им говорят.
Это на данном этапе, что «визуальная биологическая обратная связь» системы может помочь. Они позволяют пациентам видеть свои артикуляционные движения в режиме реального времени, и в особенности как их языки перемещаются, так, чтобы они знали об этих движениях и могли исправить проблемы произношения быстрее.В течение нескольких лет исследователи использовали ультразвук, чтобы проектировать системы биологической обратной связи.
Изображение языка получено, поместив под челюстью, исследование, подобное этому раньше традиционно, смотрело на сердце или зародыш. Это изображение, как иногда считают, трудное для пациента использовать, потому что это – не очень хорошее качество и не предоставляет информации о местоположении неба и зубов. В этой новой работе существующие команды исследователей предлагают улучшить эту визуальную обратную связь, автоматически оживляя артикуляционную «говорящую голову» в режиме реального времени от изображений ультразвука.
Этот виртуальный клон настоящего спикера, в развитии много лет в GIPSA-лаборатории, производит изученный в контексте – и поэтому более естественный – визуализация артикуляционных движений.Сила этой новой системы находится в алгоритме машинного обучения, что исследователи продолжали работать в течение нескольких лет. Этот алгоритм может (в определенных рамках) обработать артикуляционные движения, которых не могут достигнуть пользователи, когда они начинают использовать систему. Эта собственность обязательна для целенаправленных терапевтических применений.
Алгоритм эксплуатирует вероятностную модель на основе большой артикуляционной базы данных, приобретенной от «опытного» спикера, способного к объявлению всех звуков на одном или нескольких языках. Эта модель автоматически адаптирована к морфологии каждого нового пользователя, в течение короткой системной фазы калибровки, во время которой пациент должен объявить несколько фраз.Эта система, утвержденная в лаборатории для здоровых спикеров, теперь проверяется в упрощенной версии в клиническом испытании за пациентов, которые перенесли операцию языка.
Исследователи также развивают другую версию системы, где артикуляционная «говорящая голова» автоматически оживляется, не ультразвуками, но непосредственно голосом пользователя.