Wyposażone w urządzenie dzieci będą wymawiać słowa i zdania, a aplikacja wskaże, czy widać lub słychać nieprawidłowości.

Przyczynkiem do powstania zespołu pracującego nad urządzeniem i oprogramowaniem do rejestracji oraz analizy dźwięku i obrazu pod kątem logopedycznym była osobista motywacja młodego naukowca, obecnie kierownika programu LIDER NCBR. Mama Michała Kręcichwosta, wtedy studenta inżynierii biomedycznej na Politechnice Śląskiej w Gliwicach, doznała udaru mózgu. Skutkiem była afazja, czyli utrata zdolności mowy. "Dla naszej rodziny było to zupełnie nowe i trudne doświadczenie. Nie wiedzieliśmy, czym jest afazja i jak zacząć rehabilitację" – wspomina badacz.

Dr inż. Michał Kręcichwost postanowił pomóc – najpierw dorosłym pacjentom z afazją, a potem dzieciom potrzebującym wsparcia w rozwoju mowy. Obecnie jego zespół łączy kilka technologii i tworzy system SpeechCAD, który ma wesprzeć logopedów w całej Polsce.

Wcześniej, razem z inżynierami Zuzanną Miodońską i Krzysztofem Mrozowskim, stworzył aplikację webową "Afast! Powiedz to", wspierającą rehabilitację osób z afazją. Jak wyjaśnia naukowiec, działa ona jak wirtualny rehabilitant, wypełniając czas między wizytami u specjalisty. Platforma jest dostępna za darmo i oferuje ćwiczenia logopedyczne. Zdaniem autorów projekt realizowany w ramach programu Innowacje Społeczne okazał się sukcesem, a aplikacja wciąż pomaga osobom z zaburzeniami mowy.

"Badania z udziałem starszych osób z afazją okazały się jednak wymagającym zadaniem — każda z nich zmaga się z nieco innymi problemami związanymi nie tylko z artykulacją, ale i z rozumieniem. Zebranie odpowiedniej bazy danych niezbędnej do opracowania algorytmów było sporym wyzwaniem. Dlatego w dalszych badaniach skupiliśmy się na dzieciach w wieku przedszkolnym, do których dostęp był łatwiejszy" – tłumaczy dr Kręcichwost.

W ramach doktoratu naukowiec zbudował urządzenie do rejestracji przestrzennego sygnału akustycznego (dźwięku mowy z wielu mikrofonów) oraz model głęboki do wykrywania niepoprawnej wymowy głoski sz. Równolegle dr inż. Miodońska, bazując na danych zarejestrowanych przez to urządzenie, opracowała metody klasyfikujące różne realizacje głosek sz. Ich metody wskazują, które dźwięki dziecko wymawia poprawnie, a które wymagają korekty.

Następnie zespół stworzył urządzenie wyposażone w dwie kamery rejestrujące obraz twarzy, co pozwala na generowanie obrazu 3D. Rozpoczęto prace nad obiektywną oceną ruchów aparatu mowy. Urządzenie powstające w ramach programu LIDER, nazwane przez naukowców "narzędziem 4D”, rejestruje nie tylko dźwięk, ale także obraz twarzy i zmiany w czasie, tworząc trójwymiarowy model mówcy.

"Dane będą przetwarzane przez zaawansowaną formę sztucznej inteligencji. System będzie analizować ruchy artykulatorów i wymowę, a wyniki będą prezentowane w aplikacji w postaci modelu 3D mówcy w czasie. Dzięki temu logopeda będzie mógł pokazać rodzicom postępy terapii – to, jak zmienia się wymowa dziecka. Taki model będzie również wykorzystywany do współdzielenia z różnymi specjalistami w celu pogłębienia diagnozy. Wówczas logopeda będzie mógł zapis danych w postaci modelu 4D po prostu przesyłać innym specjalistom, np. ortodoncie" – podkreśla dr Kręcichwost.

Projekt LIDER zakłada współpracę interdyscyplinarnego zespołu. Składa się on z trojga inżynierów biomedycznych, specjalizujących się w przetwarzaniu obrazu i dźwięku, czworga logopedów z różnych regionów Polski (jest to związane z odmienną artykulacją i różnym podejściem do diagnozy w poszczególnych ośrodkach logopedycznych). W zespole jest także programista, który będzie nadzorował prace programistyczne.

"Sztuczną inteligencję trzeba odpowiednio nakarmić danymi, by wiedziała, co wskazywać logopedom. Algorytmy muszą być trenowane na dużych zbiorach danych, by rozpoznawać subtelne różnice w wymowie czy ruchach twarzy podczas artykulacji. To właśnie logopedzi dostarczają wiedzę, która pozwala nauczyć system, jak wspierać terapię" – wyjaśnia naukowiec.

Po trzech latach projekt LIDER ma zostać zakończony wyprodukowaniem prototypu gotowego do wdrożenia systemu SpeechCAD. "To narzędzie nie zastąpi logopedy, ale pomoże obiektywizować proces diagnozy, a także go przyśpieszać. System będzie m.in. wskazywał, które dzieci wymagają szczegółowej diagnozy, co jest niezwykle ważne w przedszkolach, gdzie logopedzi często mają ograniczony czas na badania przesiewowe. Ponadto umożliwi zapis badania w powtarzalny sposób" – wskazał dr Kręcichwost.

Głównymi odbiorcami urządzenia będą przedszkola, poradnie psychologiczno-pedagogiczne i gabinety logopedyczne. Badacz dodaje, że urządzenie nie wymaga skomplikowanej certyfikacji, jak produkty medyczne, co ułatwi wprowadzenie go na rynek. System będzie zabezpieczony zgodnie ze standardami ochrony danych medycznych, aby nagrania i obrazy dzieci były bezpieczne.

Choć projekt opiera się na zaawansowanej technologii, dr Kręcichwost podkreśla, że najważniejsze jest pomaganie ludziom w przystępny sposób. "Na początku był Afast, który do dziś wspiera osoby z afazją. Teraz chcemy pomóc najmłodszym w przedszkolach, by odpowiednio się nimi zaopiekować, oszczędzając czas logopedów, a także ułatwiając im pracę" – podsumowuje badacz.

Naauka w Polsce, Karolina Duszczyk (PAP)

kol/ bar/ ktl/