Az OTDK dolgozatom a „Siketek beszédkommunikációját mobiltelefonnal segítő eszközök fejlesztése” projekt keretén belül végzett munkámat foglalja össze. Feladatunk a speech-to-animation konverzió megoldása, vagyis hogy pusztán a beszédjelbőI állítsuk elő a különböző szájállásokat elég pontosan ahhoz, hogy arról a siket vagy nagyothalló emberek le tudják olvasni a mondott szöveget. A fejlesztés időszaka alatt folyamatos törekedtünk az MPEG-4 szabványra, mely leírja a komplett háromdimenziós fejanimációt. Rövid ismertetőt adok a siketekkel és nagyothallókkal végzet felméréseink eredményérő1, a kutatás előmenetelét is nagyban meghatározó észrevételekről és megjegyzésekről.

A rendszer tanításához audiovizuális-adatbázist készítettünk. A beszámolómban kitérek az adatbázis összeállításának részleteire és az adatbázis feldolgozásának lépéseire. A feldolgozás során a beszélőre festett MPEG-4 szabványú tartópontok helyzetét határozom meg, kitérek annak hibáira, illetve hogy ezek a hibák miből erednek, és hogyan lehet ezeket javítani. Pontosabban kitérek a tartó pontok azonosítására, illetve a pontosságot növelő koordináta-transzformációkra. A tartópontok időbeni vizsgálatának előnyeire világítok rá, illetve, hogy a különböző reprezentációkkal milyen hibák és tulajdonságok figyelhetők és mérhetők meg. Továbbá ismertetem az MPEG-4 szabványú fej animáló rendszerekben szerzett tapasztalataimat. A konkrét Lucia modell felépítéséről számolok be, illetve, hogy annak animálása milyen kihívásokat állított elénk.

Hosszabb kitérőt adok a saját és a Lucia paraméterek közti konverzióról. Beszámolok a relatív koordinátarendszerbe való áttérésről, a skálázás és az irány beállításáról. A projektben végzett munkánk során sikerült letesztelnünk az általunk összeállított adatbázis Lucián történő megjelenítésének felismerhetőségét. Megállapításra került a fejanimáló rendszer pontos működésének fontossága.

Rövid elméleti hátteret adok további paraméterek kinyerésének fontosságáról, illetve beszámolok az adatbázis ezen elvek alapján történő feldolgozásáról. A dolgozatom utolsó részében egy mobiltelefonon is futtatható modell és OpenGL alapú fejanimáló motor elkészítésének főbb lépéseit foglalom össze.