2021
informatika
Neurális reprezentációk tanulása felügyelet nélküli gépi tanulással
Témavezető:
Dr. Újfalussy Balázs
Dr. Újfalussy Balázs
Összefoglaló
A neurális aktivitást klasszikusan felügyelt tanulásos technikákkal analizálták, ahol a vizsgálni kívánt változót, illetve annak pillanatbeli értékét előre rögzíteni kell az analízis során. Ez a keretrendszer nem tesz lehetővé eddig ismeretlen vagy kísérletesen nem mérhető változók, funkcionalitások felfedezését melyért egy adott agyterület felel. Dolgozatom célja ezért egy modern, általános célú felügyelet nélküli gépi tanulásos technika, a Variációs Autoenkóder (VAE) neurális adatra való adaptálása volt. A VAE az egyik legnépszerűbb mély-generatív modell, mely variációs inferenciát ötvözi a neurális hálók erejével. Ezzel a módszerrel lehetőségünk van kinyerni az adatban rejlő látens struktúrát, egy értelmezhető, potenciálisan alacsonydimenziós reprezentációját az egyébként zajos és magasdimenziós neurális adatnak. A feladat kihívásokkal teli, hiszen az adat jellege Gausstól eltérő statisztikai modellt követel meg, illetve a látensek értelmezése új módszereket igényel.
Munkámban hippokampális neurális adatra alkalmaztam béta-VAE-t, hogy megvizsgáljam reprezentál e a hippokampusz térbeli navigáció során a pozíción kívüli egyéb változót, mely zajként volt kezelve a felügyelt tanulásos analízisek során. Mivel az állat 2 dimenziós térbeli pozíciója ismert a mérés során, a VAE által tanult látens reprezentációt az alapján értékeltem ki, hogy a látens dimenziókból mennyire pontosan becsülhető a pillanatnyi pozíciót. Feedforward neurális hálózatokat és Bayesi inferenciát implementáltam a pozíció dekódolására, hogy a VAE-val elérhető pontosságot felügyelt technikák pontosságával mérjem össze.
Eredményeim azt mutatták, hogy a VAE alulteljesít az említett felügyelt tanulásos módszerekhez képest, a generatív faktorok (2D-s pozíció) nem különültek el független látens dimenziókban. Azonban a VAE látensein további nemlineáris dimenzióredukciót (Isomap) alkalmazva „disentangled” reprezentáció áll elő, ahol 2 dimenzió pontosan kódolja a pozíciót. A VAE+Isomappel megtalált reprezentáció 3 dimenziós és topológiailag ekvivalens a pozícióváltozóval.
Munkám során megmutattam, hogy a hippokampális aktivitás a pozíción kívül egyéb változót is kódol. Megmutattam továbbá, hogy a VAE-k sikeresen alkalmazhatóak neurális adaton, azonban, ha a valódi látens faktorok nem Gauss eloszlásúak vagy a leképezés a látensek és a megfigyelések között erősen nemlineáris (mint a felhasznált adatban), a VAEk nem elég rugalmasak, további nemlineáris dimenzióredukciós technika alkalmazása szükséges.
Munkámban hippokampális neurális adatra alkalmaztam béta-VAE-t, hogy megvizsgáljam reprezentál e a hippokampusz térbeli navigáció során a pozíción kívüli egyéb változót, mely zajként volt kezelve a felügyelt tanulásos analízisek során. Mivel az állat 2 dimenziós térbeli pozíciója ismert a mérés során, a VAE által tanult látens reprezentációt az alapján értékeltem ki, hogy a látens dimenziókból mennyire pontosan becsülhető a pillanatnyi pozíciót. Feedforward neurális hálózatokat és Bayesi inferenciát implementáltam a pozíció dekódolására, hogy a VAE-val elérhető pontosságot felügyelt technikák pontosságával mérjem össze.
Eredményeim azt mutatták, hogy a VAE alulteljesít az említett felügyelt tanulásos módszerekhez képest, a generatív faktorok (2D-s pozíció) nem különültek el független látens dimenziókban. Azonban a VAE látensein további nemlineáris dimenzióredukciót (Isomap) alkalmazva „disentangled” reprezentáció áll elő, ahol 2 dimenzió pontosan kódolja a pozíciót. A VAE+Isomappel megtalált reprezentáció 3 dimenziós és topológiailag ekvivalens a pozícióváltozóval.
Munkám során megmutattam, hogy a hippokampális aktivitás a pozíción kívül egyéb változót is kódol. Megmutattam továbbá, hogy a VAE-k sikeresen alkalmazhatóak neurális adaton, azonban, ha a valódi látens faktorok nem Gauss eloszlásúak vagy a leképezés a látensek és a megfigyelések között erősen nemlineáris (mint a felhasznált adatban), a VAEk nem elég rugalmasak, további nemlineáris dimenzióredukciós technika alkalmazása szükséges.
Dr. Újfalussy Balázs