Acest sistem revoluționar a fost dezvoltat de cercetători australieni, care au pus la punc tehnologia DeWave, testând-o prin folosirea date de la peste 20 de subiecți.
Participanții citeau în tăcere purtând o cască care înregistra undele cerebrale prin electroencefalogramă (EEG), ulterior fiind decodate în text.
DeWave ar putea ajuta pacienții cu accident vascular cerebral și paralizie să comunice și ar putea facilita conducerea sau dirijiarea mașinilor sau a altor obiecte de către oamenii cu brațe bionice sau alte probleme asemănătoare.
„Această cercetare reprezintă un efort pionier în traducerea directă a undelor brute EEG în limbaj, marcând o descoperire semnificativă în domeniu”, spune informaticianul Chin-Teng Lin de la Universitatea de Tehnologie Sydney (UTS).
Deși DeWave a obținut doar puțin peste 40% precizie bazată pe unul dintre cele două seturi de metrici în experimentele efectuate de Lin și colegii săi, aceasta reprezintă o îmbunătățire cu 3% față de standardul anterior pentru traducerea gândurilor din înregistrările EEG.
Scopul cercetătorilor este să îmbunătățească precizia la aproximativ 90%, ceea ce este comparabil cu metodele convenționale de traducere a limbajului sau software-urile de recunoaștere a vorbirii.
Alte metode de traducere a semnalelor cerebrale în limbaj necesită intervenții chirurgicale invazive pentru implantarea electrozilor sau mașini costisitoare de rezonanță magnetică, făcându-le impracticabile pentru utilizarea zilnică - și adesea este nevoie de urmărirea ochilor pentru a converti semnalele cerebrale în cuvinte.
Atunci când ochii unei persoane sar de la un cuvânt la altul, este rezonabil să presupunem că mintea lor face o scurtă pauză între procesarea fiecărui cuvânt. Traducerea directă a undelor brute EEG în cuvinte - fără urmărirea ochilor pentru a indica cuvântul corespunzător - este mai dificilă.
Undele cerebrale ale diferitelor persoane nu prezintă întotdeauna pauze între cuvinte, ceea ce face ca învățarea AI să interpreteze gândurile individuale să fie o provocare.
După o instruire extensivă, codificatorul DeWave transformă undele EEG într-un cod care poate fi apoi asociat cu cuvinte specifice în funcție de apropierea lor de intrările din "cartea de coduri" a DeWave.
„Este primul care incorporează tehnici de codificare discrete în procesul de traducere de la creier la text, introducând o abordare inovatoare în decodificarea neurală”, explică Lin.
„Integrarea cu modele de limbă mari deschide, de asemenea, noi frontiere în neuroștiință și AI.”
Lin și echipa sa au folosit modele de limbă instruite care includeau o combinație între un sistem numit BERT cu GPT și le-au testat pe seturi de date existente ale persoanelor la care s-a înregistrat urmărirea ochilor și activitatea cerebrală în timp ce citeau text.
Acest lucru a ajutat sistemul să învețe să asocieze modelele de unde cerebrale cu cuvinte, apoi DeWave a fost antrenat mai departe cu un model de limbă larg practicat, care creează propoziții din cuvinte.
Traducerea verbelor este zona în care DeWave a obținut cele mai bune rezultate. În schimb, substantivele tindeau să fie traduse ca perechi de cuvinte care înseamnă același lucru în loc de traduceri exacte, cum ar fi "omul" în loc de "autor".
„Credem că acest lucru se datorează faptului că atunci când creierul procesează aceste cuvinte, cuvintele semantic similare ar putea produce modele similare de unde cerebrale”, spune autorul principal Yiqun Duan, un informatician de la UTS.
„În ciuda provocărilor, modelul nostru oferă rezultate semnificative, aliniind cuvinte cheie și formând structuri de propoziții similare.”
Mărimea relativ mare a eșantionului testat abordează faptul că distribuțiile de unde EEG ale persoanelor variază foarte mult, sugerând că cercetarea este mai fiabilă decât tehnologiile anterioare care au fost testate doar pe eșantioane foarte mici.
Este nevoie de mai multă muncă, iar semnalul este destul de zgomotos atunci când semnalele EEG sunt recepționate printr-o cască în loc de electrozi implantați în creier.
„Traducerea gândurilor direct din creier este o inițiativă valoroasă, dar provocatoare, care merită eforturi continue semnificative”, scrie echipa.
„Dat fiind avansul rapid al modelelor de limbă largi, metodele similare de codificare care pun în legătură activitatea cerebrală cu limbajul natural merită o atenție sporită.”
Cercetarea a fost prezentată la conferința NeurIPS 2023, iar un preprint este disponibil pe ArXiv, notează dcnews.ro.