Kunstmatige intelligentie heeft hersengolven omgezet in spraak

Cultuur en amusement: Onderzoekers van de Radboud Universiteit en het UMC Utrecht in Nederland zijn erin geslaagd hersensignalen om te zetten in hoorbare spraak, en geloven dat dit project een belangrijke stap voorwaarts betekent om mensen die het vermogen zijn kwijtgeraakt om met hun eigen stem te spreken, weer te geven.

De resultaten zijn onlangs gepubliceerd in Tijdschrift voor neurale engineering En o.a. vermeld in Neurowetenschappelijk nieuws.

Het onderzoek laat een veelbelovende ontwikkeling zien op het gebied van brein-computerinterfaces, zegt hoofdauteur van het onderzoek, onderzoeker Julia Berezutskaya.

– Dit is een zeer interessante en veelbelovende studie. En omdat deze methoden gebaseerd zijn op opnames van de motorische hersengebieden die de spieren aansturen die spraak produceren, kunnen ze patiënten helpen die niet kunnen praten vanwege spierverlammingen en andere puur motorische problemen, zegt hersenonderzoeker en hoogleraar neurofysiologie Johan Fredrik. Sturm aan de UCLA. Oslo naar NTB.

Gecombineerd met kunstmatige intelligentie (AI) kon de technologie interpreteren wat mensen gingen zeggen, met een nauwkeurigheid van tussen de 92 en 100 procent. Dit is de eerste keer dat geavanceerde AI-modellen de hersenactiviteit rechtstreeks in hoorbare spraak hebben vertaald.

– Dit betekent dat we niet alleen kunnen raden wat mensen zeggen, maar dat we die woorden onmiddellijk kunnen omzetten in betekenisvolle en begrijpelijke geluiden. Bovendien klonk de gereconstrueerde toespraak qua toon en stemgebruik als de oorspronkelijke persoon, zegt Berezutskaya.

Over het algemeen is het voorspellen van afzonderlijke woorden minder complex dan het voorspellen van hele zinnen. De onderzoeker zegt dat de grotere taalmodellen die in kunstmatige intelligentie worden gebruikt in de toekomst nuttig zullen zijn.

Deze studie zal waarschijnlijk binnenkort worden gevolgd door nieuwe grote ontwikkelingen, gebaseerd op snelle ontwikkelingen in zowel computertechnologie als kunstmatige intelligentie, zoals machinaal leren en taalmodellen, evenals nieuwe, meer geavanceerde methoden voor het gedetailleerd vastleggen van hersensignalen, zegt Storm. .

Epilepsiepatiënten deden ook mee toen de onderzoekers voor het eerst hersensignalen in spraak konden omzetten. Destijds – elf jaar geleden – registreerden elektroden die op het oppervlak van de hersenen waren geplaatst de activiteit terwijl proefpersonen naar muziek en spraak luisterden.

Neuroloog en hoogleraar psychologie Robert Knight was voor het eerst in staat de woorden die de deelnemers hoorden te reconstrueren. Eerder deze zomer heeft W Onderzoekers aan de Universiteit van Californië, Berkeley Voor het eerst muziek reconstrueren met dezelfde hersenopnames uit 2012.

“Het is alsof ze onder water praten, maar dit is onze eerste poging daartoe”, zegt Knight, die denkt dat de kwaliteit veel beter zal zijn met steeds geavanceerdere elektroden.

Het zal veel betekenen als u niet alleen precies kunt zeggen wat u wilt, maar ook uw gevoelens kunt uiten op de manier waarop ze worden gezegd. Maar zal deze geavanceerde technologie andere mentale activiteiten kunnen verklaren?

– Het kan slechts een kwestie van tijd zijn voordat we het meeste hiervan tot op zekere hoogte kunnen meten en reproduceren, inclusief geluid en beeld, met behulp van steeds geavanceerdere methoden. Dit geldt ook voor gedachten, dromen, fantasieën en wat we ons herinneren, zegt Storm.

We hoeven echter niet bang te zijn dat iemand binnenkort onze gedachten op tv zal spelen.

Nee, er zijn enorme verschillen tussen een ruwe beoordeling en een gedetailleerde lezing, vergelijkbaar met de vroege primitieve televisiebeelden uit de jaren twintig en dertig en de kwaliteit nu. De neurowetenschapper zegt dat er nog een lange weg te gaan is voordat we de meeste dingen kunnen meten en decoderen.

Het doel, zegt Berezutskaya, is om de technologie beschikbaar te maken voor patiënten die last hebben van bewegingsproblemen, verlammingen of om een ​​andere reden niet voor zichzelf kunnen spreken.

Om de kwaliteit van de technologie te testen, gebruikten de onderzoekers implantaten die diep in de hersenen werden geplaatst, in het taalgebied van patiënten die konden spreken. De proefpersonen moesten twaalf woorden hardop zeggen, terwijl elektroden in hun hersenen hun hersenactiviteit registreerden.

Ze beweert dat de technologie momenteel duidelijke beperkingen heeft.

Tijdens de test waren de deelnemers epileptische patiënten bij wie tijdelijke implantaten op enige afstand in de hersenen waren geplaatst om de activiteit te registreren.

Opnieuw speelde AI een rol bij het interpreteren van hersengolfsignaturen uit het muziekluistercentrum van de hersenen. Mensen hadden naar het klassieke Pink Floyd-nummer “The Wall” geluisterd. KI heeft “Al met al was maar een steen in de muur” zo goed gereconstrueerd dat het herkenbaar is: tempo, intonatie en klemtoon komen door op lettergrepen, terwijl de tekst wat troebel klinkt.

De onderzoekers hopen dat de geavanceerde technologie hersensignalen kan interpreteren en kan vertalen wat mensen proberen te zeggen, wat ze denken te zeggen en met een stem die vergelijkbaar is met de stem van een persoon, inclusief intonatie, intonatie en nadruk op lettergrepen.

(©NTB)