香蕉在线视频网站,国产视频综合,亚洲综合五月天欧美,成人亚洲综合,日本欧美高清全视频,国产视频黄色,欧美高清在线播放

AI讀心重磅突破登Nature!大腦信號1秒被看穿 還能預測未來畫面

現(xiàn)在,AI不僅會讀腦,還會預測下一個畫面了!

利用AI,一個研究團隊“看見”了老鼠眼中的電影世界。

更神奇的是,這種機器學習算法,還能揭示大腦記錄數(shù)據(jù)中隱藏的結構,預測復雜的信息,比如老鼠會看到的東西。

給一段上世紀60年代黑白老電影中截取的視頻畫面:一個男子向汽車跑去,打開了后備箱。

圖/Nature

圖/Nature

小鼠看過電影片段后,AI通過分析其腦部數(shù)據(jù),竟把畫面重構出來了。

圖/Nature

圖/Nature

可以說,幾乎與電影原作一致,是不是很神奇?

近日,來自瑞士洛桑聯(lián)邦理工學院的團隊在Nature上提出了一種名為CEBRA的最新算法,就把AI讀腦給實現(xiàn)了。

最最最重要的是,準確率超過了95%!

論文地址:https://www.nature.com/articles/s41586-023-06031-6

論文地址:https://www.nature.com/articles/s41586-023-06031-6

這一人工神經(jīng)網(wǎng)絡模型僅用了三步,首先分析和解釋行為/神經(jīng)數(shù)據(jù),然后解碼來自視覺皮層的活動,最后重建觀看的視頻。

圖/Nature

圖/Nature

CEBRA的意義在于,能夠對來自視覺皮層的視頻進行快速、高精度的解碼,這對于理解人類大腦活動來說,意義重大。

網(wǎng)友調侃,各地的思想犯罪指數(shù),會怎么樣?

圖/Twitter

圖/Twitter

CEBRA,從小鼠的大腦信號中預測電影

此前,這種“AI讀腦術”就曾在網(wǎng)上引發(fā)軒然大波。

一篇CVPR2023論文稱,Stable Diffusion已經(jīng)能重建大腦視覺信號了。

AI看了一眼人腦信號后,立馬就給出下面這樣的結果:

圖/CVPR

圖/CVPR

而在這次的研究中,科學家們更進了一步,新算法構建的人工神經(jīng)網(wǎng)絡模型,不僅能捕捉大腦動態(tài)、準確地重構畫面,還能預測出小鼠能看到的東西。

另外,它還可以用來預測靈長類動物手臂的運動,重建老鼠在場地中自由奔跑的位置。

這種新型的機器學習算法名為CEBRA(與zebra同音),能夠學習神經(jīng)代碼中的隱藏結構。

為了了解小鼠視覺系統(tǒng)中的隱藏結構,CEBRA可以在一個初始的訓練階段后,直接從大腦信號中預測看不見的電影畫面,繪制大腦信號和電影特征。

具體來說,CEBRA是基于對比學習實現(xiàn)的一種機器學習算法。

CEBRA提供了三種不同的模式:1. 假設驅動模式;2. 發(fā)現(xiàn)驅動模式;3. 混合模式。

它能夠學習將高維數(shù)據(jù)排列或嵌入到一個稱為隱空間(latent space)的“低維空間”中。

這樣做就能夠實現(xiàn),相似的數(shù)據(jù)點緊密相連,而差異大的數(shù)據(jù)點就會進一步分離。

圖/Nature

圖/Nature

這種嵌入模式可用于推斷數(shù)據(jù)中的隱藏關系和結構。它使研究人員能夠同時考慮神經(jīng)數(shù)據(jù)和行為標簽,包括運動,抽象標簽(如獎勵)或感官特征(如圖像顏色或紋理)。

老鼠“讀腦術”

怎樣將小鼠腦中的畫面重現(xiàn)呢?

研究者召集了50只小鼠,讓它們一起觀看一段30秒的電影片段,并將這個過程重復了9次。

圖/Nature

圖/Nature

在小鼠看電影時,研究者就會把探針插進小鼠的大腦視覺皮層區(qū)域,收集它們的神經(jīng)元活動信號。這個過程,也就是我們熟悉的腦機接口(BMI)。

這個過程中用到的探針有兩種:

一種是通過插入小鼠大腦視覺皮層區(qū)域的電極探針直接測量,另一種是通過光學探針在基因改造的小鼠中獲取。這些光學探針經(jīng)過改造,使激活的神經(jīng)元發(fā)出綠光。

然后,研究者通過CEBRA,將這些神經(jīng)信號與600幀電影片段聯(lián)系起來,建立起兩者之間的映射。

有了前面9次觀看的記憶鞏固加強后,研究人員又讓小鼠觀看第10次,并收集了這一次觀看時的大腦活動數(shù)據(jù)。

將CEBRA應用于小鼠初級視覺皮層,圖/Nature

將CEBRA應用于小鼠初級視覺皮層,圖/Nature

基于這些大腦數(shù)據(jù),研究人員測試了CEBRA在預測電影片段中畫面順序方面的能力。

結果發(fā)現(xiàn),CEBRA能夠在1秒內以95%的準確率預測下一個畫面。

人類大腦,終極目標

將行為動作映射到神經(jīng)活動,一直是神經(jīng)科學的一個基本目標。

但是,研究者們一直缺乏可以靈活利用聯(lián)合行為和神經(jīng)數(shù)據(jù)揭示神經(jīng)動力學的非線性技術,而CEBRA算法,填補了這一空缺。

而且,CEBRA還可以用于空間映射,從而揭示復雜的運動學特征,還能提供對來自視覺皮層的自然視頻的快速、高精度的解碼。

具體來說,研究者提出了一個聯(lián)合訓練的潛在嵌入框架。

CEBRA利用用戶定義的標簽或僅限時間的標簽,獲得了一致的神經(jīng)活動嵌入,可用于可視化數(shù)據(jù)和解碼之類的下游任務。

這個算法基于的對比學習,正是利用相互對比的樣本(正樣本和負樣本)來找到共同屬性和區(qū)分屬性。

使用CEBRA實現(xiàn)一致且可解釋的嵌入,圖/Nature

使用CEBRA實現(xiàn)一致且可解釋的嵌入,圖/Nature

CEBRA的優(yōu)勢就在于它的靈活性,以及有限假設和檢驗假設的能力。

對于海馬體,可以假設這些神經(jīng)元代表空間,因此行為標簽可以是位置或速度(圖2a)。

另外,還可以有一個替代假設:海馬體不映射空間,而只是映射行進方向或其他一些特征。

使用CEBRA的假設和發(fā)現(xiàn)驅動分析,圖/Nature

使用CEBRA的假設和發(fā)現(xiàn)驅動分析,圖/Nature

論文一作Steffen Schneider稱,與其他算法相比,CEBRA在重建合成數(shù)據(jù)方面表現(xiàn)出色,這對比較算法至關重要。

它的優(yōu)勢還在于,能夠跨不同模式組合數(shù)據(jù),比如電影特征和大腦數(shù)據(jù)。它還有助于限制細微差別,比如收集數(shù)據(jù)收集方式對導致數(shù)據(jù)變化。

從小鼠視覺皮層區(qū)域解碼自然視頻特征,圖/Nature

從小鼠視覺皮層區(qū)域解碼自然視頻特征,圖/Nature

“這項工作朝著神經(jīng)技術實現(xiàn)高性能BMI所需的理論支持算法,又邁出了一步?!盓PFL的Bertarelli綜合神經(jīng)科學主席兼該研究的PI Mackenzie Mathis說。

研究者稱,CEBRA在視覺皮層只有不到1%的神經(jīng)元的情況下表現(xiàn)良好。要知道小鼠的大腦大約由50萬個神經(jīng)元組成。

CEBRA的最終目標,是揭示復雜系統(tǒng)中的結構。由于大腦是我們宇宙中最復雜的結構,它是CEBRA的終極測試空間。

CEBRA還可以讓我們了解大腦是如何處理信息的,并通過整合動物,甚至其他物種的數(shù)據(jù),為發(fā)現(xiàn)神經(jīng)科學的新原理提供一個平臺。

當然,CEBRA算法并不僅限于神經(jīng)科學研究,因為它可以應用于許多涉及時間或聯(lián)合信息的數(shù)據(jù)集,包括動物行為和基因表達數(shù)據(jù)。因此,CEBRA潛在的臨床應用令人興奮。

網(wǎng)友質疑:這能叫讀心術?

網(wǎng)友稱,AI重現(xiàn)大腦畫面的研究,這不是首次。

圖/Twitter

圖/Twitter

在11年,UC伯克利的一項研究使用功能磁共振成像(fMRI)和計算模型,初步重建了大腦的“動態(tài)視覺圖像”。

也就是說,研究者重現(xiàn)了人類大腦看過的片段,但幾乎是無法辨認。

圖/Nature

圖/Nature

不過,對于這項AI解析小鼠大腦信號、成功重構出觀看的電影片段,網(wǎng)友紛紛表示質疑。

“我并非想貶低這項出色的工作,但這不是從老鼠看到的東西中創(chuàng)造視頻,而是匹配哪一幀視頻最符合模型解釋當前幀的內容,所以......它不是產生視頻數(shù)據(jù),而是一個幀號,然后在屏幕上顯示該幀。這個區(qū)別很微妙,但很重要?!?/p>

圖/Twitter

圖/Twitter

同樣看過視頻后的網(wǎng)友指出了問題——

“這個視頻有點誤導人。它并不像你看到所有這些擴散模型后所想的那樣,完全從頭開始構建。這個特定的模型只看過這個視頻,并且只是將不同的幀映射到腦信號上。所以這并非是讀心術?!?/p>

圖/Twitter

圖/Twitter

圖/Twitter

圖/Twitter

“這個說法是不準確的,并沒有視頻被生成。它只是在充分了解視頻的情況下,預測了正在觀看的視頻的時間戳?!?/p>