20201109

(本文同步發表於：https://pikapei.github.io/blog/20201109-神經科學與資訊理論-part1/)

前言

筆者亦初識資訊理論(information theory)，若理解有誤也請不吝指教。本文內容大多源於〈A tutorial for information theory in neuroscience〉這篇回顧論文，此篇以較淺白方式介紹資訊理論及其於神經科學上之應用。若有興趣深入的讀者，不妨參閱經典教科書《Elements of Information Theory》[1]、交通大學陳伯寧老師開設之線上課程[2]、或其他參考資料[3]。

為何需要資訊理論？

我們常常會聽到，神經系統負責整合感官接收到的訊息，經過中樞處理後，再送往下游產生相應動作；又或者是，神經元相接形成神經網路，訊息在神經元間傳遞，大腦得以對其進行編碼、運算、儲存等等。"訊息"等類似辭彙雖頻繁出現，但其含義也十分模糊，我們如何描述神經元攜帶了多少訊息？兩神經元是否共享了某些訊息？此類問題顯然需要一個量化訊息的方式，而資訊理論正是合適之工具。

資訊理論的優點

• 無需依賴對應模型(model independent)：不需先假設目標結構(如：事先假設好神經群之間的連結關係，才進行分析)，具有更廣泛的應用場景。
• 可同時分析不同型態的資料，包含離散型和連續型資料，也有助於分析跨尺度的交互關係(如神經元層級 vs 腦區層級)：
  • 離散型資料：如有無產生動作電位、實驗動物有無產生特定行為模式
  • 連續型資料：如膜電位變化、螢光強度變化、實驗動物位置或速度
• 可偵測線性和非線性的交互關係
• 可用於多變量分析
• 一般而言，輸出的單位皆為bits (後文會加以介紹)，因此在不同實驗結果下比較會相對直觀(但並非可以直接比較)。

資訊理論的限制

• 無法建構描述系統如何運作的模型： 如：分析結果得知，A與B共享了0.05 bits的資訊，但是我們無法更進一步知道A與B是否存在直接連結，即使有，也不知道是興奮性或抑制性連結。 話雖如此，仍能透過資訊理論排除不可能的模型，限縮尋找目標的範圍。

資訊熵 (Shannon Entropy)