深度學習在醫學領域的應用，改變了研究人員和臨床醫師治療和理解複雜疾病的方式。隨著深度學習在醫療研究上的發展，研究人員無可避免的必須在同一個研究主題中處理不同類型的資料，而深度學習處理和分析醫學數據的能力，為臨床研究提供了更全面的資料處理方法學，從而實現更精準的醫療。
醫學數據包含了許多不同的類型，包含從基因序列和蛋白質組概況到醫療影像和電子健康記錄的各種資料類型。這種多樣性對於深度學習模型來說既是挑戰也是機遇。挑戰在於如何有效地整合這些不同類型的數據，以捕捉其背後複雜的相互關係。然而，機遇則在於我們現在得以開發全面的模型，為這類的醫學研究提供更全面的理解。
利用不同類型的數據的關鍵之一在於深度學習模型採用的融合策略。融合策略包含了整合不同類型數據的方法，使模型能夠從合併的數據提取更多的資訊。目前有三種主要的融合方法：
1. 早期融合：這種策略表示在最一開始就輸入所有不同類型的數據到同一個的模型，然後通過深度學習模型進行處理。雖然這種方法很直接，但並不總是能有效了解不同數據類型之間的複雜相互作用。
2. 中間融合：由於其靈活性，中間融合是目前常見的數據處理方式，首先通過模型的不同分支處理各種資料型態，得到各自的資訊，然後將得到的不同資訊組合之後，再度訓練模型得到整體的結論。也可以說，我們利用一些維度轉化的技術，將不同類型的資料轉換成同一種資料表達方式，然後再進行模型的訓練。更精確地來說，中間融合是指將不同的模態數據先轉化為高維特徵表達，再於模型的中間層進行融合。以神經網絡為例，中間融合首先利用神經網絡將原始數據轉化成高維特徵表達，然後獲取不同類型數據在高維空間上的共性。中間融合方法的一大優勢是可以靈活的選擇融合的位置。這種方法特別適合用在不同類型的醫療資料，來了解資料之間複雜的關係。
3. 後期融合：在後期融合中，為每種類型的資料單獨訓練模型，並在決策級別合併它們的輸出。這種方法允許根據每種數據類型的特定選擇合適的模型並進行更精確的參數調整，但可能不如中間融合那樣有效地捕捉模態間的相互作用。
在進展迅速的醫療領域（如腫瘤學）中，傳統的數據分割方法可能不是最理想的方式。時間分割是一個可行的方式，我們使用更近期的數據進行測試和驗證，提供了一個更符合現行臨床狀況的模型選擇方式。通過將數據分割與醫療進步的步調保持一致，時間分割確保深度學習模型在預測未來趨勢方面保持相關性和準確性。
儘管深度學習在醫學研究中的能力令人振奮，但仍存在一些挑戰。這些挑戰包括如何處理資料較為不完整的數據集、如何確保模型的可解釋性以及如何克服樣本大小限制等等。轉移學習和逐步融合都是發展中的技術，可能會是潛在的解決方案：
- 轉移學習：通過利用大型資料庫上預先訓練的模型，轉移學習可以幫助克服醫學研究中常見的小樣本問題。
- 逐步融合：這種技術依據資料類型的相似性或生物學相關性逐步整合不同類型的數據。這種方法可以通過尊重不同數據類型之間的自然層次結構和關係來提高模型性能。
深度學習在醫學研究的未來還有很多發展的空間，也開辟了許多探索途徑。通過技術如神經架構搜索自動發現最好的融合策略，可以進一步提高模型性能。此外，將領域特定知識整合到模型架構中，可能導致更具解釋性和生物學相關性的模型。
深度學習為醫學研究中的多類型醫學數據處理提供了許多嶄新的方法。通過仔細選擇和實施融合策略，研究人員可以開發能解析更全面資料的模型，從而實現更精準的診斷和治療計劃。隨著該領域的不斷發展，如果能整合應用轉移學習或是逐步融合等先進技術，研究人員將能克服當前挑戰並充分發揮深度學習在推動醫療進步方面的潛力。
顏久智 國立成功大學肌肉骨骼中心 專案研究員