利用三維空間定位技術建立沉浸式輔聽裝置

杜翌群、游向前、邱緯翔、李苡潞

全球輔聽裝置的需求逐年上升，輔聽裝置除了要讓長者能夠聽得清楚外，很多研究發現還要能進一步輔助與人溝通，才能有效延緩高齡聽損患者的腦部退化、維持其身心健康。然而，目前市售輔聽裝置無法有效輔助與人溝通，原因在於輔聽裝置無法定位空間中收音目標的高低位置，導致音量忽大忽小，不僅讓使用者無法準確理解語意之外，還造成配戴上的不適。為了解決此問題，本研究提出整合電腦視覺技術(computer vision)、雙層差分麥克風陣列演算法(dual-layer differential microphone array)、聲音定位(sound localization)以及雙耳混合演算法(mixing algorithm)，建立一套可用於日常生活的沉浸式目標語音鎖定和增強裝置，整體架構如圖一所示。該裝置主要是針對輕、中度聽損患者所設計，並建構了初步的穿戴式裝置。該裝置藉由電腦視覺搭配雙層差分麥克風陣列演算法，改善以往團隊所提出的聽力輔助裝置，因無法定位空間中收音目標的高低位置導致音量忽大忽小的問題，提升使用者的語意理解程度，並透過雙耳混合演算法調整雙耳聲道的音量輸出，實現具聲源感知能力的沉浸式輔聽裝置。

圖一、利用三維空間定位技術建立沉浸式輔聽裝置系統架構圖

 未來，團隊將擴展該沉浸式輔聽裝置的使用性，例如整合廣角鏡頭或者雙鏡頭，讓電腦視覺的寬度趨近於人的視野寬度，使其更貼近日常生活。整體而言，本研究所提出的沉浸式輔聽裝置解決市售輔聽裝置缺乏空間定位的問題，並能帶給使用者沉浸式的聽力體驗。

參考文獻

1. H. As’ad, M. Bouchard, and H. Kamkar-Parsi, “Beamforming designs robust to propagation model estimation errors for binaural hearing aids,” IEEE Access, vol. 7, pp. 114837-114850, 2019.
2. B.-S. Lin, C.-F. Liu, C.-J. Cheng et al., “Development of novel hearing aids by using image recognition technology,” IEEE Journal of Biomedical and Health Informatics, vol. 23, no. 3, pp. 1163-1170, 2018.
3. X. Wang, I. Cohen, J. Chen et al., “On robust and high directive beamforming with small-spacing microphone arrays for scattered sources,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 27, no. 4, pp. 842-852, 2019.
4. Y.-C. Du, A. S. A. Elsharkawi, C.-B. Xu et al., “A Wearable Device of 360° Speech Tracking and Enhancement for Hearing Loss Students in Class,” IEEE Sensors Journal, vol. 22, no. 21, pp. 21163-21171, 2022.