AI智慧相機於智慧藥事流程精進的應用

林育昇、黃冠維、鄭靜蘭、高雅慧

近年來，機器視覺和人工智慧（AI）的融合幾乎在各個領域都引起了革命性的變革，包括醫療領域和照護相關流程。這兩項技術的結合為許多應用帶來了許多自動化的可能性，尤其是在藥物流程方面。機器視覺使電腦能夠分析和解釋視覺信息，而人工智慧則賦予系統學習、推理複雜和多元的問題，再做出智能決策的能力。利用機器視覺和人工智慧的能力，醫療專業人員可以改善傳統流程中過度依賴人眼、手部和輪班作業的藥品盤點、確認和分檢等流程¹，提高患者安全性，簡化工作流程，改善醫院工作環境，並發揮專業能力。

然而，過去導入這樣的技術於醫療場域需要長期的教育訓練及豐富的資訊工程知識，在111學年度教育部補助人工智慧技術與應用領域系列課程計畫，國立成功大學藥學系與南臺科技大學機械工程系共同開設了影像辨識於藥物作業智慧化之應用課程，培育智慧藥師和跨領域人才。同時，藉由AI 智慧相機的發展，把實現 AI 機器視覺所需的組件，包含NVIDIA® Jetson™ 深度學習核心、一系列的感光元件以及 I/O 連接埠等都整合成一個系統，搭配優化的作業系統、軟體和 EVA SDK (Edge AI Vision Analytics, 邊緣運算影像分析)，可加速開發時程的軟體環境，如此一來，實作機器視覺和人工智慧應用在藥品檢測的技術難度就大幅降低，並因其微小可攜帶的尺寸，提供場域更多實測的機會。

本次實驗搭建一個鋁擠平台，於上方裝設ADLINK凌華科技的AI Camera DEV Kit (90-20075-000E)²，主要使用NVIDIA Jetson Nano微電腦控制板，加上800萬畫素的彩色鏡頭模組，能夠提供至少每秒30張影像的拍攝能力，鏡頭距離桌面32公分，如圖一所示。本次實作案例使用常見的八種管制藥品，透過拍攝共380張圖片資料集，上傳至雲端機器學習平台Roboflow進行圖片的標註與預處理後，再透過Google Colab進行YOLOV4_tiny模型訓練；要讓AI 智慧相機學會辨識物件和進一步的處理，需要將訓練好的權重檔案.weight檔案格式和配置檔案.cfg檔案格式轉成通用模型檔.onnx檔案格式，並且透過trtexec處理程序進行二次轉檔，把.onnx檔案格式轉成.engine檔案格式。成功轉檔後，即可順利導入EVA SDK軟體進行邊緣分析，並且直接將辨識結果顯示在畫面上，例如圖一的畫面內有八個管制藥品，正確地框列出品項的名稱、位置，如此一來，如果要進行管理、盤點、調劑等處理時，搭配自動化設備能大幅降低勞動力。

圖一、AI智慧相機快速導入實作案例

過去傳統的機器視覺對於醫療場域有較為侷限的應用，除了對於案例的變化較難以更新，複雜的程式導入流程、作業系統的建置、硬體設備的選用、甚至於搭載所需要的工程能力都要考慮進去^3-5，然而AI智慧相機可以讓醫院藥師、學生、工程師能夠更有效的溝通，針對應用主題快速開發，而人工智慧技術與應用領域系列課程計畫更是落實普及AI並且播種智慧藥師，能使醫院轉型，為病患的照護品質加值，改善工作環境的勞動力等現行困境。

參考文獻

1. 翁益基* 古貞庭, 單一劑量餐包藥品核對系統成效分析：某精神專科醫院經驗分享, 醫學與健康期刊 2019年 第8卷 第2期.
2. AI Camera Dev Kit, ADLINK Technology Inc. Access 2023 Nov 30.
3. Paul, M., et al., Artificial intelligence based image recognition system. Materials Today: Proceedings, 2023. 72: p. 3222-3227.
4. Wan-Jung Chang, Liang-Bi Chen, Chia-Hao Hsu, Jheng-Hao Chen, Tzu-Chin Yang, and Cheng-Pei Lin, “MedGlasses: A Wearable Smart-Glasses-Based Drug Pill Recognition System Using Deep Learning for Visually Impaired Chronic Patients”, IEEE Access, Vol. 8, pp. 17013 - 17024, Jan. 2020.
5. Wan-Jung Chang, Liang-Bi Chen, Chia-Hao Hsu, Cheng-Pei Lin, and Tzu-Chin Yang, “A Deep Learning-based Intelligent Medicine Recognition System for Chronic Patients”, IEEE Access, March, 2019.

作者資訊

林育昇 南臺科技大學機械工程系 助理教授 yushenglin@stust.edu.tw 06-2533131 ext. 3570

黃冠維 南臺科技大學機械工程系 機電碩士班學生

鄭靜蘭 國立成功大學藥學系暨成功大學醫學院附設醫院藥劑部主任 副教授

高雅慧 國立成功大學藥學系 教授