360° AI-Powered Remote Home Visitation System

2022 - 2024整整兩年，與3名同學共同完成此大學畢業專題！

動機

現今社會中，年長者人口日漸增長(見圖一)，長期照護成為迫切的社會需求，居家訪視為長期照護體系中的重要元素，有助於減少危險因子，提高生活品質，並在需要時調整護理計劃。目前的長照資源與人力面臨嚴重不足，城鄉間的差距更加明顯。完整進行居家訪視需要大量時間成本與人力資源，如何提高居家訪視成效並解決城鄉差距問題迫在眉睫。
利用我們的系統允許非專業人員前往現場，以視訊方式捕捉年長者居家環境這些影像可以傳送至辦公室，供專業職能治療師進行家訪並提供必要的建議和回饋。這一方法不僅節省了專業人力的寶貴時間，還能減少城鄉差距，確保無論老人身在何處，都能獲得同樣的關懷和照顧。
智慧遠距家訪系統整合了 AI 輔助和尺寸丈量功能，有助於提高職能治療師的工作效率並改進照護品質。相較於傳統的訪視方式，本系統能夠避免職能治療師忽略任何細節，同時消除了手動丈量的限制。不像其他視訊系統和 LiDAR 技術需要專業人員進行手動丈量，本系統具備全自動偵測和顯示功能，使評估過程更加簡便。系統也提供了影像留存功能，可以隨時查看或重新收集數據，以跟進個案的康復進程。透過 VR 頭戴式裝置和 360 全景攝影機，職能治療師能夠實際感受到個案的居家環境，提出更加貼切且精確的建議，以滿足個案的特定需求。 經過大量資料集的訓練，系統能夠識別無障礙空間中的固定標準和要求[2]，即使只提供非實時的 360 度居家環境影片，系統也能夠判斷出不適合或需要調整的家具，進一步提供改善建議。這使得個案及其家人能夠藉助本系統獲得即時的回饋和建議，以進行簡單而有效的居家改造，同時照護品質也得以提升。

方法

A. 視訊傳遞
個案(發送端)將家中情形利用360度攝影機拍攝過後，利用含5G網路的Raspberry Pi或平板電腦進行視訊傳遞。職能治療師戴上VR眼鏡為個案做遠距家訪。職能治療師觀看的不只是即時串流的現場畫面，還有AI輔助避免職能治療師無意間忽略或遺漏的地方。 B. AI輔助： a. 危險物品標記：
物件偵測上，我們採用物件辨識演算法，可以快速進行物件標示且保有一定的準確率。將危險物品標示出來，讓職能治療師所見的畫面中含有標示提示，以及對室內亮度以及走廊或通道進行偵測，避免職能治療師在觀看時有視覺死角或是忽略遺漏任何危險因子的判斷(見圖四)。 b. 即時丈量：
我們透過實驗在不同距離、角度下拍攝多張照片，利用照片去推算物品在不同距離時的像素和實際大小的比例關係，讓AI進行景深學習，透過AI推算景深與公式來判斷實物大小。

特色

A. 遠端家訪：
用360度攝影機拍攝個案家中的實際情況，運用5G高速傳輸即時畫面至VR眼鏡，職能治療師在辦公室就可以透過VR眼鏡看到整體環境，藉此評估移除個案家中的危險因子，達到家訪的效果。 B. 人工智慧標記與丈量：
360度攝影機拍攝個案家中環境後，就能透過人工智慧技術偵測物件，透過機器學習迴歸模型測量環境中的物件高度/寬度，讓職能治療師快速判斷該空間所適合之輔具，或是配合輔具改善居家環境中的狀態(移除雜物、增加走道寬度、擴大門的寬度、去除門檻等)，還能減少人工測量的困難與時間花費(見圖五)。 C. 使用方便：
只需要使用一個輕巧的Raspberry Pi或平板電腦以及一個360度攝影機，即可透過5G的高速傳輸即時全景畫面給遠端的職能治療師。相比於其他市面上類似產品，它們可能需要更進階的硬體設備，或是需要複雜的機械操作，本系統更容易讓一般家屬或志工操作。且由於外型小巧，因此可以減少攜帶成本。

這是系統的照片