慶應義塾大學、雅虎日本公司和東京工業大學的研究小組正在使用一種新方法，通過使用智能手機前置攝像頭拍攝的面部照片，通過機器學習來估計智能手機是如何被抓握的。
許多智能手機應用程序都是為屏幕顯示而設計的，假設它們將使用右手拇指進行操作。隨著屏幕尺寸的增加，可能難以以其他握持姿勢進行操作。通過估計智能手機的握持姿勢（握住哪隻手，操作哪根手指），可以根據握持姿勢顯示屏幕，但是否需要外部傳感器和估計模型取決於智能手機型號。有一個問題，如做。
由於智能手機的屏幕會發光，如果將智能手機放在臉前，會出現屏幕形狀的角膜反射圖像，但手指放在屏幕上的部分會是陰影，並且只有那部分會是角膜反射圖像。缺失。由於角膜反射圖像的切割方式因握持姿勢而異，因此使用內置前置攝像頭拍攝面部照片，從面部照片中切出在瞳孔中反射的角膜反射圖像，並將角膜反射圖像分類為機器學習，課題組認為是可以估計的。由於該方法僅使用內置的前置攝像頭，因此可以單獨識別智能手機的握持姿勢，並且估計模型不依賴於智能手機型號。
我們驗證了是否可以識別 13 位實驗合作者的抓握姿勢。作為使用深度學習創建估計模型的結果，抓取姿勢的識別準確率為 85%。未來，預計該方法的加入將有助於提高智能手機應用程序的可操作性，並預防因長時間以相同的握持姿勢使用智能手機而引起的疾病。
