人工智能大數據分析應用在各個領域，是藥物發現研究中預測分子模型有效性的重要驗證手段。然而，以檢測特定分子的情況為例，經常報告說，實驗中的檢測成功率遠低於計算機模型的先前預測。根本原因歸咎於計算機模型，這是一個高估 AI 性能的統計指標。直到現在，TPR（True Positive Rate）和ACC（Accuracy）等幾類指標都被用作AI性能評價指標，但這些指標確實對AI性能進行了正確的評價，被認為是做出來的。

　在這項研究中，我們開發了一種使用統計指標準確評估人工智能性能的方法。該方法通過使用分佈函數（iCDF）的統計分析來驗證TPR和ACC等各指標的特徵和有效性。驗證結果表明，無論採用何種AI技術，在TPR、ACC等都大概率能獲得高評價值，極有可能不會導致效果實際應用。此外，還發現在開發 AI 和進行評估實驗之前，應通過新方法徹底檢查評估指標本身的特性。

這次開發的方法可以應用於任何領域的人工智能。預計它將有助於開發“穩健”的人工智能，該人工智能可以準確地對經驗實驗中的任何數據集進行分類。

論文信息：[分子信息學] 分類器及其量化指標