由國家信息研究所項目研究員 Yusuke Matsui 領導的一個研究小組與 Dwango Co., Ltd. 和東京大學合作,展示了能夠對約 10 億個大數據進行“聚類”的實用性。用少量內存高速傳輸數據。開發了一種高性能方法。因此,即使在具有一般能力的個人計算機上也可以對大數據進行集群處理。

 人工智能研究涉及處理龐大而復雜的數據(大數據)。聚類是數據處理中的一項基本任務,其中將大量數據中的相似項分組在一起。在一台通用計算機上執行集群很困難,需要使用許多服務器進行分佈式並行處理。

 這次,採用了新技術(笛卡爾積量化)來壓縮數據,並且可以用比傳統方法更少的內存(減少100到4000倍的內存)來表達它。接下來,對該壓縮數據重複對相似數據進行分組併計算組平均值的過程(速度提高一倍)成為可能。

 因此,將 1 億張圖像分類為 10 種類型的組的過程可以在單台計算機(1 GB 內存容量,32 個 CPU 核心)上執行大約一小時(傳統方法需要大約 4 台計算機)。 將 300 億張圖像數據分類為 10 萬種類型,大約需要 10 個小時。

 這使得在普通個人計算機上輕鬆處理來自社交媒體等的大量圖像數據成為可能。由於一般工程師和研究人員可以輕鬆處理大數據,因此有望應用於廣泛的領域,例如應用深度學習的人工智能(AI)的開發。

東京大學

明治10年成立。日本歷史最悠久、日本知識最前沿的大學

東京大學成立於 1877 年(明治 10 年),由東京開成學校和東京醫科大學合併而成。自成立以來,它作為日本領先的大學和東西方文化融合的學術中心,以世界獨特的方式發展教育和研究。因此,在廣泛的領域中產生了許多人力資源,並取得了許多研究成果[…]

大學學報在線編輯部

這是大學期刊的在線編輯部。
文章由對大學和教育具有高水平知識和興趣的編輯人員撰寫。