京都大學項目特定助理教授中村瑛太領導的研究小組開發了一種根據鋼琴演奏聲音數據自動生成樂譜的技術，並首次成功地生成了接近實用水平的樂譜。世界。
聆聽音樂演奏並將其轉錄成樂譜的能力，也稱為耳抄，是只有經過特殊訓練的人才具備的能力。研究人員正在研究一種“自動轉錄技術”，可以在計算機上複製這種能力，並且任何人都可以使用。尤其是在鋼琴演奏的轉錄中，識別音高和節奏的複雜組合非常困難。
對於鋼琴轉錄，估計音頻信號中每個時刻正在發聲的音調的“多音高檢測”，以及以節拍時間為單位識別每個音符的發聲時間和聲音長度存在一個稱為“節奏量化”的問題，使用機器學習的方法的研究正在取得進展，但這一次，研究小組建立了一個集成這兩種方法的自動鋼琴轉錄系統。
對於多個音高檢測，我們使用深度神經網絡來估計每次輸入語音數據中包含的聲音的音高和強度，以及是否存在擊鍵。節奏量化使用基於人類表演的時間波動模型和表達樂譜中出現的一般節奏模式的統計特徵的模型的方法。此外，為了識別拍號和小節線的位置，我們通過使用捕獲音符之間關係的統計數據來提高轉錄準確性。結果，我們成功地自動生成了樂譜，這些樂譜可以部分用於人類的表演或輔助轉錄。
未來，預計將導致實用化的研究和開發、音樂學研究和音樂教育的應用以及對支持文化的智能的科學理解。他還表示，迫切需要推進版權法問題及其對音樂家的影響的討論。
