一文了解智能鋼琴系統:介紹與分析

1 評論 6233 瀏覽 15 收藏 19 分鐘

本文對市面上的鋼琴進行介紹,并對其中一類智能鋼琴的軟件設計的實現方式展開分析。下一文將會對智能鋼琴在教學中的應用以及智能鋼琴未來的發展進行闡述分析。

智能鋼琴,是互聯網時代的一個全新概念,以智能設備連接App,引導學習者進行自我學習,降低了學習入門難度,與傳統鋼琴相比使鋼琴學習更有趣味性。除了學習,學生在課后要進行大量的練習,智能鋼琴完美的解決了練習過程中需要專業指導的剛性需求。

目前市面上與鋼琴教學有關的智能化產品有兩類,第一類軟件類鋼琴智能化產品,結合樂音識別技術實現智能化,代表軟件是AI音樂學院;第二類硬件類鋼琴智能化產品,通過硬件對用戶的彈奏數據進行采集,然后由相匹配的軟件對數據進行分析和呈現,代表軟件是The one智能鋼琴、鋼琴家和Find鋼琴等。

由于樂音識別技術局限性,軟件類智能化產品尚不能應用在專業教學中,在實際鋼琴教學中,普遍使用硬件類智能化產品。

一、硬件類智能鋼琴的分類及介紹

硬件類智能鋼琴分為兩類,一類是與智能設備連接的鋼琴,另一類是將智能設備與鋼琴巧妙融合在一起的智能鋼琴。本文旨在分析第一類智能鋼琴系統,只對第二類智能鋼琴做簡單地介紹。

1. 與智能設備連接的鋼琴

這類智能鋼琴將數碼鋼琴與手機、平板電腦等設備進行連接,之后通過設備中的App進行練琴,形成人機互動,如下圖。

目前在市場上可以見到的有The one智能鋼琴App、海倫鋼琴的鋼琴家App以及羅蘭鋼琴的彩虹鋼琴App等等。用戶可通過操作智能設備進行學習練琴、欣賞音樂、查找樂譜以及獲得智能陪練等用戶體驗。

圖 與智能設備連接的鋼琴(來源:The one官網)

該類智能鋼琴通過觀看App中的教學視頻學習樂理知識和鋼琴技能,教學視頻由各大音樂院校的鋼琴教授或鋼琴講師參與錄制,例如The one的教學視頻是由著名鋼琴家郎朗和中央音樂學院的鋼琴老師錄制的,學生在家里就可以上大師課。

在陪練功能中,最常用的是跟燈模式,音符彈對時指示燈變為藍色或綠色并前進至下一音符,彈錯指示燈變為紅色并且還停留在目前彈奏的音符上。跟燈模式能夠幫助學習者在練習過程中熟悉鍵位,能夠在無人陪同的情況下正確的練習。

圖 跟燈系統(來源:The one官網)

游戲功能能夠提高學習者對鋼琴的學習興趣,例如The one智能鋼琴App中內置的類似節奏大師的音樂游戲,海倫鋼琴的App中內置推塔、找茬兒等游戲,游戲模式以瀑布流的方式叫用戶彈琴,使用戶在娛樂的同時可以規范練琴的指法和熟悉鍵位。

2. 與智能設備相結合的鋼琴

第二類智能鋼琴是將數碼鋼琴與傳統鋼琴合為一體的新型鋼琴,如Find智慧鋼琴和京東方智能鋼琴,在傳統鋼琴的基礎上進行改造,取消了琴鍵上方的琴蓋與譜架,變為高清大屏幕,可同時顯示4頁曲譜,如下圖。

此類鋼琴操作簡單易上手,用戶可通過敲擊功能圖標所對應的琴鍵來完成查找曲譜、觀看演奏或教學視頻等操作。

圖 與智能設備相結合的鋼琴(來源:find鋼琴官網)

功能上,通過App遠程控制掌握學習進度、自動示范演奏功能、大數據分析彈奏情況為學習者提供準確的指導建議、云平臺提供名師教學課程和欣賞視頻等海量資源。

此類鋼琴在教學上具有更大的特點:

  1. 自動演奏,曲譜庫海量的教學資源和名曲資源由專業的鋼琴教授錄制,突破了教師自身彈奏水平的局限性,學生可以欣賞到大師級的演奏水平,提高音樂欣賞水平。
  2. 錄制備課,該鋼琴具備錄制還原彈奏功能,上課前老師可以提前錄制好需要演示的曲目,上課時根據教學過程逐一調取。
  3. 播放課件,可播放教師自制的課件,并由鋼琴輸出到電視屏幕,提供了音樂課信息化教學。
  4. 評價體系,通過云平臺和大數據,對每個學生在音樂課上的行為予以記錄,例如彈奏情況、課時統計、測驗結果等,通過量化指標,為音樂教學提供全方位的評價標準。

二、軟件設計方式

本節介紹與第一類智能鋼琴的軟件設計方式。

1. 樂譜顯示方式

智能鋼琴的軟件系統中首先要解決的就是樂譜的顯示以及同步的播放。要滿足智能鋼琴的這類需求,需要計算機音樂制版技術制作的數字樂譜,然后開發對應的解析和重現技術。數字樂譜的制作平臺很多,例如Sibelius、Finale、Vexflow、Guido Engine等,他們都具有自己獨特的功能。

在上述制作數字樂譜的工具中,最常用和適合的樂譜通用交換格式就是Music XML,Music XML是一個開放的基于XML的音樂文件格式,用于進行音樂交換和音樂分發,Music XML旨在創建一個通用的普通西方音樂記譜格式。

Music XML有兩類元素:一類用來標識音樂應該怎樣播放,這些元素通常可以被用來導出MIDI文件。另一類用來標識音符在五線譜等上的位置,即譜面,這些元素可以導出XML格式的文件,Finale軟件可以渲染為可讀的譜面。

在數字樂譜的顯示方面,可分為單層模式和雙層模式。

1)單層模式

單層模式也就是通過專門的五線譜字體庫或樂譜符號圖片,將樂譜和播放標記等等安排在同一個層面顯示出來,樂譜信息可從Music XML解析得到。

  • 優點:可以在程序上對樂譜的顯示做二次修改,例如音符改變顏色提高趣味性或者樂譜重新排版等等。
  • 缺點:由于需要將樂譜上所有的信息全部解析并重新顯示,程序設計難度較大,對于復雜樂譜的顯示效果很難達到預期。

2)雙層模式

雙層模式包括背景層和前置層兩層來顯示整個樂譜,背景層為原始的整張五線譜文件,圖片或PDF;其他標記等都置于前置層。

  • 優點:能夠完全還原樂譜的所有標記和符號,能有效的減少對計算機性能的消耗。
  • 缺點:無法對樂譜進行二次修改。

2. 樂譜播放

數字樂譜的一大優點就是可以被播放,播放同時還可以同步樂曲的伴奏或其他聲部的音響,也可以調節播放的速度。樂譜和伴奏的播放有兩種方式,分別為MIDI的方式和音頻播放的方式。

1)MIDI播放方式

MIDI文件體積小,可節省大量存儲空間和數據流量,而且MIDI文件方便編輯,所以可在不降低音質的同時改變它的播放速度。

但由于MIDI文件本身是不發聲的,需要準備軟件音源配合,但是平臺、操作系統、程序設計語言不同,實現音源播放的方法和碰到的問題也都不同,所以導致開發難度比較大。

2)音頻播放方式

音頻播放不需要提供音源,而且還可以采用真實樂器錄音的方式,還原感和音質會比MIDI播放的方式好。音頻一般為wav,mp3等格式,所以占用的存儲空間和數據流量會大大提高。音頻進行變速處理后音質會明顯下降,有可能會有延時,不利于顯示和播放的同步。

3. 糾錯和評分機制

智能鋼琴最智能的地方就是在彈奏過程中能夠實現自動糾錯和自動評分的功能。智能鋼琴在評判體系中,主要的批判點包括準確度,力度,節奏和時值。

1)準確度

準確度批判可分為漏彈音、多彈音、錯彈音。流程為:

關于權值的確定目前并沒有相關的論文或理論來支持,所以這也是音樂評判標準量化過程中的一個難點。

2)節奏

在節奏評判時,還存在兩個問題。第一,演奏的時間點不可能完全準確,所以需要結合音符時值和當前速度計算出一定的時間冗余度。第二,節奏并不可以完全用計算機語言量化為數據。

3)時值

每個音符實際演奏時值 = 按鈕抬起時間點 – 按鈕按下時間點。

與節奏評判類似,時值也只能時值只能用一個刻板的量化標準來衡量。

4)力度

在力度的評判上,無法用一個具體的數值來衡量對錯或者好壞,所以只能忽略力度的評判。

綜上,在整個評判中,對于演奏者音高準確度的批判是較為合理的,占了整個評判的最大比重,節奏和時值占很小的比重,而力度基本可以不予考慮。

4. 譜面排版方式

曲譜在軟件的排版方式也有兩種,包括折行模式和非折行模式。

1)折行模式

采用接近傳統紙質五線譜的標準排版方式,當本行樂譜超過頁面寬度后,會另起一行繼續排版,如下圖。

?圖 The one智能鋼琴App截圖

這種模式最大的優點就是最大限度的接近紙質譜排版方式,有利于學習者養成正確的讀譜習慣。但如果使用與智能設備連接的鋼琴,其智能設備終端一般為平板或手機,屏幕的大小會小于紙質樂譜的大小,為了方便預先看到下一行曲譜,一個版面至少要顯示兩行曲譜,這就導致樂譜的大小會相對較小,在彈奏時識譜會比較吃力。

為了方便彈奏者翻譜方便,與智能設備連接的鋼琴一般會采用自動滾動的方式,而與智能設備相結合的鋼琴一般會增加兩個踏板用來翻頁,可以解放雙手,盡情演奏。

2)非折行模式

將一首樂譜排版在一行中,播放樂譜的過程中,通過程序自動將樂譜向左邊移動,從而達到最終顯示目的,如下圖。

由于這種模式在屏幕中只需要安排一行樂譜,它最大的優點是樂譜可以以較大的尺寸排版。而該模式有很多的缺點,首先需要將譜號、拍號、調號一直保持在樂譜左邊開始處,破壞了樂譜的整體性,當樂譜中出現反復記號以及其他跳轉記號等情況時,樂譜需要及時利用程序跳轉,彈奏者很難跟上樂譜的顯示,其次該模式這種顯示方式也不利于學習者養成正確的看譜習慣。

5. 智能鋼琴表現模式

智能鋼琴在目前軟件中常用的解決方案有兩種表現模式,分別為跟譜模式和演奏模式。

1)跟譜模式

以五線譜譜面為基礎,加上標示方法,標識方法通常為一條播放線或其他標識標識需要彈奏的音符,如下圖,當彈奏者在彈奏對應時間點的音符并彈對的情況下,“標識”就會移動到下一組需要彈奏的音符上,在該模式下不受拍器的限制,彈奏錯誤則保持原位置不動。

圖 鋼琴家App跟譜模式截圖

跟譜模式也叫彈對前進模式或者步進模式,在該模式下,基本不用考慮時間和節奏的問題,彈奏者有充足的的時間來識譜,跟譜模式能幫助學習者熟悉譜子,循序漸進。

2)演奏模式

演奏模式也可稱為糾錯模式或者跟曲模式,糾錯和評分機制主要應用在此模式中,該模式也是基于五線譜的譜面,節拍器開始播放后,演奏者需要在對應時間盡量演奏正確的音符,軟件實時將演奏結果顯示在曲譜上,達到糾錯和評分的目的。該模式可以幫助學習者遵照每首曲子的演奏標準,不斷磨煉彈奏水平。

?圖 鋼琴家App跟曲模式截圖

上圖為該模式的評判截圖,圖中符頭為綠色代表演奏者彈奏該音符時準確度、節奏及時值掌控很好;符頭為黃色代表節奏和時值稍微差一點;符頭為紅色代表多音或錯音;符頭沒有變化代表漏音。

6. 鋼琴游戲——瀑布流

瀑布流的屏幕上方是像瀑布一樣下落的方塊或長條,下方是鍵盤,彈奏者通過觸摸與長條相對應的琴鍵或者在與其相連的鋼琴上彈奏來完成彈奏,如下圖。

?圖 The one智能鋼琴App游戲模式

瀑布流模式的游戲,在彈奏過程中可以起到熟悉鍵位的作用,學習者可通過對琴鍵位置的記憶完成一首簡單的鋼琴作品即使鋼琴水平再低的人也可以根據提示彈奏完整的曲子,提高了彈琴的樂趣與成就感。下圖為學生使用五線譜和瀑布流的成績對比折線圖。

圖 ?五線譜和瀑布流的成績對比折線圖

可以看到使用瀑布流彈奏后的成績比使用五線譜彈奏的成績要高,瀑布流功能可以使鋼琴初學者將一首曲子從15.7%的正確率短時間提升到76.6%,表明智能鋼琴的出現能夠讓從來不會彈鋼琴的人學會彈奏鋼琴,實現了鋼琴的普及教育。

三、總結與思考

  1. 在軟件設計實現方法中,如何處理數字樂譜是最重要的一個組成部分,無論單層模式還是雙層模式,都需要投入一定的研發精力和測試工作。
  2. 基于目前已有的技術,智能鋼琴能解決的問題具有一定局限性,我們需要正確認識智能鋼琴帶來的影響,既不能忽視其作用,也不能夸大其作用。目前階段,我們需要尊重鋼琴教學的規律,讓這種方式配合教師共同為提高教學效率服務。
  3. 技術與藝術的碰撞會誕生新的模式和領域,這些新的模式作為傳統鋼琴教學的補充,從業者應該保持對這個領域的重視并投入精力去做創新的研究和實踐,相信隨著科技的發展,或許有一天能夠完全替代鋼琴教師來對學習者進行指導。

 

本文由 @蒲智輝 原創發布于人人都是產品經理,未經作者許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 88888

    回復