データベース中から楽曲を検索する際，題目や歌手名，といったメタ情報ではなく，楽曲を直接歌唱することで簡単に検索できるシステムを開発しています。 ハミング歌唱や歌詞による歌唱に加え，擬音語による歌唱にも対応し，またメロディの誤りや歌詞の誤りといった現象に対しても高精度に検索するための各種技術を開発しています。
はじめに
一般に楽曲を検索する際には，その題名や歌手名，といったいわゆる「メタ情報」を元に検索します。しかし，「あの曲何だったっけ？」といった時にはこうしたメタ情報がわからないため，検索することができません。
こうした場合でも簡単に楽曲を検索できるようにするため，楽曲自体を歌唱し，その音声を元に楽曲を検索するシステムを開発しています。この時，
といった機能を持たせることで，高精度で使いやすいシステムの開発を目指しています。
システムの概要
右図に開発している楽曲検索システムの概要を示します。まず歌声が入力されると，そこからメロディと歌詞をそれぞれ自動で抽出し，それらと歌詞データベース，メロディデータベースを照合することで，最終的な検索結果を得ます。また，歌詞ではなく擬音語で歌唱された場合は，その擬音語を歌詞のかわりとして用い，擬音語データベースと照合することで検索を行います。
こうしたシステムを構築するために，
といった点について，開発していく必要があります。
高精度歌詞認識
歌唱音声から歌詞を認識するには，いわゆる音声認識システムが必要です。音声認識システムは近年高精度になりましたが，歌唱音声特有の現象があり，そのままでは高い認識率を出すことができません。
歌唱音声に特有の現象としては，以下のような物が挙げられます。
これらのうち，発声方法の違いについては，歌唱音声データを用いて音響モデルを再学習することで対処することが一般的です。そこで残りのふたつの特性を考慮した認識方法を開発することで，高精度な歌詞認識を実現しました。
歌唱は音符にあわせて行われます。基本的にひとつの音符にひとつの「ひらがな」が対応しますので，歌唱音声から音符の区切り時刻が推定できれば，その間はどれだけ長くてもひとつの「ひらがな」に制限することができ，結果的に異常に長い母音に対しても正しくひとつの母音を割り当てることができます。
また，休符や息継ぎは音符と音符の間で行われますから，音符の区切り時刻近辺では，単語の途中であっても無音区間を許す，として認識を行う事で，正しく無音区間を無音として認識させることができます。
このように，歌唱音声から音符の区切り時刻を推定し，その情報を利用することで高精度な歌詞認識を実現しました。
提案した方法の有効性を確認するため，歌唱音声データを用いて歌詞の認識実験を行いました。
27名の男女がそれぞれ童謡を歌唱したデータを用いて実験したところ，認識率は右表のようになりました。発声方法の違いだけ対処した従来の方法での認識率が85.7%だったのに比べ，提案した方法は93.2%と，非常に高い性能を示すことがわかりました。特に無音区間に対応した事の効果が大きいことがわかりました。
擬音語データベースの自動構築
ユーザが歌唱音声で楽曲を検索しようとする時，歌詞がわからなかったり曖昧な時は，「たらら」といった擬音語を用いて歌唱します。この時，ユーザはどのような擬音語を選択して用いるのか，そこには，元の楽曲の音色の情報が含まれていると考えられます。
例えば「ポン」と表現された音より，「ピン」と表現された音の方が，音の高さが高いと推測できます。同様に「トン」より「ドン」の方が音が低く，音量も大きそうです。
そこで，楽曲を「それらしい」擬音語で表現しておけば，ユーザが用いた擬音語を歌詞のかわりに検索に用いられるのではないか，と考え，擬音語データベースを事前に作成しておくことにしました。
擬音語データベースを自動で作成するためには，楽曲をそれらしい擬音語系列に自動で変換する必要があります。これは，「音が入力されると，それに対応したテキストが出力される」と考えれば，音声認識と全く同じ枠組みになります。そこで音声認識システムのアルゴリズムを流用し，楽曲を入力して，「それらしい」擬音語を出力するシステムを開発しました。
この時，「ドン」や「じゃん」といった擬音語は，ひとつの音符と対応している事が多い，という事から，高精度歌詞認識の時と同様，楽曲における音符の区切り時刻情報を用い，音符と擬音語の対応を明確にした上で変換をするようにアルゴリズムを構築しました。
実際にクラシック音楽を入力し，擬音語に自動変換してみました。変換結果のサンプルを右に掲載します。
時々変なところもありますが，思ったより「それらしい」擬音語に変換できたのではないかと思います。
認識誤りに頑健な歌詞検索
歌詞認識を高精度化したとしても，100%の認識性能を実現することはできません。また，歌唱者自身が歌詞を誤って記憶している，といった事も十分考えられます。そのため，こうした誤りを含んでいても高精度に検索できる検索方法の開発が必要です。
今回は特に歌詞認識システムが誤認識した事を想定し，ふたつの対処法を検討しました。
実際に歌詞認識結果について検索を行ってみたところ，何も対処しない方法（”General model”）と比較して，両方とも検索率向上の効果が見られました。特に音素系列で検索する方法（”Phoneme-based”）は，誤認識傾向を単語間距離と定義した方法（”Considering recognition errors”）よりもよい性能が得られることがわかりました。
まとめ
本楽曲検索システムの開発はまだ途中であり，それぞれのパーツをまだまだ高精度化していく必要がありますが，ひととおりのパーツが揃ってきましたので，現在は，歌詞による検索結果とメロディによる検索結果を統合する方法を検討しています。それぞれ誤りが含まれていますので，そうした事も考慮した統合方法を開発中です。
今後も改良を積み重ね，多様な歌唱に対応した高精度楽曲検索システムを開発していきたいと思っております。
論文
「音符区切り情報を用いた高精度歌唱音声認識」(2020)『情報処理学会論文誌』61(4)p.798-806.
「Lyrics recognition from singing voice focused on correspondence between voice and notes」(2019)『Proc. INTERSPEECH 2019』p.3238-3241.
「Development of Singing-by-Onomatopoeia corpus for Query-by-Singing Music Information Retrieval system」(2017)『International Journal of Advanced Intelligence』9(1)p.63-75.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2022 智と技術の見本市.
