通常音声から感情を識別するには，声の高さや大きさ，声色といった情報を利用しますが，これらは仮に同じ感情で話していても話す内容（言葉）によって大きく変化してしまいます。 そこで「同じ発話内容を無感情で話している音声」を音声合成を用いて準備し，それとの違いを見ることで高精度に感情を識別する方法を開発しています。近年利用が一般的となった大規模事前学習モデルの効果的な利用方法についても検討を行い，簡単な感情認識実験において97%の正解率を達成しました。
はじめに
音声は相手に「言葉」を伝えるためのものですが，それ以外にも「誰が話したか」とか「どのような気持ちで話したか」といった情報も含みます。人間同士の対話では，こうした情報も含めて相手の意図を読みとり，適切に対話をすすめてききます。
そのため，人間が機械と対話をする場面でも，こうした「言葉」以外の情報を適切に理解することが重要です。特に「感情」を認識することで，より自然で豊かな対話を実現することができます。こうした事から，音声に含まれる感情を自動で認識する方法が古くから開発されてきました。
従来から行われている感情識別法
音声に含まれる感情は，声の大きさや高さ，といった「韻律情報」に多く含まれているといわれます。また「声色」自体にも現れます。そこで，音声からこうした情報を特徴量として抽出し，感情識別に用いる方法が古くから提案されてきました。
また近年では，いわゆる「AI技術」が発達してきており，wav2vec2.0 や HuBERT，WavLMといった大量の音声データを用いて自己教師有学習を行った「事前学習モデル」を用いた特徴量抽出法が一般的となってきました。
しかし，こうして得られた特徴量は，いずれも音声から直接抽出されるため，その音声が話している「言葉」に依存します。つまり，同じ感情で話していていも，異なる「言葉」を話せば，当然異なる特徴量となるのです。こうした異なる特徴量を同じ感情として識別しなければならないので，どうしても識別誤りが増えてしまう，という問題点がありました。
また，事前学習モデルの使い方についても検討が必要です。事前学習モデルは音声をベクトル系列に変換するものですが，どこの層の出力を利用するのか，また学習音声の言語依存性はどうか等，まだまだ検討すべき項目は多く残されています。
合成音声による正規化法
音声から感情を識別する際，「同じ内容を，無感情で話している音声」があれば，それとの差分を見ることで感情による違いだけを抽出することができます。もちろんそうした音声を同時に入手することは一般的にはできないので，それを音声合成を用いて作成します。
入力された感情を含んだ音声を一度音声認識し，発話内容のテキストを推定します。それを用いて音声合成を行い，同じ内容を話している音声を生成します。この時，感情を含まないようにして音声合成を行うことで，「無感情」の音声を生成できます。
あとは，両者を事前学習モデル（ここでは，wav2vec2.0 を利用）を用いて特徴量にそれぞれ変換した上で差分をとり，特徴量を正規化します。これを感情識別に用いれば，発話内容に影響されず，高精度に感情識別を行うことができます。
事前学習モデルの利用法
事前学習モデルは大量の音声データを用い，自己教師有学習で学習されます。その結果，音声データをベクトル系列へと変換します。この時，事前学習モデルの最終層の出力のみを利用する方法と，途中の層の出力をすべて利用する方法が提案されています。また，事前学習モデルは多数の言語を含む大量のデータで学習されていますが，その多くは英語音声になります。このモデルがどの程度言語に依存しているのか，日本語音声を利用して再学習すると性能はどう変化するのか，といったことも検討する必要がありますが，詳細な検討は行われていません。
感情識別実験
参照音声による正規化法の有効性の検討，また事前学習モデルの利用法の検討を行うため，感情認識実験を行いました。実験には，「日本語感情音声コーパス STUDIES」に含まれる声優1名による音声を用いました。識別すべき感情は4つ（平静，怒り，悲しみ，喜び）であり，それぞれ100発話ずつ，合計400発話を用いています。
各感情1発話ずつ除いた396発話でモデルを学習し，除いた4発話を識別します。この時，モデル学習には乱数を使用することから，実験を行うたびに結果がかわります。そこで，同じデータに対して30回実験を行い，それらの平均を計算しました。こうした実験を，除く発話を変えながら100回行い，最終的な識別率を計算しました。
まずは，事前学習モデルの利用法について検討しました。利用する層を最終層のみとした場合と，全層からの出力を1次元CNNに入力し，重み付き和を計算した場合，また利用するモデルをオリジナルの多言語で学習したモデルと日本語でfine-tuningしたモデルで実験を行いました。なおこの実験では正規化はしておらず，またモデルの学習回数も100回と少なめになっています。
この結果を見ると，日本語でfine-tuningする効果が非常に高いことがわかります。多数の言語で学習したといってもその多くは英語であり，日本語の発音とは大きく異なることから，再学習の効果が大きくでたと思われます。また全層を利用することで様々なレベルの情報を感情識別に活用できるようです。
| 利用モデル | 利用する層 | 識別率 |
| 多言語 | 全層 | 36.5% |
| 最終層 | 29.3% | |
| 日本語 | 全層 | 93.8% |
| 最終層 | 68.1% |
次に正規化の効果を検討しました。正規化の方法としては，特徴量の差分に加え，ふたつの特徴量をそのままCNNに入力し，その内部で正規化させる方法も実験しました。この時CNNのチャネル数は1〜256まで実験を行いました。表2には，最も性能のよかった128チャネルの結果を掲載しています。また，より正確な性能評価を行うため，学習回数を1,000回に増やして実験を行いました。
表2を見ると，単純に差分をとっただけと比較してCNNでの正規化はよい性能を示すことがわかりました。しかし，それでも正規化しない単純な方法とほぼ同じ性能であり，正規化の有効性を示すことはできませんでした。
| 正規化法 | 識別率 |
| なし | 97.0% |
| 差分 | 96.1% |
| CNN | 96.9% |
最後に
本研究では，音声からの感情識別において，事前学習モデルの効果的な利用法，また合成音声との差分に注目した感情識別法について検討を行いました。その結果，事前学習モデルは利用する言語でfine-tuningを行い，更に全層の出力を用いることが重要であることがわかりました。一報合成音声による正規化については，その効果を示すことはできませんでした。
今後は更に検討をすすめ，より効果的な正規化法の開発を行っていく予定です。
論文
「音声合成器の中間表現を利用した発話内容に依存しない感情識別用特徴量の抽出」(2022)『日本音響学会2022年秋季研究発表会講演論文集』2-Q-32p.1251-1254.
「Improvement of multilingual emotion recognition method based on normalized acoustic features using CRNN」(2022)『Proc. 26th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems』p.684-691.
「提示メディアによる感情伝達傾向の差異に関する分析」(2015)『電子情報通信学会論文誌』J98-A-Dp.103–112.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2025 智と技術の見本市.
