少ないデータで AI の歌声を自然にする

軽量な歌声合成モデルの出力を、本物の歌声に近づく方向へ少しずつ補正。少ない歌唱データと限られた計算資源でも、より自然な歌声を目指す。

楽譜と歌詞を入力すると歌声が出力される「歌声合成」は、深層学習の発展によって飛躍的に進歩しました。しかし、最先端のモデルは大量の歌唱データと大きな計算資源を必要とします。一人の歌い手のデータが数十曲しかない、高性能な計算機を長時間使えない、といった小さな環境では、なかなか手が届きません。

一方で、少ないデータと限られた計算資源でも動く軽量なモデルもあります。その一つが、日本語の歌唱に適したオープンソースの歌声合成システム NNSVS です。ただし軽量なぶん、音の高さや音色の予測に誤差が積み重なりやすく、ビブラートのような細かな揺れも再現しにくいため、どうしても機械的な歌声になりがちです。

私たちは、この軽量なモデルの手軽さを保ったまま、歌声をより自然にする方法を研究しています。

予測結果を出発点にして、少しずつ直す

高品質な生成 AI としてよく使われる拡散モデルは、ランダムなノイズから出発して、数十から数百回の計算を繰り返してデータを作ります。品質は高いものの、時間がかかります。これに対して Rectified Flow という手法は、出発点から目的のデータまでをまっすぐな経路で結ぶように学習することで、5〜10 回程度の少ない計算でも高品質な生成ができます。

私たちはこの考え方を「補正」に応用しました。ランダムなノイズから出発するのではなく、NNSVS の予測結果を出発点にして、本物の歌声に向かう修正の方向を学習します(図1)。NNSVS の予測はすでに本物にある程度近いので、補正ネットワークが学ぶのは残った「ずれ」だけで済みます。そのため補正ネットワークは小さなもので済み、少ない回数の計算で補正できます。

図1:提案手法の流れ(上)と、通常の Rectified Flow との違い(下)

聴いて確かめる

実験には、女性歌唱者 1 名による 50 曲の日本語歌唱を収録したオープンソースの「東北きりたん歌唱データベース」を使いました。41 曲を学習に、6 曲を検証に、3 曲をテストに用いています。

まず、音の特徴量の予測誤差は、補正によって全体で 44% 小さくなりました。とくに音色、声の有無、息や摩擦音に関する成分で一貫して誤差が減っています。

次に、実際に人が聴いてどう感じるかを確かめました。20 名の方に、歌声の自然さを 5 段階で評価してもらった結果が図2 です。

図2:歌声の自然さの主観評価(MOS)

提案手法の評価は 3.11 で、従来の NNSVS の 2.79 から 0.32 向上しました。この差は統計的に有意でした(p < 0.001)。歌声の品質を自動で推定する指標(SingMOS)や、本物の歌声との分布の近さを測る指標(FAD)でも、同じく改善が確認されています。

残っている課題

一方で、音色のずれを測る指標(MCD)と音の高さの誤りを測る指標(FFE)は、わずかに悪化しました。特徴量の段階では誤差が減っているのに、最終的な音声では一部の指標が改善しなかったことになります。これは、特徴量を音声波形に変換する段階(ボコーダー)で、補正の効果が十分に伝わらなかったためと考えています。実際、音声波形にしたあとで測り直した誤差は、特徴量の段階の約 4 倍になっていました。

また、人が歌った音声の評価は 4.64 であり、本物の歌声との間にはまだ大きな差があります。今後は、音声波形に変換する過程も含めて改善することで、さらに自然な歌声を目指します。

  1. 住野 秀斗, 田村 康将, 山本 雅人. “Rectified Flow に基づく残差補正を用いた歌声合成モデルの品質改善” ROBOMECH

他の研究テーマ

実試合から得点を予測する›
世界選手権などの実際の試合の盤面から、そのエンドが何点で終わるかの確率分布を、1投目から16投目まで予測する AI モデルを構築し、その振る舞いを詳しく分析。
AI に特定のデータだけを忘れさせる›
学習済みの AI から、指定されたデータの影響だけを取り除く Machine Unlearning。元の訓練データが残っていなくても、少数のデータを短時間で忘れさせる手法を研究。
カーリングの「勝負どころ」を数値で表す›
その一投が試合の勝敗をどれだけ左右するのか。野球の指標 Leverage Index をカーリングに導入し、ショットの前後での勝率の変化から一投ごとの重要度を定量化する。
試合記録からストーンの位置を読み取る›
世界大会の公式記録に載っている配置図から、AI がストーンの位置を自動で読み取る。20万局面を超えるカーリングの試合データベースを構築。
プロの内野守備はどこが違うのか›
プロとアマチュアの内野守備の映像を AI に見分けさせ、その判断の根拠から、熟練度の差が現れる局面と動作を探る。
ゾウの眠りを AI が見守る›
動物園の夜間カメラ映像からアジアゾウの睡眠を自動で検出し、どのゾウの睡眠かを確認する飼育員の作業を大きく減らす。
ポーカーで駆け引きを学ぶ AI›
相手の手札が見えないポーカーで、ブラフを仕掛けてくる相手の出方を読み、受けるか降りるかを判断する AI。理論上の最適戦略とどこまで近づけるかを厳密に検証。
AI が作った肺音で AI を鍛える›
集めにくい異常な肺音を生成 AI で 10 万枚作り出し、小さくても雑音に強い肺音 AI を学習。大規模モデルの約 0.5% の大きさで同等の精度を達成。
AI がカーリングの戦術を考える›
世界大会の試合データ分析による戦術支援と、デジタルカーリングで戦うAI「じりつくん」の開発。
ボルダリングを AI が評価する›
半教師あり学習とホールド情報を活用し、オクルージョンに強いクライマーの姿勢推定を実現。
AIに悩ませる異常検知›
正常な肺音だけを学習したAIで異常音を検出。ノイズと区別する独自アルゴリズムも開発。
AIで動物の健康管理をする›
円山動物園のアジア象の映像から、位置追跡と行動分類を自動で行い日々の活動を記録。
絶滅危惧種の発情期を捉えろ›
九十九島動植物園のツシマヤマネコを対象に、発情期特有の行動をAIで自動判別。
普段と異なる異常の兆候を知る›
普段の行動データから学習したモデルで、いつもと異なる異常の兆候をいち早く検知する。
AI も錯視を起こす›
色の恒常性を学習したニューラルネットワークで「ドレスの色の錯視」を再現。

研究テーマ一覧へ ›

共同研究・研究室見学のご相談はこちら

問い合わせ ›