• 107
  • 0
コメント

朝のヒホドル活動 ~声質変換編2~

(1時間)

ヒホ
LV65
自分の声をハイクオリティな結月ゆかりの声に変換するDeepLearning
✔高音質化が話速についてロバスト性があるか確認
・学習の入力データを時間方向にブラーをかける
・facerigと連携
・変換スイッチ
・音響特徴量を介さずに変換
・記事書く
✔紹介動画作る
・havestをリアルタイムで使用可能にする
✔位相推定の手法を考える
✔変換中に落ちる原因を探す
✔outputストリームのタスクを減らす
✔リアルタイムWORLD変換
✔havestのセグフォを防ぐ
✔イベント駆動でループ処理
✔ぷつぷつの原因探る → waveをファイル出力して録音と比較
・ノイズを下げる
✔口調を変えればいけるか試す
✔声が風邪気味 → 基本周波数の推定に失敗しているか調査
・録音の音質を改善する
✔録音の音質が悪い気がする
✔変換後結果バッファー作り
✔リアルタイム音声変換
✔とりあえず声をechoする
✔無限ループするスレッドを作る
✔ストリームを管理するラッパー作る
✔GPUメモリ使用率を見る
✔データセットを綺麗にする
✔逐次的に声質変換する
✔GPUでforward可能にする
✔音声変換機構をつなげる
✔学習済みモデルで音声生成する
✔高音質学習書く
✔高音質化用のモデル定義
✔高音質化用のデータ処理
✔低音質&高音質スペクトログラム切り出し
✔結月ゆかりデータを大量に集める
✔音質を落としてみる  → MFCC=9
親作品・子作品を見る
Twitter: @hiho_karuta