モデルと音声の学習・アップロード方法

  1. まずクライアントをアップデートし、更新後に再起動します。img
  2. クライアントを起動したら、メイン画面の「Digital Twin」に移動します。img
  3. 音声学習は V6 を推奨します。要件:ふつうに話し、ノイズキャンセリング機能付きのマイクを着用し、3〜15 秒の音声を録音してクイッククローンを行います(もっとも自然な仕上がりにするには、クリーンな音声を 20 分以上使用します — セクション 17 を参照)。

V6 音声と V9 音声の違い:V9 音声の学習では、学習前に音声の音量を上げる必要があります。V9 音声はパソコンの負荷が軽くなります。img

4. アバターの学習

img

V2/V3 デジタルヒューマン ホスト撮影基準(ワンクリック学習) をご覧ください。

V2 アバターはソース映像に対する要件が非常に厳しく、ふつうに話し、ノイズキャンセリング機能付きのマイクを着用し、静かな環境を保つ必要があります。V3/V5 アバターはソース映像の音声に関する要件はありません。V5 アバターを学習する前には GPU アクセラレーションを有効にする必要があります。

音声クローン用オーディオ収録の基準とリファレンス をご覧ください。

V2/V3 モデルのグリーンバック動画の処理方法 をご覧ください。

デュアル デジタルヒューマン ホスト撮影基準 をご覧ください。

アバターの学習は V5 を推奨します。V5 アバターはパソコンの負荷が大きいため、配信がカクつく場合は代わりに V2/V3 アバターを学習してください。

V5 アバターでは、「Close Mouth」(口を閉じる)と「Reverse Playback」(逆再生)が既定でオンになっています。その他のオプションは無視して構いません。

5. アバター/音声のアップロード

アバターまたは音声の学習が完了すると、インストールディレクトリにアバター/音声の zip パッケージが生成されます。クライアントのメイン画面の「Model」/「Voice」から、学習済みのモデルまたは音声の zip パッケージをアップロードしてください。imgimgimgimgimg