フラグメント音声 SOP
1. ホスト音声のフラグメント化
音声の分割
- 自分と同じ商品カテゴリーの配信ルームを見つけます。録音した音声はノイズがなくクリーンで、発音が明瞭でなければなりません。声には感情がこもっている必要があり、話すペースは速すぎないようにします。
- 下記の無料ソフトで配信ルームを録画し、動画を CapCut（Jianying）に読み込んで音声を分離し、WAV 音声だけを書き出します。
- Syntopia デジタルヒューマン クライアントの左ナビゲーションバーで [ツール] を見つけてクリックし、[フラグメント音声の分割] 機能を見つけて音声を分割します。
無料の録画ソフト：📦 [Zip Archive] StreamCap_1.0.1_Win_x64(2).zip
（ファイルサイズ：93.6MB。本ドキュメントとともに書き出されています。同じディレクトリ内のファイルを参照してください。）
- [フラグメント音声の分割] は声が途切れる箇所で音声をカットするため、分割する音声は各文が終わったあとに明確なポーズがある必要があります。
- ブレスポイントでの分割はホストの話し方の滑らかさに対する要件が高く、そうでないと分割後のセグメントが明らかにぎこちなく感じられます。
- 分割が完了したら、各音声ファイルの名前（名前はそのセグメントの文字起こしテキストです）を確認することで、うまく分割されなかった音声セグメントを特定し、それに応じて修正できます。
この画像は、AIデジタルヒューマン ライブ配信プラットフォームのツールバーにある「フラグメント音声の分割」機能の操作画面を示しています。画面上部には「ツール」の見出しがあり、その下に「スクリプト認識」「フラグメント音声の分割」「音声変換」の 3 つの機能オプションがあります。「フラグメント音声の分割」の下には、「この値を下回る音量を無音の分割候補点として扱う」「最短時間（秒）」「最長時間（秒）」の 3 つのパラメーター欄があり、それぞれ番号 1、2、3 に対応しています。その下には「音声ファイルを選択」ボタンがあり、番号 4 に対応しています。この画像は、周囲の本文で説明されているホスト音声のフラグメント化の工程に関連し、操作画面とパラメーター設定を視覚的に示しています。
この画像はパソコンのフォルダー画面を示しており、フォルダー名は「Yali_フラグメント音声」です。フォルダーには複数の音声ファイルが含まれ、いずれも「0_But this line's...」で始まる名前で、.wav 拡張子が付いています。たとえば「0_But this line's bitter tears, does any sister feel the same as me, in order to...」などです。右側には「再生」ボタンがあります。この画像はドキュメントの「ホスト音声のフラグメント化・分割」セクションに関連し、音声ファイル名を確認することでうまく分割されなかった音声を特定して対処できることを示しています。
音声変換（Voice Conversion）
録音した配信ルームの音声が、見せたい声質と異なる場合は、音声変換（Voice Conversion）を使って声質を変えることができます。
たとえば、デジタルヒューマンの声を女性にしたいのに録音した配信音声が男性の声である場合は、音声変換を使って男性の声を女性の声に変換できます。
両方とも女性の声、または両方とも男性の声であっても、声質を統一するために音声変換は依然として必要です。そうしないと、配信ルームで生成される声が耳障りに聞こえます。
音声変換を使う前に、まず音声をフラグメント化して分割し、そのうえで変換する必要があります。
この画像はデジタルヒューマン ライブ配信プラットフォームの音声処理画面を示しており、長い音声を無音のポーズに基づいてフラグメントに分割するために使用します。画面上部には「音声ファイルを選択」ボタンがあり、その下に音量しきい値、最短時間、最長時間の設定があります。これらはそれぞれ、無音の分割候補点（この値を下回る音量）、最短時間（秒）、最長時間（秒）に対応します。画像下部の赤い矢印は「音声ファイルを選択」ボタンを指しており、「まず録音した配信音声をフラグメント化する」という注記が添えられ、周囲の本文で説明されているホスト音声のフラグメント化の工程を反映しています。
この画像は音声変換の操作手順を示しています。上部のテキストは、変換後のターゲットの声質を選択することを説明しています — たとえば「女性」を選ぶと男性の声を女性に変換します。その下には「参照音声を選択」と「フラグメントフォルダーを選択」の 2 つの青いボタンがあり、それぞれ参照音声とフラグメント音声の選択に対応し、各ボタンを指す矢印が付いています。この画像は、音声変換の背景と手順を説明する周囲の本文と密接に関連し、工程の重要な選択手順を視覚的に示しています。
アプローチ 1：デジタルヒューマン ＋ AI 音声 ＋ フラグメント音声
- Syntopia デジタルヒューマンの管理画面で、デジタルヒューマンのモデル・クローンした音声・スクリプトを選択し、「配信開始」をクリックします。コントロールパネルの [AI 保護] で、フラグメント音声フォルダーを選択し、各フラグメント音声クリップの間隔時間を調整します — 40〜120 秒のランダムな間隔を推奨します。
- フラグメントフォルダー内の音声ファイルは、デジタルヒューマンの声質に合わせて音声変換したファイルです。
- AI 音声 ＋ フラグメント音声の挿入アプローチでは、最低 1,000 個のフラグメント音声セグメントを推奨します。
- あるフラグメント音声クリップを一度使用して違反をトリガーしなかった場合、そのクリップは 7 日後に再度使用できます。
この画像は配信コントロールパネルの AI 保護設定画面を示しています。画面には「音声フォルダーを選択」「音声の音量」「ランダム間隔」「音声モード」などの設定があり、赤い矢印は「ホストフラグメント」に設定された「音声モード」を指しています。この画像はドキュメントの「デジタルヒューマン ＋ 純粋なフラグメント音声」アプローチに関連し、コントロールパネルの AI 保護設定で分割したフラグメント音声フォルダーを選択して間隔時間を調整するアプローチ 2 の説明に対応し、操作画面を視覚的に示しています。
アプローチ 2：デジタルヒューマン ＋ 純粋なフラグメント音声
スクリプトを読み込む必要はまったくなく、すべての商品情報は代わりにカスタムナレッジベースに入れます。
コントロールパネルの AI 保護に進み、分割したフラグメント音声フォルダーを選択し、各フラグメント音声クリップの間隔時間を調整するだけです。
ランダム間隔が、フラグメント音声クリップの中で最も短い長さを絶対に超えないようにしてください — たとえば、最も短いフラグメント音声クリップが 3 秒なら、ランダム間隔の最大値は 3 秒を超えてはいけません。さもないと、デジタルヒューマンの口が動いても音が出ないことがあります。
純粋なフラグメント音声は返答が遅くなるため、それが気になる場合は使用しないでください。
- デジタルヒューマン ＋ 純粋なフラグメント音声のアプローチでは、最低 6,000 個のフラグメント音声セグメントを推奨します。
- あるフラグメント音声クリップを一度使用して違反をトリガーしなかった場合、そのクリップは 7 日後に再度使用できます。
この画像は「保護設定」画面内の「フラグメント音声」関連の設定を示しています。画面には「音声の音量」スライダー、「ランダム間隔」オプション、「音声モード」の選択ボックスがあり、赤い矢印は「短い間隔」を示す「ランダム間隔」を指しています。この画像は周囲の本文と密接に関連し、デジタルヒューマン ＋ AI 音声 ＋ フラグメント音声のアプローチを説明する際に、ランダム間隔がフラグメント音声の最短時間を絶対に超えてはならないと述べている点に対応します。この画像はランダム間隔設定の位置を視覚的に示し、設定要件の理解を助けます。
2. サブホスト音声のフラグメント化
- 配信ルームからサブホストの音声を見つけ、それに [フラグメント音声の分割] を実行します。サブホストの声には音声変換は不要で、フラグメントクリップをそのまま使用できます。
- サブホストの声が再生されるとき、ホストの音声はダッキングされます — つまり、デジタルホストの声の音量が下げられてサブホストの声が引き立ち、配信ルームがより本物らしく感じられます。
3. 環境音のフラグメント化
- 配信ルームでよくある環境音を録音します — たとえば工場の配信では機械の騒々しい音があります — 録音時間は 1〜2 時間です。
- その後、ソフトで音声を分割・フラグメント化し、コントロールパネルの AI 保護でフラグメント化した環境音フォルダーを選択して「環境音」を選び、各環境音クリップの適切な音量と間隔を調整します。
この画像はコントロールパネルの AI 保護設定画面を示しています。「フラグメント音声」オプションが選択され、音声フォルダーは「C:\\Audio Track Split Yali」と表示され、この設定は次にランダムに選ばれるフラグメント音声クリップから有効になるという注記があります。調整可能な設定は「クリップごとの音量」「ランダム間隔」「音声モード」の 3 つで、「クリップごとの音量」スライダーは中央、「ランダム間隔」スライダーは左、「音声モード」は「環境音」に設定されています。画面右上には「キャンセル」と「確定」のボタンがあります。この画像は、ソフトを使って音声をフラグメント化し AI 保護で設定する方法を説明する周囲の本文に関連し、セットアップ手順を視覚的に示しています。