Local Media Transcription

Local Media Transcription

ローカルにある音声/動画ファイルを文字起こしし、必要に応じて議事録・アクションアイテム・PPT要点まで整理する skill。

When to Use

• 文字起こし, transcription, transcribe mp4, meeting transcript
• mp4から文字起こし, 録画から議事録, whisperで書き起こし
• Teams録画、Screenpresso録画、会議音声から要点を抽出したいとき
• ローカル環境で完結させたいとき

Supported Inputs

• MP4 / M4A / MP3 / WAV / WEBM
• 日本語会議、社内ミーティング、顧客打合せ録画

Outputs

• 生書き起こし .txt
• 話者分離付き書き起こし .txt / .md
• 議事録 .md
• 顧客向け清書版議事録 .md
• アクションアイテム .md
• PowerPoint用要点 .md

Workflow

1. 入力確認

• 対象ファイルが存在するか確認する
• 長さ、サイズ、更新日時を確認する

2. ツール確認

• ffmpeg, ffprobe, whisper CLI が使えるか確認する
• 使えない場合は、ローカル書き起こしは中断して代替案を提示する

3. メディア確認

• ffprobe で duration を取得する
• 長時間録画なら処理時間を見積もる

4. 文字起こし実行

• 日本語会議なら以下を基本形とする

$env:PYTHONIOENCODING='utf-8'
whisper "<media-file>" --language Japanese --task transcribe --model turbo --fp16 False --verbose False --output_format txt --output_dir "<output-dir>"

5. 品質確認

• 出力 .txt の先頭数十行を読んで破綻していないか確認する
• 最低限、発話として読めるか、ファイルが空でないかを確認する

6. 必要に応じて話者分離

• 話者分離が必要なら、利用可能な diarization 手段を確認する
• 使える場合は話者ラベル付きの書き起こしを生成する
• 使えない場合は、話者分離なしで進めるか、制約を明示して中断する

7. 必要に応じて整形

• 議事録
• 顧客向け清書版議事録
• アクションアイテム
• PPT要点
• 断定しすぎず、音声認識揺れを補正して整理する

Decision Points

A. ツールがない場合

• ffmpeg / whisper がない場合は中断
• 代替として Teams文字起こしテキスト貼付 or 事前インストールを案内

B. 文字起こしだけでよい場合

• .txt を出力して終了

C. 会議整理まで必要な場合

• 以下の成果物を追加生成する
• 議事録
• 顧客向け清書版議事録
• アクションアイテム
• PPT要点

D. 話者分離が必要な場合

• diarization ツールや既存環境を確認する
• 使える場合は 話者A / 話者B などのラベルで一度出力する
• 名前が確定していない段階では推定名を断定しない
• 使えない場合は「話者分離なしで進める / 後で人手補正する」を明示する

E. 顧客向け資料に載せる場合

• 固有名詞や音声認識誤りを目視補正する
• 曖昧な箇所は断定せず「〜との認識」「〜との説明」などにする
• 内部会話、未確定情報、雑談は削る
• 顧客向けには「決定事項 / 検討事項 / 次回アクション」が一目で分かる形に整える

Completion Criteria

• 入力メディアの存在確認が完了している
• 書き起こし .txt が生成されている
• 冒頭確認で致命的な破綻がない
• 話者分離が必要な依頼では、可否判定か分離済み出力のどちらかが明示されている
• 依頼があれば議事録 / 顧客向け清書版 / アクション / PPT要点まで生成されている

Quality Rules

• 元音声にない断定を追加しない
• 数値・固有名詞は誤認識の可能性を意識する
• 顧客向け要約では、施策ありきで決めつけない
• 顧客向け議事録では、内部相談や未承認事項をそのまま残さない
• 話者分離では、人名確定できないラベルを勝手に実名化しない
• 長時間音声では、まず文字起こし成功を優先し、その後に整理へ進む

References

• transcription-workflow.md

Transcription Workflow Reference

Preflight Checklist

1. 対象ファイルが存在する 2. ffmpeg, ffprobe, whisper がローカルで使える 3. 出力先フォルダを事前に作成する 4. 長時間録画では処理時間を見積もる

Example Commands

1. ファイル確認

$p='C:\path\to\meeting.mp4'
Write-Output "exists=$([bool](Test-Path $p))"
Get-Item $p | Select-Object FullName, Length, LastWriteTime

2. duration確認

ffprobe -v error -show_entries format=duration -of default=nw=1:nk=1 "C:\path\to\meeting.mp4"

3. 文字起こし

$env:PYTHONIOENCODING='utf-8'
whisper "C:\path\to\meeting.mp4" --language Japanese --task transcribe --model turbo --fp16 False --verbose False --output_format txt --output_dir "C:\path\to\out"

4. 冒頭確認

Get-Content "C:\path\to\out\meeting.txt" -TotalCount 80

Recommended Post-processing

話者分離が必要なとき

• まずローカル環境に diarization 手段があるか確認する
• 使える場合は 話者A, 話者B のような中立ラベルで一度出す
• 参加者名が確定してから実名へ置換する
• 名前が曖昧なままなら実名化しない

推奨ツール

• WhisperX
• Whisper + forced alignment + diarization を一体で扱いやすい
• 会議録画の「だいたいの話者分け」を最短で作りたいときに向く
• pyannote.audio
• 話者分離専用として柔軟
• 既に別の文字起こし結果があり、後段で diarization だけ追加したいときに向く

インストール手順

WhisperX

# 新しい仮想環境を推奨
python -m venv .venv-whisperx
.\.venv-whisperx\Scripts\Activate.ps1

pip install --upgrade pip
pip install whisperx

注意: GPU / CUDA / torch の組み合わせで失敗しやすい。既存環境を壊したくない場合は別 venv を使う。

pyannote.audio

python -m venv .venv-pyannote
.\.venv-pyannote\Scripts\Activate.ps1

pip install --upgrade pip
pip install pyannote.audio

注意: pyannote.audio は Hugging Face モデル利用前提になることがあり、追加認証やモデル同意が必要なケースがある。

具体コマンド例

WhisperX 例

# 事前に whisperx が入っている前提
whisperx "C:\path\to\meeting.mp4" --language ja --model large-v3 --diarize --output_dir "C:\path\to\out"

pyannote.audio 例

# まず音声抽出
ffmpeg -i "C:\path\to\meeting.mp4" -vn -ac 1 -ar 16000 "C:\path\to\meeting.wav"

# その後 diarization スクリプトや notebook で話者分離

実務上の使い分け

• まず速く全体像を出したい: WhisperX
• 既存の文字起こしに話者情報を後付けしたい: pyannote.audio
• 環境準備が重い場合は、話者分離なしで先に議事録化し、必要箇所だけ人手補正する

議事録に整理するときの観点

• 目的
• 議題
• 決定事項
• 検討事項
• 次回までの論点

顧客向け議事録に清書するときの観点

• 内部だけの相談や調整コメントは落とす
• 誤認識が疑わしい固有名詞は確認できる表現に寄せる
• 「誰が何をするか」を読み手が追えるように整理する
• 断定できない箇所は「〜との認識」「〜との説明」に留める
• 施策の押し付けではなく、提案ベースの表現にする

アクション抽出の観点

• 誰が
• 何を
• いつまでに
• Microsoft 側に相談したい事項
• 顧客側で整理したい事項

PPT要点化の観点

• 3〜5点に絞る
• 施策名より、論点と示唆を前面に出す
• 顧客に見せる場合は断定より提案ベースにする

Failure Patterns

whisper の help 表示で文字化け / 例外

• Windows の CP932 で UnicodeEncodeError が起きることがある
• 実行時は PYTHONIOENCODING=utf-8 を付ける

WhisperX / pyannote の依存衝突

• 既存の whisper 環境に直接入れると torch 系の依存がぶつかることがある
• 可能なら diarization 専用の別 venv を切る

長時間録画で時間がかかる

• duration を先に見積もる
• まず .txt 完了を優先し、要約はその後に行う

音声認識ゆれ

• 固有名詞、製品名、数字、参加者名は人手で補正する
• 誤りが疑わしい箇所は断定しない

話者誤判定

• 話者分離結果はそのまま信用せず、会議文脈で確認する
• 話者交代が短い会話では、ラベルが揺れる前提でレビューする
• 顧客向け議事録では、話者名確定前のラベルをそのまま出さない