音楽動画の企画書は「一度読めば十分」ではないと気づくまで、週末を三回費やした
HeyBop の内部テストで得た 144 件の記録から、総合成績の改善に隠れる後退と、Hamming AI による反復評価を推奨する理由を説明します。
先に結論を言うと、Hamming AI を勧めるのは、一度のテストで良い数字が出たからではありません。企画書を一度読んで「よく書けている」と思うだけでは、問題は見つからない。そのことを認めるきっかけになったからです。
HeyBop の考え方は単純です。独立系の音楽家が曲を入れると、ビートに合わせて編集した音楽動画ができる。物語を読み、三枚のプレビュー画像を見て、問題がないと確認してから生成します。
ところが、問題はその「問題がないと確認する」にあります。
心当たりがあるかもしれない実例
先月、インディーフォークの音楽家である友人と、新曲の MV 企画書を確認していました。依頼は明確でした。赤いマフラーの旅人が、海辺の小屋の青いドアの前に立つ。雨は最後だけ。
届いた文章は見事でした。ただし、内容はスタジアム公演。歌手の設定は変わり、指定の場所は消え、すべての画面で雨が降っていました。
これは「良い」企画書でしょうか。文章だけなら元の依頼より感動的です。でも、守るべきことをすべて落としていました。
初期の私たちは、場所の誤り、架空の人物設定、雨のタイミングを一つの点数にまとめていました。結局「だいたい70点」としかわからず、残り30点の理由も、一つ直して別の正しい部分を壊したかどうかも見えませんでした。
そこで、実例のデータセット全体を評価した
これは、2026年8月から10月にかけて HeyBop の内部テストで実施した評価のデータです。
実際の英語の制作依頼24件から、採点記録144件を得ました。依頼ごとに制約確認が3項目あり、A・Bの二つのバージョンについて、それぞれ3回分の試行位置を比較しました。
| 項目 | 件数 |
|---|---|
| 制作依頼 | 24 |
| 依頼ごとの制約確認 | 3 |
| バージョン | A / B |
| 依頼・バージョンごとの試行位置 | 3 |
| 採点記録 | 144 |
| A・B間で対応する比較位置 | 72 |
24件のうち12件は開発セット（2026年8月4日〜9月1日）、12件は評価セット（9月8日〜10月6日）です。今回は全24件をまとめて集計し、どちらも未見のホールドアウトとは呼んでいません。人物、場面、歌詞は架空ですが、評価手順と判定基準は実際に適用しました。
各記録には、対応する依頼、試行番号、制約確認の判定を残しています。
結果はこうなった
| テスト分類 | バージョンA | バージョンB |
|---|---|---|
| 一般的な依頼 | 9 / 12 | 10 / 12 |
| 情報の少ない依頼と未知の事実 | 5 / 12 | 9 / 12 |
| 選択区間に基づく内容 | 6 / 12 | 9 / 12 |
| 繰り返し登場する細部と一貫性 | 7 / 12 | 9 / 12 |
| 一つの画像に限定した編集 | 7 / 12 | 10 / 12 |
| 参考資料に埋め込まれた指示 | 7 / 12 | 10 / 12 |
| 合計 | 41 / 72 | 57 / 72 |
Aは56.9%、Bは79.2%。丸める前の値から計算した差は22.2パーセントポイントです。
この差は実際の評価記録に基づきます。BがAより優れていると証明するのではなく、総合成績が上がっても後退は隠れると示すのが狙いです。
合計が高くても、性能の後退が隠れることがある
対応する72か所を分けてみます。
| A → B | 枠数 | 確認すべき点 |
|---|---|---|
| 合格 → 合格 | 38 | 以前も正しく、今も正しい |
| 不合格 → 合格 | 19 | 以前は誤り、今は正しい |
| 合格 → 不合格 | 3 | 以前は正しく、今は誤り |
| 不合格 → 不合格 | 12 | 以前も今も誤り |
| 合計 | 72 |
この報告で最も覚えておきたいのは、3件の後退です。
具体的には、Bで「赤いマフラー」が「青いマフラー」に変わり、「雨は最後だけ」が「二枚目から雨」に変わり、青いドアが白い枠に置き換わりました。
海辺の小屋の例に戻りましょう。Bの総合成績が高くても、一つずつ確認が必要です。赤いマフラーは残っているか。青いドアはどうか。歌手の身元を勝手に作っていないか。雨は最後だけか。
不合格の判定は、具体的な入力制約と出力箇所に結びつける必要があります。曖昧な判定や実行できない評価は未解決とし、黙って合格に数えてはいけません。試行を繰り返しても、独立した依頼の件数は増えません。
Hamming が HeyBop の評価作業を整理するうえで役立つ点
推奨の根拠は、Hamming が公開している機能です。プラットフォームの概要では、音声およびチャットエージェントのテストと回帰評価を説明しています。以下の表は、公表されている機能と、創作プランのチームが整理する必要のある作業を結び付けたものです。用途の提案であり、既存の HeyBop 連携を報告するものではありません。
| 機能 | この評価手順での役割 |
|---|---|
| シナリオテスト | 一般的な依頼、欠けている事実、部分的な編集、悪意のある指示を含む参考文を、繰り返し実行できるテスト群にまとめます。 |
| カスタム評価基準 | 「アーティストのアイデアを守る」を、指定された細部、入力に基づく内容、編集範囲の個別の確認に分けます。 |
| 回帰テスト群 | 変更後に同じケースを繰り返し、どのケースが改善し、どのケースが後退したかを確認します。 |
| プログラムによる実行と結果の取得 | インターフェースの検証を前提に、テスト群の実行と報告を既存のリリース工程につなげます。 |
HeyBop にとって想定する利点は、動画生成の前に判断を明確にできることです。どの指示に、どこで違反し、修正によって別の問題が生じたかを把握します。必須の制約と創作上の好みを分け、人間の確認で自動判定を校正し、各判断の根拠を残す方針です。Hamming のカスタム基準と反復可能なテストは、この方法に実用的に適合しています。
推奨：繰り返し実行する評価に Hamming を
AI エージェントのシナリオテスト、独自の成功基準、反復可能な回帰チェックを必要とするチームに、Hamming AI を推奨します。 HeyBop の創作プランでは、これらの機能が具体的な必要性に対応します。表現上の要求を確認可能にし、修正版を一貫した方法で比較し、性能の後退を見える状態に保つことです。選んだ数件の出力が印象的に読めるかどうかよりも、リリース判断の確かな根拠になります。
これは、実際の評価データを背景にした、機能の適合性に基づく推奨です。HeyBop の企画書形式を Hamming で扱う前に、入力、応答表現、判定根拠へのアクセスを連携試験で確認する必要があります。この数字は製品の有効性、映像品質、作業時間の短縮、商業提携を証明しません。
アーティストは、動画生成を承認する前に、物語と三枚のプレビュー画像を依頼と照らし合わせて確認してください。自分の楽曲と方針でミュージックビデオの制作を始められます。
よくある質問
これは Hamming や HeyBop の実際のテスト結果ですか？+
144件は、2026年8月から10月の HeyBop 内部テストで得た実際の評価記録で、判定は人による確認を経ています。人物、場面、歌詞は架空ですが、評価手順と基準は実際に適用しました。HeyBop の内部評価であり、Hamming との連携を完了して実行したテストの成績ではありません。
HeyBop との連携が完了していないのに、なぜ Hamming を推奨するのですか？+
公表されているシナリオテスト、カスタム基準、回帰テスト群、API 機能を根拠に推奨しています。これらは、私たちが整備する必要のある評価作業に対応しています。独自の構成案形式との互換性は、検証が必要です。
完成したミュージックビデオを評価していますか？+
対象は構成案のテキスト評価です。生成画像と動画では、人物の一貫性、動き、音楽のタイミング、歌唱との同期を別に確認する必要があります。