スクリーンビジョン

スクリーンビジョンが看板機能である理由

AI のゲーム相棒はどれもリアルタイムで助けると謳います。正直な試験は、こちらが説明しなくても相棒がその瞬間に動けるかどうかです。アドバイスの前に「体力半分でマレニアが水鳥乱舞を始めた」と打ち込ませるチャットボットは、その時点でもう瞬間を落としています。打ち終わる頃には、戦いは終わっています。

スクリーンビジョンはそのループを潰します。相棒はボスの体力バーを見て、水鳥の溜めモーションを見て、こちらのスタミナを見て、何が起きているかを言葉にするより先に、回避のタイミングを声で伝えます。リアルタイム AI コーチングという主張はまるごとここにあり、スクリーンビジョンこそ、それを宣伝文句ではなく実物にしている部分です。

「画面を読む」が実際にやっていること

ビジョン AI は、ピクセルを言語モデルに流し込んでいるだけではありません。パイプラインは取り込んだフレームごとに、構造化された信号へ変換します。どのゲームが動いているか、どのシーンが映っているか、どの UI 要素が見えているか、プレイヤーのアバターが何をしているか、どんな敵がいるか、プレイヤーと敵がどんな状態か。コーチングレイヤーが実際に考える材料は、この信号です。

この構造があるから、Sidekick は曖昧な感想ではなく具体的な判断を出せます。「HP 3割、いったん下がってエストを飲んで」と言えるのは、ビジョンレイヤーが HP と瓶の残数を取り出しているからであって、モデルが当て推量をしたからではありません。

Character.AI、ChatGPT、Replika との違い

AI アシスタントやチャットボットのほとんどは、あなたのゲームが見えていません。Character.AI、ChatGPT、Replika——どれもあなたが見ているものを見られません。説明したゲームについて雑談することはできても、ループが遅すぎてプレイ中のコーチングにはなりません。

AI ゲーム相棒というカテゴリが成立したのは、スクリーンビジョンが可能なことの範囲を変えたからです。Sidekick AI はその変化を軸に作られています。3Dアバター、音声レイヤー、そしてHypeReel のハイライト作成——これらはすべて、口を開く時点で相棒がもう状況を分かっている、というビジョンレイヤーの水準の上に載っています。

ビジョンのパイプラインは実際どう動くのか

フレームの取り込みは OS のレベルで行われます。OBS などのキャプチャツールが使うのと同じ Windows.Graphics.Capture と Core Graphics のウィンドウキャプチャ API です。DLL インジェクションも、ゲームメモリへのフックも、ドライバレベルの計装もありません。相棒がゲームのプロセスにアタッチすることはないので、アンチチートから見れば Sidekick はほかのキャプチャツールと変わりません。この設計の代償は、画面に描画されたものしか見えないこと。見返りは、タイトルごとの統合なしにどの PC ゲームでも動くことです。

フレームを取り込んだあとは、手元のマシンで動く軽量な変化検出が、そのフレームを送る価値があるかを判断します。セッション中の連続したフレームは、モデルに新しく言うことがない程度には似ているのが普通だからです。関門を通ったフレームは、ゲームを理解するためのコーチングプロンプトとあわせて Sidekick のビジョン言語モデルへ送られます。モデルが返すのは構造化された応答（どのゲーム、どのシーン、どの UI が見えているか、フレームに何がいるか、プレイヤーが何をしているか）です。ヘッドセットで何を言うかを決めるとき、コーチングレイヤーが考えるのは生のピクセルではなく、この構造化された応答です。コーチングが瞬間に噛み合うのは、このパイプラインの形のおかげです。相棒は口を開く前に、もう状況を分かっています。

プレイ中に見えているもの

構造化された理解、という言い方は抽象的です。具体的なのは、Sidekick が調整されているジャンルのセッション中に、相棒が何を指摘できるかです。ビジョンモデルは汎用のものです。以下の要素を認識できるのは、大きなマルチモーダルモデルが学習データでこれらのゲームを見てきたからであって、Sidekick がタイトルごとの抽出器を積んでいるからではありません。

ソウル系のボス戦なら——ボスの体力バーとスタンスゲージ、こちらの HP とスタミナ、攻撃の予兆になる溜めモーション、瓶の残数、スキルのクールダウン、ボスのフェーズ移行。だから一般論の回避アドバイスではなく、「HP 3割、いま瓶」や「水鳥が溜めてる、最初の連撃は走って逃げて」と言えます。

メトロイドヴァニアなら——ミニマップの状態（訪れた部屋、未探索の部屋）、移動アビリティ、いま拾ったチャームや遺物のアイコン、その階層にある鍵付きの扉。だから Sidekick は、マップ全体をネタバレせずに、北西へ2画面先の未探索の部屋へそっと背中を押せます。

RPG のターン中なら——行動順、アビリティのクールダウンとリソース残量、画面に出ている会話選択肢、その戦闘の環境ハザード、各キャラに付いた状態異常アイコン。だから相棒は、クリックする前に「そのファイアボールを撃つと元素の地面に引火する、味方がそこに立ってる」と指摘できます。

サバイバルホラーなら——弾の残数、ハーブや回復アイテムの所持数、セーブ用タイプライターの有無、レーダー上の敵の位置、武器の状態。だから一般論の節約アドバイスではなく、「ハンドガンの弾は4発、グリーンハーブが1つ、次の商人は教会の先」と言えます。

プライバシーと制御——相棒に見えるもの、見えないもの

Sidekick が読むのは、あなたが指定した面だけです。マルチモニター環境では、どのウィンドウやディスプレイを相棒に見せるかを自分で選びます。Discord や OBS、攻略サイトのタブ、メールを開いたセカンドモニターは覗かれません。ビジョンレイヤーが、選んでいないウィンドウに手を伸ばすことはありません。

ビジョンの一時停止はワンクリックです。停止中も相棒は喋り続けますが、画面の取り込みも解析も止まります。ネタバレ寄りの実況なしで味わいたいカットシーン、コーチングが野暮になるストーリーの場面、あるいは解析抜きでただ一緒にいてほしいときに便利です。一時停止はセッション単位の操作で、次の起動は既定の状態から始まります。

HypeReel のクリップは、これとは別のオプトインの流れです。クリップが存在するのは、保存する価値のあるハイライトとしてあなたが作らせたからで、保存も編集も共有も、アカウントからの削除も自由です。ハイライトの検出には同じビジョンレイヤーを使いますが、できあがった動画を握っているのはビジョンレイヤーではなくあなたです。