螢幕視覺

為什麼螢幕視覺是這個產品的頭號功能

每個 AI 遊戲夥伴都說自己能即時幫上忙。誠實的檢驗只有一條：不用你描述，它能不能對當下做出反應。一個要你先打出「我血量剩一半，瑪蓮妮亞剛起手水鳥亂舞」才肯給建議的聊天機器人，早就錯過那個瞬間了。等你打完字，這場架已經結束了。

螢幕視覺把這個循環壓沒了。夥伴看得見 BOSS 血條，看得見水鳥的抬手動作，看得見你的耐力，在你還來不及把話講清楚之前，就用語音喊出翻滾時機。這才是即時 AI 指導真正的賣點，而螢幕視覺是讓它落地、而不是停在文案上的東西。

「讀你的螢幕」具體是什麼意思

視覺 AI 不是把像素一股腦丟進語言模型。整條管線會把每一格擷取到的畫面變成結構化訊號：現在跑的是哪款遊戲、螢幕上是什麼場景、有哪些介面元素、玩家角色在做什麼、場上有哪些敵人、玩家和敵人各處在什麼狀態。指導層真正拿來推理的，就是這些訊號。

正因為有這層結構，Sidekick 才給得出精確的判斷，而不是含糊的觀察。它講得出「你只剩 30% 血，先脫離，喝原素瓶」，是因為視覺層把你的血量和藥瓶數量抓了出來——不是模型在猜。

Sidekick 跟 Character.AI、ChatGPT、Replika 的差別在哪

大多數 AI 助手和聊天機器人對你的遊戲是瞎的。Character.AI、ChatGPT、Replika——它們都看不到你看到的東西。你描述一款遊戲，它們可以陪你聊，但沒辦法在你玩的時候指導你，因為這個循環太慢了。

AI 遊戲夥伴這個類別之所以存在，是因為螢幕視覺改變了可能的邊界。Sidekick AI 就是繞著這個改變做出來的。3D 角色、語音層，還有HypeReel 精華工作流，全都建立在同一件事上：視覺層夠好，好到夥伴一開口就已經知道現在發生了什麼。

視覺管線到底是怎麼跑的

畫面擷取發生在作業系統這一層——用的就是 OBS 和其他擷取工具在用的 Windows.Graphics.Capture 與 Core Graphics 視窗擷取 API。沒有 DLL 注入，沒有遊戲記憶體掛鉤，也沒有動到驅動層級。夥伴從來不掛進你遊戲的行程，所以反作弊看 Sidekick 就跟看別的擷取工具一樣。這個設計的代價是它只看得見算圖到你螢幕上的東西；好處是任何 PC 遊戲都能用，不需要逐款做整合。

畫面擷取下來之後，本機會跑一個很輕的變化偵測，判斷這一格值不值得送出去——一場下來絕大多數連續畫面長得太像，模型根本沒有新東西可講。過了這道閘的畫面，會帶著一個懂遊戲的指導提示詞送到 Sidekick 的視覺語言模型。模型回傳的是結構化結果：哪款遊戲、什麼場景、介面上有什麼、畫面裡有哪些實體、玩家在做什麼。指導層拿來推理的是這份結構化結果，而不是原始像素，然後才決定在你耳機裡講什麼。管線長成這樣，正是指導能貼住當下的原因——夥伴在開口之前就已經知道狀況了。

實際玩起來它都看見了什麼

「結構化理解」這幾個字太抽象。具體的版本，是夥伴在 Sidekick 調校過的那些類型裡，一場下來喊得出什麼。視覺模型本身是通用的；它認得下面這些元素，是因為大型多模態模型在訓練資料裡看過這些遊戲，而不是因為 Sidekick 內建了逐款遊戲的擷取器。

魂系 BOSS 戰裡——BOSS 的血條和削韌條、你的血量和耐力、預告下一擊的抬手動作、你還剩幾瓶藥、技能冷卻、BOSS 的階段轉換。所以 Sidekick 講得出「你只剩 30%，現在補血」或者「水鳥起手了，第一段先跑」，而不是泛泛地叫你翻滾。

銀河惡魔城裡——小地圖狀態（走過哪些房間、哪些還沒探）、你的移動能力、你剛撿到的護符或遺物圖示、當前樓層那些要鑰匙的門。所以 Sidekick 能把你往西北方向兩個畫面外那間沒探過的房間帶，又不至於把整張圖劇透掉。

回合制 RPG 裡——出手順序、技能冷卻和資源數量、螢幕上的對話選項、這場戰鬥裡的環境危險、每個單位身上的狀態圖示。所以夥伴能在你點下去之前提醒你：「這發火球會點燃地上的元素表面，你隊友還站在裡面。」

生存恐怖裡——子彈數量、藥草或治療道具的存量、存檔打字機還能不能用、雷達上的敵人位置、武器的耐久狀態。所以 Sidekick 講得出「手槍剩四發，綠草一株，過了教堂就有下一個商人」，而不是泛泛地跟你說資源吃緊。

隱私與控制權——夥伴看得見什麼，看不見什麼

Sidekick 只讀你指給它的那塊畫面。多螢幕的機器上，由你選夥伴看哪個視窗或哪個螢幕；另一個螢幕上開著的 Discord、OBS、wiki 分頁或者信箱，都不在它的視野裡。視覺層從來不會伸手去看你沒有選到的視窗。

暫停視覺只要點一下。暫停之後夥伴照樣能聊天，但不再擷取也不再分析畫面——過場動畫想乾乾淨淨地看完、劇情時刻不想被指導打擾、或者只是想要有人陪著而不需要分析的時候，都用得上。暫停是單次對話內的控制項；下次啟動會回到你的預設狀態。

HypeReel 剪輯是另一條獨立、要你自己開啟的流程。那些片段之所以存在，是因為你自己觸發了它們——某個值得留下來的精華——之後要留著、要剪、要分享還是從帳號裡刪掉，都歸你。剪輯管線用的是同一套視覺層來找精華，但產出的影片歸你控制，不歸視覺層。