Visione dello Schermo

Perché la visione dello schermo è la funzione di punta

Ogni compagno IA per il gioco dice di aiutarti in tempo reale. La prova onesta è se riesce ad agire sul momento senza che tu glielo descriva. Un chatbot che ha bisogno che tu scriva «sono a metà vita e Malenia ha appena iniziato la Waterfowl Dance» prima di darti un consiglio ha già perso il momento. Quando finisci di scrivere, lo scontro è finito.

La visione dello schermo comprime quel giro. Il compagno vede la barra della vita del boss, vede l'animazione di caricamento della Waterfowl, vede la tua stamina, e chiama il timing della schivata a voce prima che tu riesca a dire cosa sta succedendo. È tutta qui la promessa del coaching IA in tempo reale, ed è la visione dello schermo a renderla vera invece che marketing.

Cosa vuol dire «legge lo schermo» nella pratica

La visione IA non si limita a buttare pixel dentro un modello linguistico. La pipeline trasforma ogni fotogramma catturato in segnali strutturati: quale gioco è in esecuzione, quale scena è a schermo, quali elementi di interfaccia sono visibili, cosa sta facendo il tuo personaggio, quali nemici ci sono, in che stato sono giocatore e nemici. Sono quei segnali il materiale su cui ragiona davvero il livello di coaching.

È quella struttura a permettere a Sidekick di fare chiamate precise invece di osservazioni vaghe. Il compagno può dire «sei al 30% di HP, stacca e bevi un'Estus» perché il livello di visione ha estratto i tuoi HP e il numero di fiaschette, non perché il modello ha tirato a indovinare.

In cosa Sidekick è diverso da Character.AI, ChatGPT e Replika

La maggior parte degli assistenti IA e dei chatbot è cieca rispetto al tuo gioco. Character.AI, ChatGPT, Replika — nessuno di loro vede quello che vedi tu. Possono parlare di un gioco che gli descrivi, ma non possono farti coaching mentre giochi, perché il giro è troppo lento.

La categoria dei compagni IA per il gioco esiste perché la visione dello schermo ha cambiato quello che era possibile. Sidekick AI è costruito attorno a quel cambiamento. L'avatar 3D, il livello vocale e il flusso di highlight HypeReel stanno tutti sopra un livello di visione abbastanza buono da far sì che il compagno sappia già cosa sta succedendo quando parla.

Come funziona davvero la pipeline di visione

La cattura dei fotogrammi avviene a livello di sistema operativo — le stesse API di cattura finestra Windows.Graphics.Capture e Core Graphics che usano OBS e gli altri strumenti di cattura. Niente DLL injection, niente hook sulla memoria del gioco, niente strumentazione a livello driver. Il compagno non si aggancia mai al processo del gioco, quindi l'anti-cheat tratta Sidekick come qualsiasi altro strumento di cattura. Il prezzo di questo design è che Sidekick vede solo ciò che viene renderizzato a schermo; il vantaggio è che funziona con qualsiasi gioco PC, senza integrazioni per titolo.

Una volta catturato il fotogramma, un rilevatore di cambiamenti leggero gira sulla tua macchina e decide se vale la pena mandarlo: in una sessione la maggior parte dei fotogrammi consecutivi si somiglia troppo perché il modello abbia qualcosa di nuovo da dire. Quelli che superano il filtro vanno al modello visione-linguaggio di Sidekick con un prompt di coaching che conosce i giochi. Il modello restituisce una risposta strutturata (quale gioco, quale scena, quale interfaccia è visibile, quali entità ci sono nel fotogramma, cosa sta facendo il giocatore). È su quella risposta strutturata che ragiona il livello di coaching, non sui pixel grezzi, quando decide cosa dirti nelle cuffie. È questa forma della pipeline a far sì che il coaching arrivi sul momento: il compagno conosce già la situazione prima di parlare.

Cosa vede mentre giochi

La parte sulla comprensione strutturata resta astratta. La versione concreta è quello che il compagno può segnalarti in sessione, nei generi su cui Sidekick è tarato. Il modello di visione è generalista: riconosce gli elementi qui sotto perché i grandi modelli multimodali hanno visto questi giochi nei loro dati di addestramento, non perché Sidekick abbia estrattori dedicati per ogni gioco.

In uno scontro con un boss dei Souls — la barra della vita e il misuratore di postura del boss, le tue barre di HP e stamina, l'animazione di caricamento che annuncia un attacco in arrivo, il numero di fiaschette, i cooldown delle abilità, i cambi di fase del boss. È così che Sidekick può dire «sei al 30%, fiaschetta adesso» o «la Waterfowl sta caricando, corri durante la prima raffica» invece di un generico consiglio sulle schivate.

In un metroidvania — lo stato della minimappa (stanze visitate, stanze inesplorate), le tue abilità di movimento, l'icona del ciondolo o della reliquia appena raccolta, le porte chiuse a chiave del piano. È così che Sidekick può spingerti verso la stanza inesplorata due schermate a nord-ovest senza spoilerarti tutta la mappa.

In un turno di RPG — l'ordine dei turni, i cooldown e le risorse, le scelte di dialogo a schermo, i pericoli ambientali dello scontro, le icone di stato su ogni combattente. È così che il compagno può segnalarti «la superficie elementale si incendia se lanci quella palla di fuoco, il tuo alleato è dentro» prima che tu clicchi.

In un survival horror — le munizioni, la scorta di erbe o di cure, la macchina da scrivere per salvare, la posizione dei nemici sul radar, lo stato delle tue armi. È così che Sidekick può dire «quattro colpi di pistola e un'erba verde, il prossimo mercante è dopo la chiesa» invece di un generico consiglio sulla scarsità di risorse.

Privacy e controllo — cosa vede e cosa non vede il compagno

Sidekick legge la superficie che gli indichi. Con più monitor scegli tu quale finestra o quale schermo vede il compagno; un secondo monitor con Discord, OBS, una scheda del wiki o la tua posta resta privato. Il livello di visione non va mai a pescare in finestre che non hai selezionato.

Mettere in pausa la visione è un clic. In pausa il compagno continua a chiacchierare ma smette di catturare e analizzare lo schermo: utile per le cutscene che vuoi vivere senza commenti al limite dello spoiler, per i momenti di trama in cui il coaching sarebbe invadente, o semplicemente quando vuoi compagnia senza analisi. La pausa vale per la sessione; al lancio successivo riparti dal tuo stato predefinito.

I clip HypeReel sono un flusso separato e opt-in. Quei clip esistono perché li hai attivati tu — un highlight che vale la pena tenere — e sono tuoi: da conservare, modificare, condividere o cancellare dal tuo account. La pipeline dei clip usa lo stesso livello di visione per individuare gli highlight, ma il video che ne esce è sotto il tuo controllo, non sotto quello del livello di visione.