Зрение экрана

Почему зрение экрана — главная функция

Каждый игровой ИИ-компаньон заявляет, что помогает в реальном времени. Честная проверка одна: успевает ли компаньон отреагировать на момент, пока ты его не описал. Чат-бот, которому ты сначала должен напечатать «у меня половина HP, и Malenia только что начала Waterfowl Dance», момент уже проиграл. Пока ты дописываешь, бой закончился.

Зрение экрана схлопывает этот цикл. Компаньон видит полоску здоровья босса, видит замах Waterfowl, видит твою выносливость — и голосом называет тайминг уворота раньше, чем ты успеешь сформулировать, что происходит. В этом и есть весь смысл ИИ-коучинга в реальном времени, и именно зрение экрана делает его настоящим, а не маркетингом.

Что «читает твой экран» значит на практике

ИИ-зрение не просто вываливает пиксели в языковую модель. Пайплайн превращает каждый снятый кадр в структурированные сигналы: какая игра запущена, какая сцена на экране, какие элементы интерфейса видны, что делает твой персонаж, какие противники рядом, в каком состоянии игрок и противники. Именно на этих сигналах и рассуждает слой коучинга.

Из-за этой структуры Sidekick выдаёт точные реплики, а не расплывчатые наблюдения. Компаньон может сказать «у тебя 30% HP, отходи и пей Estus», потому что слой зрения вытащил твоё HP и количество фляг, — а не потому, что модель угадала.

Чем Sidekick отличается от Character.AI, ChatGPT и Replika

Большинство ИИ-ассистентов и чат-ботов твою игру не видят вообще. Character.AI, ChatGPT, Replika — ни один из них не видит того, что видишь ты. Поболтать об игре, которую ты им описал, они могут, а вот коучить по ходу игры — нет: цикл слишком медленный.

Категория игровых ИИ-компаньонов существует потому, что зрение экрана изменило границы возможного. Sidekick AI построен вокруг этого изменения. 3D-аватар, голосовой слой и воркфлоу хайлайтов HypeReel — всё это стоит на том, что слой зрения достаточно хорош: компаньон уже знает, что происходит, к моменту, когда открывает рот.

Как на самом деле устроен пайплайн зрения

Захват кадров происходит на уровне операционной системы — теми же API захвата окна Windows.Graphics.Capture и Core Graphics, которыми пользуются OBS и другие инструменты захвата. Никакого DLL-инжекта, никаких хуков в память игры, никакой инструментации на уровне драйвера. Компаньон не цепляется к процессу твоей игры, поэтому анти-чит относится к Sidekick как к любому другому инструменту захвата. Цена такого решения в том, что Sidekick видит только отрисованное на экране; выигрыш — он работает с любой PC-игрой без интеграции под конкретный тайтл.

Как только кадр снят, лёгкий детектор изменений у тебя на машине решает, стоит ли его отправлять: соседние кадры в сессии похожи настолько, что модели чаще всего нечего добавить. Кадры, прошедшие фильтр, уходят в визуально-языковую модель Sidekick вместе с промптом, заточенным под игры. Модель возвращает структурированный ответ: какая игра, какая сцена, какой интерфейс виден, какие сущности в кадре, что делает игрок. Слой коучинга рассуждает уже об этом структурированном ответе, а не о сырых пикселях, когда решает, что сказать тебе в наушники. Из-за такой формы пайплайна коучинг и попадает в момент — компаньон знает ситуацию ещё до того, как заговорит.

Что он видит по ходу игры

Про структурированное понимание звучит абстрактно. Конкретика — это то, что компаньон реально называет вслух в жанрах, под которые Sidekick настроен. Модель зрения общего назначения: элементы ниже она узнаёт потому, что большие мультимодальные модели видели эти игры в обучающих данных, а не потому, что Sidekick везёт с собой экстракторы под каждую игру.

В босс-файте в соулсе — полоска здоровья и шкала стойкости босса, твои HP и выносливость, анимация замаха перед атакой, количество фляг, кулдауны скиллов, переходы босса между фазами. Поэтому Sidekick говорит «у тебя 30%, флягу сейчас» или «Waterfowl замахивается, беги от первой серии», а не абстрактное «уворачивайся».

В метроидвании — состояние миникарты (где был, где не был), твои способности передвижения, иконка только что поднятого амулета или реликвии, закрытые на ключ двери на текущем этаже. Поэтому Sidekick подталкивает тебя к неисследованной комнате в двух экранах на северо-запад, не сливая при этом всю карту.

В ходе боя в RPG — порядок хода, кулдауны способностей и запас ресурсов, варианты реплик на экране, опасности на поле боя, иконки состояний на каждом участнике. Поэтому компаньон успевает отметить «поверхность вспыхнет, если кинешь этот фаербол, союзник стоит прямо в ней» до того, как ты нажмёшь.

В сурвайвал-хорроре — количество патронов, запас трав или аптечек, доступность печатной машинки для сохранения, позиции врагов на радаре, состояние оружия. Поэтому Sidekick говорит «четыре патрона к пистолету и одна зелёная трава, следующий торговец за церковью», а не общие слова про экономию.

Приватность и контроль — что компаньон видит, а что нет

Sidekick читает ту поверхность, на которую ты его навёл. На нескольких мониторах ты сам выбираешь, какое окно или дисплей видит компаньон; второй монитор с Discord, OBS, вкладкой вики или почтой остаётся приватным. Слой зрения не лезет в окна, которые ты не выбрал.

Поставить зрение на паузу — один клик. На паузе компаньон продолжает общаться, но перестаёт снимать и анализировать экран: удобно для катсцен, которые хочется посмотреть без комментариев на грани спойлера, для сюжетных моментов, где коучинг был бы лишним, или просто когда нужна компания без разбора. Пауза действует на сессию; при следующем запуске всё стартует в твоём состоянии по умолчанию.

Клипы HypeReel — отдельная история, которая включается по твоему желанию. Эти клипы существуют потому, что ты сам их запустил: момент, который стоит сохранить. Они твои — храни, монтируй, делись или удаляй из аккаунта. Пайплайн клипов использует тот же слой зрения для поиска хайлайтов, но получившееся видео контролируешь ты, а не слой зрения.