Bildschirmerkennung

Warum die Bildschirmerkennung das Kernfeature ist

Jeder KI-Gaming-Begleiter behauptet, in Echtzeit zu helfen. Der ehrliche Test ist, ob der Begleiter auf den Moment reagieren kann, ohne dass du ihn beschreibst. Ein Chatbot, der erst „ich bin auf halbem Leben und Malenia hat gerade Waterfowl Dance angesetzt“ getippt haben will, bevor er einen Rat gibt, hat den Moment schon verloren. Bis du fertig getippt hast, ist der Kampf vorbei.

Die Bildschirmerkennung kürzt diesen Loop weg. Der Begleiter sieht den Boss-Lebensbalken, sieht die Ausholanimation von Waterfowl, sieht deine Ausdauer und ruft das Ausweich-Timing per Stimme, bevor du überhaupt formulieren kannst, was gerade passiert. Genau das ist der ganze Pitch von KI-Coaching in Echtzeit, und die Bildschirmerkennung ist der Grund, warum er echt ist und nicht bloß Marketing.

Was „liest deinen Bildschirm“ in der Praxis heißt

Vision-KI kippt nicht einfach Pixel in ein Sprachmodell. Die Pipeline macht aus jedem aufgenommenen Frame strukturierte Signale: welches Spiel läuft, welche Szene zu sehen ist, welche UI-Elemente sichtbar sind, was die Spielfigur tut, welche Gegner da sind, in welchem Zustand Spieler und Gegner gerade stecken. Über diese Signale denkt die Coaching-Ebene tatsächlich nach.

Diese Struktur ist der Grund, warum Sidekick präzise Ansagen machen kann statt vager Beobachtungen. Der Begleiter kann sagen „du bist bei 30 % HP, zieh dich raus und trink einen Estus“, weil die Vision-Ebene deine HP und deine Flakon-Anzahl ausgelesen hat — nicht weil das Modell geraten hat.

Wie sich Sidekick von Character.AI, ChatGPT und Replika unterscheidet

Die meisten KI-Assistenten und Chatbots sind blind für dein Spiel. Character.AI, ChatGPT, Replika — keiner von ihnen sieht, was du siehst. Sie können über ein Spiel plaudern, das du ihnen beschreibst, aber sie können nicht während des Spielens coachen, weil der Loop zu langsam ist.

Die Kategorie KI-Gaming-Begleiter existiert, weil die Bildschirmerkennung verändert hat, was möglich ist. Sidekick AI ist um diese Veränderung herum gebaut. Der 3D-Avatar, die Sprachebene und der HypeReel-Highlight-Workflow sitzen alle darauf auf, dass die Vision-Ebene gut genug ist: Der Begleiter weiß schon, was los ist, wenn er redet.

Wie die Vision-Pipeline wirklich arbeitet

Die Frame-Aufnahme passiert auf Betriebssystem-Ebene — über dieselben Fenster-APIs von Windows.Graphics.Capture und Core Graphics, die auch OBS und andere Capture-Tools nutzen. Keine DLL-Injection, kein Hook in den Spielspeicher, keine Instrumentierung auf Treiberebene. Der Begleiter hängt sich nie an den Prozess deines Spiels, also behandelt Anti-Cheat Sidekick wie jedes andere Capture-Tool. Der Preis dieses Designs: Sidekick sieht nur, was auf deinen Bildschirm gerendert wird. Der Gewinn: Es läuft mit jedem PC-Spiel, ohne Integration pro Titel.

Ist ein Frame aufgenommen, entscheidet eine leichte Änderungserkennung auf deinem Rechner, ob er es wert ist, geschickt zu werden — die meisten aufeinanderfolgenden Frames einer Sitzung sehen sich so ähnlich, dass das Modell nichts Neues zu sagen hätte. Was durch den Filter kommt, geht mit einem spielbewussten Coaching-Prompt an das Vision-Language-Modell von Sidekick. Das Modell gibt eine strukturierte Antwort zurück: welches Spiel, welche Szene, welche UI sichtbar ist, welche Entitäten im Bild sind, was der Spieler tut. Über diese strukturierte Antwort denkt die Coaching-Ebene nach, nicht über die rohen Pixel, wenn sie entscheidet, was in deinem Headset gesagt wird. Diese Form der Pipeline ist der Grund, warum das Coaching zum Moment passt — der Begleiter kennt die Lage schon, bevor er redet.

Was die Bildschirmerkennung beim Spielen sieht

Der Teil mit dem strukturierten Verständnis ist abstrakt. Konkret wird es bei dem, was der Begleiter in einer Sitzung ansagen kann, quer durch die Genres, auf die Sidekick abgestimmt ist. Das Vision-Modell ist ein Allzweckmodell: Es erkennt die Elemente unten, weil große multimodale Modelle diese Spiele in ihren Trainingsdaten gesehen haben, nicht weil Sidekick Extraktoren pro Spiel mitliefert.

Im Souls-Bosskampf — der Lebens- und Haltungsbalken des Bosses, deine HP- und Ausdauerleisten, die Ausholanimation, die einen Angriff ankündigt, deine Flakon-Anzahl, deine Skill-Cooldowns, die Phasenwechsel des Bosses. So kann Sidekick sagen „du bist bei 30 %, jetzt trinken“ oder „Waterfowl holt aus, lauf bei der ersten Serie weg“ statt allgemeiner Ausweich-Tipps.

Im Metroidvania — der Zustand der Minimap (besuchte Räume, unerforschte Räume), deine Bewegungsfähigkeiten, das Icon des Talismans oder Relikts, das du gerade aufgehoben hast, die verschlossenen Türen auf der aktuellen Ebene. So kann Sidekick dich zu dem unerforschten Raum zwei Bildschirme nordwestlich schubsen, ohne dir die ganze Karte zu spoilern.

In der RPG-Runde — die Zugreihenfolge, Cooldowns und Ressourcenstände, die Dialogoptionen auf dem Bildschirm, Umgebungsgefahren im Kampf, die Zustands-Icons an jeder Figur. So kann der Begleiter warnen: „Die Elementarfläche entzündet sich, wenn du den Feuerball wirkst, dein Verbündeter steht mittendrin“ — bevor du klickst.

Im Survival-Horror — deine Munition, der Stapel an Kräutern oder Heilitems, ob die Speicher-Schreibmaschine frei ist, Gegnerpositionen auf dem Radar, der Zustand deiner Waffen. So kann Sidekick sagen „vier Pistolenkugeln und ein grünes Kraut übrig, der nächste Händler ist hinter der Kirche“ statt allgemeiner Knappheits-Tipps.

Privatsphäre und Kontrolle — was der Begleiter sieht und was nicht

Sidekick liest die Fläche, auf die du ihn richtest. Bei mehreren Monitoren wählst du aus, welches Fenster oder Display der Begleiter sieht; ein zweiter Monitor mit Discord, OBS, einem Wiki-Tab oder deinen Mails bleibt privat. Die Vision-Ebene greift nie in Fenster, die du nicht ausgewählt hast.

Vision zu pausieren ist ein Klick. Pausiert plaudert der Begleiter weiter, nimmt den Bildschirm aber nicht mehr auf und analysiert ihn nicht mehr — praktisch für Cutscenes, die du ohne spoilernahen Kommentar erleben willst, für Story-Momente, in denen Coaching aufdringlich wäre, oder einfach dann, wenn du Gesellschaft ohne Analyse willst. Die Pause gilt für die Sitzung; beim nächsten Start bist du wieder in deinem Standardzustand.

HypeReel-Clips sind ein separater Opt-in-Workflow. Diese Clips existieren, weil du sie ausgelöst hast — ein Highlight, das sich zu sichern lohnt — und sie gehören dir: behalten, schneiden, teilen oder aus deinem Konto löschen. Die Clip-Pipeline nutzt für die Highlight-Erkennung dieselbe Vision-Ebene, aber das fertige Video steht unter deiner Kontrolle, nicht unter der der Vision-Ebene.