Das können, ich kenne mich mit Handsprache nicht sonderlich gut aus, Bilder seien, die aneinander gereiht sind und zwischen denen interpoliert wird.

Ich glaube das ist um einiges komplizierter. So weit ich weiß: Zum Beispiel werden Richtungen einfach durch eine Handbewegung in die entsprechende Richtung gezeigt. Was start one Ziel dieser Bewegung ist hängt dann vom Kontext ab. Klar, LLMs verstehen inzwischen worauf sich ein "es" im Satz bezieht, aber nichtsdestotrotz ist das ein richtig richtig schweres Problem für Computer.

Der Wikipedia Artikel ist interessant: https://de.wikipedia.org/wiki/Geb%C3%A4rdensprache

Die Gebärden werden phonologisch in vier Parameter zerlegt, die phonemisch weiter analysiert werden: in Handkonfiguration, Handorientierung, Bewegungsausführung und Ort der Bewegung. Viele Gebärden sind stark flektiert. Informationen können pronominal (durch verschiedene sichtbare Formen) in einer einzigen Gebärde eingebaut werden, z. B. in DGS die Verbgebärde, glossiert mit ICH-BUCH-GEBEN-DIR-SCHNELL[5] schließt die Bewegungsrichtung von „ich“ nach „du“, und zwar schnell, ein und die Handkonfiguration zeigt das Halten eines imaginären Buches an. Wenn abgewandelt in der Bewegung von „du“ nach „ich“, ergibt DU-BUCH-GEBEN-MIR-SCHNELL. Die Gebärde kann mit anderen Handformen modifiziert werden, um anzuzeigen, was gegeben wird, z. B. ein dickes oder dünnes Buch, eine Flasche, ein Fuß- oder Golfball, ein Stück Papier, einen Stapel Bücher usw. Dazu kommt noch die unterschiedliche Orientierung der Hand bzw. Hände, ob das Objekt horizontal oder vertikal übergeben wird. Insgesamt sieben Bedeutungsteile können in dieser einzigen Gebärde erkannt werden: Subjekt, Empfänger (Einzahl oder Mehrzahl), dessen Lokalität (links, rechts, nahe oder fern), Objekt, Größe bzw. Menge des Objekts, verbiales Adverb, einmal oder wiederholt.