Arkindex permet de sélectionner une zone dans une zone plus grande précédemment sélectionnée-annotée. Par ex., dans une scène à 4 personnage annotée “bataille”, on sélectionne comme “sous-zone” chaque personnage pour annoter chaque sous-zone indépendamment (par ex. pour nommer les personnages).
Est-ce que que cette hiérarchie des sélections est prise en compte dans un post-traitement ou une post-utilisation ou un modèle créé?
Peut-on exploiter ce système d’information pour mieux identifier la scène quand la présence dans la bataille d’un personnage visuellement caractéristique permet d’identifier une scène précise (par ex. une scène de la Guerre de Troie).
Ou, autre exemple : une zone annotée (par ex. guerrier) contenant une sous-zone “homme” + une sous-zone “bouclier” peut-elle être analysée ou traitée comme guerrier parce qu’elle a ces deux éléments?
Bonjour,
Les humains ont en effet une tendance à organiser les informations sous forme hiérarchique, pour rendre compte des relations entre les objets. Cependant, la majorité des modèles d’IA ne gèrent pas l’information hiérarchique : les modèles de vision par ordinateurs analysent une image (et pas une hiérarchie d’images) et produisent des zones ou des descriptions qui ne sont pas hiérarchiques. C’est aussi le cas dès modèles d’IA qui travaillent sur le texte : les modèles d’extraction d’entités nommées, par exemple, ne produisent pas d’entités hiérarchiques.
Donc, même si d’un point de vue de structuration des données, on pourrait vouloir structurer les éléments dans une hiérarchie, cette hiérarchie ne sera pas exploitée par les modèles et même, il faudra la supprimer pour entrainer ou évaluer les modèles.
C’est la raison pour laquelle il vaut mieux annoter tous les éléments au même niveau (page) et se baser sur leurs caractéristiques de position sur l’image pour savoir s’ils sont inclus ou pas les uns dans les autres.
–
Christopher