Dans le cadre de l’entraînement d’un DAN clé-valeur, nous aimerions lancer une campagne d’annotation, avec de la donnée pré-annotée.
Nous avons à notre disposition un modèle de vllm qwen sur un ollama auquel nous pouvons faire des appels API.
Existe-t-il un moyen sur Arkindex de faire tourner un worker qwen à un certain endpoint avec :
Entrée : la liste de clés et une image (élément)
Sortie : les valeurs lues, directement ajouté aux clés de l’élement au format arkindex avec le degré de confiance.
Suite à notre discussion avec Christopher, nous avons appris qu’il existe déjà des workers qui se basent sur des vllm, et avons proposé de contribuer au développement d’un worker d’annotation pour répondre au problème.
Serait-t-il possible d’avoir un accès à ces workers et une idée de la marche à suivre pour en développer un nouveau ? La documentation sur les custom workers suffit-elle ?
SI je comprends bien, vous souhaitez créer un worker Ollama, qui utiliserait une instance Ollama via son API Rest ? Si c’est le cas, c’est tout à fait possible de créer un tel worker: il sera très léger en terme de resource, les calculs lourd étant effectués sur le serveur Ollama.
Au contraire, si vous souhaitez executer un modèle Qwen directement dans un worker Arkindex, nous avons déjà implémenté cela pour nos propres besoins et pouvons vous fournir un accès pour le tester (il publie des entités sur des transcriptions Arkindex).
Concernant le développement, vous avez trouvé la bonne documentation. Elle est assez succinte et manque sans doute de détails, nous pourrons l’améliorer avec vous et vos retours.
Le principe reste d’utiliser notre libraire open-source base-worker afin d’initialiser la structure du Worker en Python.
Vous pourrez alors implémenter la logique de votre propre worker dans la méthode process_element.
N’hésitez pas à poser plus de questions, nous sommes ravis d’avoir de nouveaux workers et contributeurs !
Bonjour Bastien,
Oui en effet nous cherchons à créer un worker qui utiliserait une instance Ollama via son API Rest.
En revanche, pour le développement du worker, peut-être que l’accès à celui que vous avez développé (même si l’éxécution est sur Arkindex) pourrait être utile. Pourriez-vous nous fournir un accès ?
Nous allons vous donner accès au worker Qwen sur notre instance demo Arkindex afin que vous puissiez le tester.
Si l’implementation actuelle vous convient sur demo, nous pourrions également vous fournir une image Docker du worker afin de l’utiliser sur votre propre instance locale d’Arkindex.
Je vous préviens ici dès que le worker est disponible en demo (normalement demain soir).
J’aimerais l’utiliser depuis arkindex, et pour celà il me faut une “Docker image reference”. J’ai l’impression que la pipeline github a fail au moment de la publication.