Auto-étiquetage des images dans Sharepoint avec Flow et Cognitive Services

Tu as 15 minutes? Bon, Vous avez maintenant tout ce dont vous avez besoin pour pouvoir intégrer le service de reconnaissance d'images cognitives de Microsoft dans vos bibliothèques Sharepoint et commencer à marquer automatiquement vos images en fonction de leur contenu gratuitement et sans avoir besoin de code..

Comment? Une fois de plus, la clé est dans le COULER

Actuellement le service de création et d'automatisation de workflow Microsoft Flow Non seulement il dispose d'un large éventail de connexions pour gérer les éléments dans les bibliothèques et les listes Sharepoint, il dispose également de plusieurs connecteurs pour les services cognitifs de Microsoft, service compris API de vision par ordinateur.

Ce service qui a une version gratuite jusqu'à 5000 demandes / mes, nous permettra d'extraire les données de l'image et parmi ses applications, nous avons la possibilité de connaître des mots-clés ou “Étiquettes” qui nous fournissent des informations pertinentes à ce sujet, puis enregistrez-les en tant que métadonnées associées à ladite image dans Sharepoint.

PAS À SUIVRE:

Configurer une bibliothèque Sharepoint où stocker les images
Configurer la ressource API Azure Computer Vision
Configurer un flux qui se lance lorsqu'une nouvelle image est stockée et envoie son contenu à notre API de reconnaissance d'images
CARACTÉRISTIQUES SUPPLÉMENTAIRES

PREMIER PAS: CONFIGURATION DE NOTRE BIBLIOTHÈQUE

Afin d'utiliser les capacités de reconnaissance d'images, nous devrons d'abord établir où celles-ci seront stockées et quel sera le champ où nous ajouterons l'étiquetage, pour cela nous utiliserons une bibliothèque Sharepoint et créerons une colonne que nous appellerons AutoTags.

DEUXIÈME PAS: CONFIGURER NOTRE SERVICE D'API DE VISION COGNITIVE

Pour enregistrer le service de reconnaissance d'images cognitives, il suffit d'aller sur le portail Azure et d'ajouter une nouvelle ressource en indiquant son nom, l'abonnement où vous séjournerez, l'emplacement de déploiement et le groupe de ressources auquel il appartiendra.

Avant de choisir où nous allons implémenter ce service, il est nécessaire de vérifier qu'il est disponible dans cette région.

Une fois le service enregistré, il faudra pointer le nom de la connexion vers l'API, la clé de compte et le point final pour accéder à ce service.

TROISIÈME ÉTAPE: RÉGLER LE FLUX

Nous accédons à Flow et créons un nouveau flux qui sera lancé lorsqu'un nouveau fichier est créé sur un site et une bibliothèque Sharepoint sélectionnés:

Une fois cela fait, Nous allons récupérer les données de l'image qui vient d'être stockée dans le Sharepoint pour l'envoyer à notre API de reconnaissance d'image.

À ce stade, nous allons connecter le Flow à notre API avec la capacité Image de l'étiquette en indiquant les paramètres que nous avons indiqués à l'étape précédente.

Ensuite, nous indiquerons que l'envoi sera directement le contenu et non à partir de l'url et nous indiquerons qu'il s'agit de la sortie de l'étape précédente.

Maintenant il suffira d'adapter le JSON du résultat à un tableau de caractères séparés par des virgules, pour cela nous utiliserons les fonctions Select et Join.

Finalement, nous devrons simplement ajouter ce tableau d'étiquettes à la colonne que nous avons créée à l'étape 1 pour l'image à laquelle nous avons affaire.

ET PRÊT!

Nous sauvegardons le Flow et procédons à son exécution pour vérifier son fonctionnement:

Une fois les images téléchargées, nous vérifions que le Flow fonctionne correctement.

Nous pouvons voir le JSON que notre service de reconnaissance d'image renvoie.

Et enfin le résultat dans la colonne AutoTags

PASO 4: CE N'EST PAS TOUT, IL Y A BEAUCOUP PLUS

Comme nous l'avons vu, les multiples capacités que possède ce service cognitif, ajouté à la facilité de connexion avec d'autres applications grâce à Microsoft Flow, ils nous permettent de jouer avec plusieurs paramètres comme l'ajout de balises uniquement lorsqu'ils dépassent un pourcentage spécifique de réussite, générer un autre flux qui lit ce champ balisé et correspond à d'autres métadonnées pour un balisage plus efficace ou même concatène les requêtes API pour obtenir plus de données de la photo, comme la description.

Nous ajoutons la fonction à Flow Decrivez l'image
(Ce flux est un exemple, dans ce cas, la fonction Décrire l'image inclut également les étiquettes en sortie, il ne doit donc pas être concaténé avec la fonction Image Label) pointant vers une nouvelle colonne multiligne que nous avons créée dans notre bibliothèque plus tôt.

Désormais, nos images sont auto-étiquetées et obtiennent également une description de manière entièrement automatisée dans notre Sharepoint, y compris la reconnaissance de personnages et de marques célèbres, comme dans ce cas Keanu Reeves.