Autoetiquetado de imágenes en Sharepoint con Flow y Cognitive Services

Contenidos

¿Tienes 15 minutos? Bueno, ya tiene todo lo que necesita para poder integrar el servicio de reconocimiento cognitivo de imágenes de Microsoft en sus bibliotecas de Sharepoint y comenzar a autoetiquetar sus imágenes de acuerdo con su contenido de forma gratuita y sin necesidad de código.

¿Cómo? Una vez más la clave está en el FLUJO

Actualmente el servicio de creación de workflows y automatización Microsoft Flow No solo tiene una amplia gama de conexiones para administrar elementos en bibliotecas y listas de Sharepoint, sino que también tiene múltiples conectores para Cognitive Services de Microsoft, incluido el servicio API de Computer Vision.

dc65b677-21af-4e34-a0cc-eed6d9ea80c2-3603829

Este servicio que tiene una versión gratuita hasta 5000 solicitudes / mes, nos permitirá extraer los datos de la imagen y entre sus aplicaciones tenemos la capacidad de conocer palabras clave o «etiquetas» que nos brindan información relevante sobre la misma, para luego guardar ellos como metadatos asociados a dicha imagen en Sharepoint.

PASOS A SEGUIR:

  1. Configurar una biblioteca de Sharepoint donde almacenar las imágenes
  2. Configurar el recurso de la API de Azure Computer Vision
  3. Configurar un flujo que se lanza cuando se almacena una nueva imagen y envía su contenido a nuestra API de reconocimiento de imágenes
  4. CARACTERÍSTICAS ADICIONALES

PRIMER PASO: CONFIGURACIÓN DE NUESTRA BIBLIOTECA

Para poder utilizar las capacidades de reconocimiento de imágenes primero tendremos que establecer dónde se almacenarán estas y cuál será el campo donde agreguemos el etiquetado, para esto usaremos una biblioteca de Sharepoint y crearemos una columna que llamaremos AutoTags.

ec8494a5-2e46-4bfd-be5b-73d37d3c0929-9340040

SEGUNDO PASO: CONFIGURE NUESTRO SERVICIO COGNITIVO VISION API

Para registrar el servicio de reconocimiento de imágenes cognitivas, simplemente acceda al portal de Azure y agregue un nuevo recurso indicando su nombre, la suscripción donde se alojará, la ubicación de la implementación y el grupo de recursos al que pertenecerá.

55c6ce61-3c2f-4f78-a176-b9c7b95f6708-1206771

Antes de seleccionar dónde implementaremos este servicio, es necesario verificar que esté disponible en esa región.

fe8bce8a-cb80-47d5-8a59-58d007ece2fc-5088363

Una vez registrado el servicio, necesitaremos apuntar el nombre de la conexión a la API, la Clave de Cuenta y el punto final para acceder a este servicio.

eee1e6f7-457f-4752-abaa-0ca9ee6962e9-2428686

7a1662c0-f1aa-4702-86a3-adad63fea25b-9847858

TERCER PASO: ESTABLECER EL FLUJO

Accedemos a Flow y creamos un nuevo flujo que se lanzará cuando se cree un nuevo archivo en un sitio y una biblioteca de Sharepoint seleccionados:

4ab58a45-02d2-47fd-a199-8d4344121021-7598249

Una vez hecho esto, recuperaremos los datos de la imagen que se acaba de almacenar en el Sharepoint para enviarla a nuestra API de reconocimiento de imágenes.

ae79a779-e5ad-46b9-9528-457020a69019-7685792

En este punto conectaremos el Flow a nuestra API con la capacidad Imagen de etiqueta indicando los parámetros que señalamos en el paso anterior.

4d0b713c-cfe7-45e3-91b4-b965ffa3fbe1-4419030

Luego te indicaremos que el envío será directamente el contenido y no desde la url y te indicaremos que esta es la salida del paso anterior.

f0f9807e-9bfc-46ba-9ad2-cd217c93eae9-2443172

Ahora solo será necesario adaptar el JSON del resultado a un arreglo de caracteres separados por coma, para ello usaremos las funciones Seleccionar y Unir.

86ecdf8e-4e2a-406e-97a2-009641603657-9841457

Finalmente, solo tendremos que agregar este arreglo de etiquetas a la columna que creamos en el paso 1 para la imagen que estamos tratando.

35ed9f91-0afe-46fd-81d8-098b876ef800-7488626

¡Y LISTO!

Guardamos el Flow y procedemos a ejecutarlo para comprobar su funcionamiento:

ca92a65f-7ce5-4058-b783-d09d20b1b719-3995324

Una vez cargadas las imágenes, comprobamos que el Flow se ejecuta correctamente.

81763a22-bbb7-4856-b22e-9fd89bd0b50f-1166178

Podemos ver el JSON que devuelve nuestro servicio de reconocimiento de imágenes.

b2e2eb3c-eb85-4cbd-9e53-fb8305863d0c-1424103

Y finalmente el resultado en la columna AutoTags

44a95179-0800-4a01-ae95-c2aaf6117b14-5670304

PASO 4: ESTO NO ES TODO, HAY MUCHO MAS

Como hemos visto, las múltiples habilidades que tiene este servicio cognitivo, sumadas a la facilidad de conexión con otras aplicaciones gracias a Microsoft Flow, nos permiten jugar con múltiples configuraciones como agregar etiquetas solo cuando pasan un porcentaje específico de éxito, generando otro flujo que lea este campo etiquetado y coincida con otros metadatos para un etiquetado más eficiente o incluso concatenar solicitudes de API para obtener más datos de la foto, como la descripción.

Agregamos la función a Flow Describe la imagen
(Este flujo es un ejemplo, en este caso la función Describir imagen también incluye las etiquetas como salida, por lo que no debe concatenarse con la función Etiqueta de imagen) apuntando a una nueva columna multilínea que hemos creado en nuestra biblioteca anteriormente.

e63048a2-61db-4417-b4ca-64f44fcc02d3-2167333

Ahora nuestras imágenes se autoetiquetan y además obtienen una descripción de forma totalmente automatizada en nuestro Sharepoint incluyendo el reconocimiento de personajes y marcas famosas, como en este caso Keanu Reeves.

460fa498-3f8b-4a23-bc7a-81b9c2bfa369-4601056

554b60c8-bb6b-43cc-9440-68c3b026fea1-7391903

Descargo de responsabilidad: Para la elaboración de este tutorial, ningún animal relacionado con Keanu Reeves o su alter ego John Wick ha sido maltratado.


Suscribite a nuestro Newsletter

No te enviaremos correo SPAM. Lo odiamos tanto como tú.