Auto-rotulagem de imagens no Sharepoint com Flow e Cognitive Services

Conteúdo

Você tem 15 minutos? Nós vamos, ya tiene todo lo que necesita para poder integrar el servicio de reconocimiento cognitivo de imágenes de Microsoft en sus bibliotecas de Sharepoint y comenzar a autoetiquetar sus imágenes de acuerdo con su contenido de forma gratuita y sin necesidad de código.

Quão? Una vez más la clave está en el FLUJO

Atualmente el servicio de creación de workflows y automatización Microsoft Flow No solo tiene una amplia gama de conexiones para administrar elementos en bibliotecas y listas de Sharepoint, sino que también tiene múltiples conectores para Cognitive Services de Microsoft, incluido el servicio API de Computer Vision.

dc65b677-21af-4e34-a0cc-eed6d9ea80c2-3603829

Este servicio que tiene una versión gratuita hasta 5000 solicitudes / minha, nos permitirá extraer los datos de la imagen y entre sus aplicaciones tenemos la capacidad de conocer palabras clave o “rótulos” que nos brindan información relevante sobre la misma, para luego guardar ellos como metadatos asociados a dicha imagen en Sharepoint.

PASOS A SEGUIR:

  1. Configurar una biblioteca de Sharepoint donde almacenar las imágenes
  2. Configurar el recurso de la API de Azure Computer Vision
  3. Configurar un flujo que se lanza cuando se almacena una nueva imagen y envía su contenido a nuestra API de reconocimiento de imágenes
  4. CARACTERÍSTICAS ADICIONALES

PRIMER PASO: CONFIGURACIÓN DE NUESTRA BIBLIOTECA

Para poder utilizar las capacidades de reconocimiento de imágenes primero tendremos que establecer dónde se almacenarán estas y cuál será el campo donde agreguemos el etiquetado, para esto usaremos una biblioteca de Sharepoint y crearemos una columna que llamaremos AutoTags.

ec8494a5-2e46-4bfd-be5b-73d37d3c0929-9340040

SEGUNDO PASO: CONFIGURE NUESTRO SERVICIO COGNITIVO VISION API

Para registrar el servicio de reconocimiento de imágenes cognitivas, simplemente acceda al portal de Azure y agregue un nuevo recurso indicando su nombre, la suscripción donde se alojará, la ubicación de la implementación y el grupo de recursos al que pertenecerá.

55c6ce61-3c2f-4f78-a176-b9c7b95f6708-1206771

Antes de selecionar dónde implementaremos este servicio, es necesario verificar que esté disponible en esa región.

fe8bce8a-cb80-47d5-8a59-58d007ece2fc-5088363

Una vez registrado el servicio, necesitaremos apuntar el nombre de la conexión a la API, la Clave de Cuenta y el punto final para acceder a este servicio.

eee1e6f7-457f-4752-abaa-0ca9ee6962e9-2428686

7a1662c0-f1aa-4702-86a3-adad63fea25b-9847858

TERCER PASO: ESTABLECER EL FLUJO

Accedemos a Flow y creamos un nuevo flujo que se lanzará cuando se cree un nuevo archivo en un sitio y una biblioteca de Sharepoint seleccionados:

4ab58a45-02d2-47fd-a199-8d4344121021-7598249

Uma vez feito isso, recuperaremos los datos de la imagen que se acaba de almacenar en el Sharepoint para enviarla a nuestra API de reconocimiento de imágenes.

ae79a779-e5ad-46b9-9528-457020a69019-7685792

En este punto conectaremos el Flow a nuestra API con la capacidad Imagem de etiqueta indicando os parametros que assinalámos no passo anterior.

4d0b713c-cfe7-45e3-91b4-b965ffa3fbe1-4419030

Depois indicar-te-emos que o envio será diretamente o conteúdo e não a partir da URL e indicar-te-emos que esta é a saída do passo anterior.

f0f9807e-9bfc-46ba-9ad2-cd217c93eae9-2443172

Agora só será necessário adaptar o JSON do resultado para um array de caracteres separados por vírgula, para isso usaremos as funções Selecionar e Unir.

86ecdf8e-4e2a-406e-97a2-009641603657-9841457

Finalmente, só teremos de adicionar este array de etiquetas à coluna que criámos no passo 1 para a imagem que estamos a tratar.

35ed9f91-0afe-46fd-81d8-098b876ef800-7488626

E PRONTO!

Guardamos o Flow e procedemos à sua execução para verificar o funcionamento:

ca92a65f-7ce5-4058-b783-d09d20b1b719-3995324

Uma vez carregadas as imagens, comprobamos que el Flow se ejecuta corretamente.

81763a22-bbb7-4856-b22e-9fd89bd0b50f-1166178

Podemos ver el JSON que devuelve nuestro servicio de reconocimiento de imágenes.

b2e2eb3c-eb85-4cbd-9e53-fb8305863d0c-1424103

Y finalmente el resultado en la columna AutoTags

44a95179-0800-4a01-ae95-c2aaf6117b14-5670304

PASO 4: ESTO NO ES TODO, HAY MUCHO MAS

Como nós vimos, las múltiples habilidades que tiene este servicio cognitivo, sumadas a la facilidad de conexión con otras aplicaciones gracias a Microsoft Flow, nos permiten jugar con múltiples configuraciones como agregar etiquetas solo cuando pasan un porcentaje específico de éxito, generando otro flujo que lea este campo etiquetado y coincida con otros metadatos para un etiquetado más eficiente o incluso concatenar solicitudes de API para obtener más datos de la foto, como a descrição.

Adicionámos a função ao Flow Descreve a imagem
(Este fluxo é um exemplo, neste caso a função Descrever imagem também inclui as etiquetas como saída, portanto não deve ser concatenada com a função Etiqueta de imagem) apontando para uma nova coluna multilinha que criámos anteriormente na nossa biblioteca.

e63048a2-61db-4417-b4ca-64f44fcc02d3-2167333

Agora as nossas imagens autoetiquetam-se e, além disso, obtêm uma descrição de forma totalmente automatizada no nosso SharePoint incluindo o reconhecimento de personagens e marcas famosas, como neste caso Keanu Reeves.

460fa498-3f8b-4a23-bc7a-81b9c2bfa369-4601056

554b60c8-bb6b-43cc-9440-68c3b026fea1-7391903

Isenção de responsabilidade: Para a elaboração deste tutorial, ningún animal relacionado con Keanu Reeves o su alter ego John Wick ha sido maltratado.


Assine a nossa newsletter

Nós não enviaremos SPAM para você. Nós odiamos isso tanto quanto você.

Datapeaker