Grande parte dos dados que as instituições recolhem será utilizada para impulsionar a forma como fazem negócios. Quer seja informação sobre como os utilizadores usam o seu produto, resultados recolhidos dos esforços de marketing ou estatísticas internas sobre os processos de desenvolvimento; trata-se de ativos que não têm nada a ver com dados obscuros.
Apesar disto, nesse oceano de dados em constante crescimento não toda a informação é igualmente rentável. Juntamente com essa informação valiosa, armazenam-se ainda grandes quantidades de dados que não têm qualquer valor tático real. e que, ao mesmo tempo, continua a aumentar.
A Gartner definiu esta informação não gerida como dados obscuros ou dados fornecidos. Este tipo de informação representa um esforço costoso e potencialmente arriscado para as instituições que poderiam converter-se en um importante Estorbo no uso de Big Data.
Qué datos hay en la organización?
La information disponible en la organización se pode categorizar en quatro categorias:
- Datos conhecidos y usados. Esta informação se identifica e utiliza com fins analíticos qualquer outro propósito que agregue valor à organização.
- Datos conhecidos pero no utilizados. Esta informação ha sido armazenada depois de ser identificada nos processos de análisis, pero no es factible utilizarla, ya sea por falta de tiempo, presupuesto o desconocimiento de cómo lograrlo. Em ocasiones a não utilização se deve a que o tamanho e formato de estes dados superam las posibilidades de la compañía.
- Datos conocidos pero desorganizados. Este fenómeno tiene mucho que ver con la aparición de Big Data. Cuando trabajamos con estruturas Hadoop tendemos a guardar sin orden, relegando este trabalho y modelado al futuro. Mas o dia de concentrarse em organizar toda essa informação, na maioria dos casos, nunca chega. Aún cuando el primer paso es que este dato no se escape, y su recolección es un éxito; El esfuerzo no está dando sus frutos, puesto que cuesta mucho extraer valor de esos clústeres de Hadoop.
- Datos desconocidos. Como no han sido identificados, estos datos no pueden ser utilizados por las compañías.
Hay que prestar atenção un par de aspectos, naquela la mayoría de estos datos no están estructurados e que, aunque el primer grupo es el más pequeño, el mayor volumen de datos se concentra en la última categoria.
Un estudio de EMC Digital, comparando la evolución, Desculpe-me el tamaño de los datos digitales está aumentando, multiplicándose por 10 en siete años; pero fundamentalmente, cómo esta proporción persiste en la pequeña proporción de estos datos que se encuentran disponíveis en sistemas analíticos y sistemas embebidos, y que provienen de dispositivos móviles. Em outras palavras, se trata de un gran tamaño de información que no solo creve, sino que además contribuye a incrementar el desafío de poder aprovecharlo, en parte por el tipo de formatos, donde más del 90% son desestruturados y, por tanto, de difícil utilização e difícil de consumir.
O que são os dados escuros?
Os dados têm estado durante muito tempo prisioneiros da tecnologia, as aplicações e as pessoas.. Por sorte, a maturidade dos sistemas permite-nos libertá-los e colocá-los à disposição de toda a organização.
E neste conceito de liberalização surgem dados obscuros, dados obscuros, uma definição criada pela Gartner e que se estabelece como 'os ativos de informação que as empresas processam e armazenam durante as suas atividades comerciais', mas que não podem usar para outros fins, como a visão analíticaAnalytics refere-se ao processo de coleta, Meça e analise dados para obter insights valiosos que facilitam a tomada de decisões. Em vários campos, como negócio, Saúde e esporte, A análise pode identificar padrões e tendências, Otimize processos e melhore resultados. O uso de ferramentas avançadas e técnicas estatísticas é essencial para transformar dados em conhecimento aplicável e estratégico.... ou a monetização. Ou seja, Não são convertíveis nem reutilizáveis e, por tanto, não trazem valor.
Apesar disto, este conceito de dados escuros progride com o tempo.. Na atualidade, agora é possível aceder e explorar o valor de grande parte desses dados. Aún cuando aún hay grandes áreas que no son accesibles y continúan cumpliendo con esta premisa, son datos oscuros.
¿Qué problemas geram los datos oscuros?
Los datos oscuros actúan como um lastre para las instituciones, puesto que este tipo de datos implica inconvenientes como:
- Mayor costo de la administración de datos.
- Aumento del riesgo.
Hay muchos problemas associados con los datos oscuros que podem volverse mais frequentes a medida que pasa el tiempo. El primero es el más obvio: o espaço. A medida que los datos desorganizados continúan creciendo, ocupar espaço de almacenamiento que de otro modo podría utilizarse para activos más valiosos. Más almacenamiento significa más gastos generales, naquela, especialmente en la era de Big Data, é uma preocupação importante na maioria das instituições.
Ao mesmo tempo que aumenta os custos de armazenamento, ter grandes quantidades de dados não estruturados ou desorganizados pode acarretar sérios riscos de segurança. Juntamente com documentos obsoletos e aparentemente inúteis, é provável que os dados escuros também contenham informações confidenciais que os hackers poderiam querer interceptar.
No outro extremo do espectro, a organização também pode estar a perder grandes oportunidades ao permitir que os dados escuros se acumulem na base de dadosUm banco de dados é um conjunto organizado de informações que permite armazenar, Gerencie e recupere dados com eficiência. Usado em várias aplicações, De sistemas corporativos a plataformas online, Os bancos de dados podem ser relacionais ou não relacionais. O design adequado é fundamental para otimizar o desempenho e garantir a integridade das informações, facilitando assim a tomada de decisão informada em diferentes contextos..... É provável que exista um grande potencial por explorar dentro dessa massa de informação, e quanto mais aumenta, sem ordem nem controlo, más difícil se torna para la organización extraer el valor de esos datos.
