Introdução
Imagine um mundo onde as máquinas entendem o que você quer e como você se sente quando liga para o atendimento ao cliente; se você não está satisfeito com algo, fale com uma pessoa rapidamente. Se você estiver procurando por informações específicas, você pode não precisar falar com uma pessoa (A não ser que você queira!).
Esta vai ser a nova ordem mundial; você já pode ver que isso está acontecendo em grande medida. Veja os destaques de 2017 na indústria de ciência de dados. Puede ver los avances que el aprendizado profundoAqui está o caminho de aprendizado para dominar o aprendizado profundo em, Uma subdisciplina da inteligência artificial, depende de redes neurais artificiais para analisar e processar grandes volumes de dados. Essa técnica permite que as máquinas aprendam padrões e executem tarefas complexas, como reconhecimento de fala e visão computacional. Sua capacidade de melhorar continuamente à medida que mais dados são fornecidos a ele o torna uma ferramenta fundamental em vários setores, da saúde... estaba aportando en un campo que antes era difícil de solucionar. Um dos campos que o aprendizado profundo tem potencial para ajudar a abordar é o processamento de áudio. / voz, especialmente devido à sua natureza desestruturada e grande impacto.
Então, para os curiosos, Eu compilei uma lista de tarefas que é importante observar quando você suja as mãos ao iniciar o processamento de áudio. Tenho certeza de que haverá mais alguns avanços no futuro usando o Deep Learning.
A postagem é estruturada para explicar cada tarefa e sua relevância. Também existe um documento de pesquisa que inclui os detalhes dessa tarefa específica., junto com um estudo de caso que o ajudaria a começar a resolver o dever de casa.
Então vamos começar!
1. Classificação de áudio
A classificação de áudio é um obstáculo fundamental no campo do processamento de áudio. A tarefa é essencialmente extrair características do áudio e, subsequentemente, identificar a qual classe o áudio pertence.. Muitos aplicativos úteis associados à classificação de áudio podem ser encontrados na natureza, como classificação de gênero, credenciamento de instrumentos e identificação do artista.
Essa tarefa também é o tópico mais explorado em processamento de áudio.. Muitos posts foram publicados neste campo no ano passado. Na realidade, nós também hospedamos um praticante de hackathon para a colaboração da comunidade para resolver esta tarefa específica.
papel branco – http://ieeexplore.ieee.org/document/5664796/?reload=true
Uma abordagem comum para resolver uma tarefa de classificação de áudio é pré-processar as entradas de áudio para extrair características úteis e, em seguida, aplicar um algoritmo de classificação a elas.. Como um exemplo, no estudo de caso abaixo, se nos da un extrairO extrato é uma substância obtida pela concentração de compostos de origem vegetal, animal ou mineral. Usado em uma variedade de aplicações, como a indústria alimentícia, Farmacêutica e Cosmética. Os extratos podem ser apresentados na forma líquida, em pó ou sob a forma de tinturas, e sua produção envolve técnicas como maceração, Destilação ou extração por solvente. Seu uso permite aproveitar as propriedades benéficas dos ingredientes originais de uma maneira mais adequada.. a partir de 5 segundos de um som, e a tarefa é identificar a que classe pertence, ou um cachorro latindo ou um som de perfuração. Conforme mencionado na postagem, un enfoque para lidiar con esto es extraer una característica de audio llamada MFCC y posteriormente pasarla por medio de una neuronal vermelhoAs redes neurais são modelos computacionais inspirados no funcionamento do cérebro humano. Eles usam estruturas conhecidas como neurônios artificiais para processar e aprender com os dados. Essas redes são fundamentais no campo da inteligência artificial, permitindo avanços significativos em tarefas como reconhecimento de imagem, Processamento de linguagem natural e previsão de séries temporais, entre outros. Sua capacidade de aprender padrões complexos os torna ferramentas poderosas.. para obtener la clase apropiada.
Caso de estudo – https://www.analyticsvidhya.com/blog/2017/08/audio-voice-processing-deep-learning/
2. Impressões digitais de áudio
O objetivo da impressão digital de áudio é determinar o “resumo” áudio digital. Isso é feito para identificar o áudio de uma amostra de áudio. Shazam é um excelente exemplo de aplicativo de impressão digital de áudio. Reconhece música com base nos primeiros dois a cinco segundos de uma música. Apesar disto, ainda existem situações em que o sistema trava, especialmente quando há muito ruído de fundo.
papel branco – http://www.cs.toronto.edu/~dross/ChandrasekharSharifiRoss_ISMIR2011.pdf
Para resolver este problema, uma abordagem pode ser representar o áudio de uma maneira diferente, para que possa ser facilmente decifrado. Subseqüentemente, podemos descobrir os padrões que diferenciam o áudio do ruído de fundo. No estudo de caso abaixo, o autor converte o áudio bruto em espectrogramas e, em seguida, usa algoritmos de pesquisa de pico e hashes de impressão digital para estabelecer as impressões digitais desse arquivo de áudio.
Caso de estudo – http://willdrevo.com/fingerprinting-and-audio-recognition-with-python/
3. Marcação automática de música
Marcação de música é uma versão mais complexa da classificação de áudio. Aqui, podemos ter várias classes às quais cada áudio pode pertencer, também conhecido como um obstáculo de classificação de várias tags. Uma aplicação viável desta tarefa pode ser a criação de metadados para o áudio para poder pesquisá-los posteriormente.. O aprendizado profundo ajudou a resolver essa tarefa até certo ponto, o que pode ser visto no estudo de caso abaixo.
papel branco – https://link.springer.com/article/10.1007/s10462-012-9362-y
Como visto na maioria das tarefas, a primeira etapa é sempre extrair características da amostra de áudio. Subseqüentemente, ordenar de acordo com as nuances do áudio (como um exemplo, se o áudio contém mais ruído instrumental do que a voz do cantor, o rótulo pode ser “instrumental”). Isso pode ser feito por meio de aprendizado de máquina ou métodos de aprendizado profundo.. O estudo de caso mencionado abaixo usa aprendizado profundo para resolver o problema, específicamente la recorrente neuronal vermelhaRedes neurais recorrentes (RNN) são um tipo de arquitetura de rede neural projetada para processar fluxos de dados. Ao contrário das redes neurais tradicionais, As RNNs usam conexões internas que permitem que as informações de entradas anteriores sejam lembradas. Isso os torna especialmente úteis em tarefas como processamento de linguagem natural, Tradução automática e análise de séries temporais, onde o contexto e a sequência são centrais para o... de convolución junto con la extracción de frecuencia Mel.
Caso de estudo – https://github.com/keunwoochoi/music-auto_tagging-keras
4. Segmentação de Áudio
o O desempenho é exibido como gráficos de dispersão e caixaA segmentação é uma técnica de marketing chave que envolve a divisão de um mercado amplo em grupos menores e mais homogêneos. Essa prática permite que as empresas adaptem suas estratégias e mensagens às características específicas de cada segmento, melhorando assim a eficácia de suas campanhas. A segmentação pode ser baseada em critérios demográficos, psicográfico, geográfico ou comportamental, facilitando uma comunicação mais relevante e personalizada com o público-alvo.... significa literalmente dividir um objeto em particular em partes (o segmentos) de acordo com um conjunto definido de características. Segmentação, especialmente para análise de dados de áudio, é uma etapa importante de pré-processamento. Isso ocorre porque podemos segmentar um sinal de áudio longo e barulhento em segmentos curtos e homogêneos. (sequências de áudio curtas práticas) que são usados para processamento posterior. Uma aplicação da tarefa é a segmentação dos sons cardíacos, Em outras palavras, identificar sons cardíacos específicos.
papel branco – http://www.mecs-press.org/ijitcs/ijitcs-v6-n11/IJITCS-V6-N11-1.pdf
Podemos convertir esto en un obstáculo de aprendizagem supervisionadaO aprendizado supervisionado é uma abordagem de aprendizado de máquina em que um modelo é treinado usando um conjunto de dados rotulados. Cada entrada no conjunto de dados está associada a uma saída conhecida, permitindo que o modelo aprenda a prever resultados para novas entradas. Este método é amplamente utilizado em aplicações como classificação de imagens, Reconhecimento de fala e previsão de tendências, destacando sua importância em..., onde cada carimbo de data / hora pode ser categorizado com base nos segmentos necessários. Subseqüentemente, podemos aplicar uma abordagem de classificação de áudio para corrigir o problema. No estudo de caso abaixo, a tarefa é segmentar o som do coração em dois segmentos (ou y dub), para que possamos identificar uma anomalia em cada segmento. Isso pode ser resolvido através da extração de características de áudio e, posteriormente, o aprendizado profundo pode ser aplicado para classificação.
Caso de estudo – https://www.analyticsvidhya.com/blog/2017/11/heart-sound-segmentation-deep-learning/
5. Separação da fonte de áudio
Separação da fonte de áudio envolve isolar um ou mais sinais de origem de uma mistura de sinais. Uma das aplicações mais comuns disso é identificar a letra do áudio para tradução simultânea (karaokê, como um exemplo). Este é um exemplo clássico mostrado no curso de aprendizado de máquina de Andrew Ng, onde você separa o som do alto-falante da música de fundo.
papel branco – http://ijcert.org/ems/ijcert_papers/V3I1103.pdf
Um cenário de uso típico envolve:
- carregando um arquivo de áudio
- calcular uma transformação de tempo-frequência para obter um espectrograma, e
- usando alguns dos algoritmos de separação de fontes (como fatoração de matriz não negativa) para obter uma máscara de tempo-frequência
Subseqüentemente, a máscara é multiplicada com o espectrograma e o resultado é convertido de volta para o domínio do tempo.
Caso de estudo – https://github.com/IoSR-Surrey/untwist
6. Controle de tempo
Como o nome sugere, o objetivo aqui é rastrear a localização de cada batida em uma coleção de arquivos de áudio. Rastreamento de ritmo pode ser usado para automatizar tarefas demoradas que precisam ser concluídas para sincronizar eventos com a música. É útil em várias aplicações, como edição de vídeo, edição de áudio e improvisação entre humanos e computadores.
Uma abordagem para solucionar problemas de rastreamento de batida pode ser analisar o arquivo de áudio e usar um algoritmo de detecção de inicialização para rastrear as batidas.. Mesmo que as técnicas usadas para detecção de inicialização dependam fortemente de engenharia de função de áudio e aprendizado de máquina, o aprendizado profundo pode ser facilmente usado aqui para obter o máximo dos resultados.
Caso de estudo – https://github.com/adamstark/BTrack
7. Recomendação musical
Graças a internet, agora temos milhões de músicas que podemos ouvir a qualquer momento. Ironicamente, Isso tornou ainda mais difícil descobrir novas músicas devido ao grande número de alternativas que existem.. Recomendação musical Os sistemas ajudam a lidar com essa sobrecarga de informações, recomendando automaticamente novas músicas aos ouvintes. Provedores de conteúdo como Spotify e Saavn desenvolveram mecanismos de recomendação de música altamente sofisticados. Esses modelos aproveitam o histórico de escuta do usuário, entre muitos outros recursos, para criar listas de recomendações personalizadas.
papel branco – https://pdfs.semanticscholar.org/7442/c1ebd6c9ceafa8979f683c5b1584d659b728.pdf
Podemos enfrentar o desafio de personalizar as preferências de escuta treinando um modelo de regressão / aprendizado profundo. Isso pode ser usado para prever as representações latentes de músicas que foram obtidas a partir de um modelo de filtragem colaborativa.. Desta maneira, poderíamos prever a representação de uma música no espaço de filtragem colaborativa, mesmo se nenhum dado de uso estiver disponível.
Caso de estudo – http://benanne.github.io/2014/08/05/spotify-cnns.html
8. Recuperação de música
Uma das tarefas mais difíceis no processamento de áudio, Mrecuperação usic visa essencialmente construir um motor de busca baseado em áudio. Mesmo que possamos fazer isso resolvendo subtarefas como impressão digital de áudio, esta tarefa abrange muito mais do que isso. Como um exemplo, também temos que resolver diferentes tarefas menores para diferentes tipos de recuperação de música (detecção de anel seria ótimo para identificação de gênero). Neste momento, não há nenhum outro sistema que foi desenvolvido para atender aos padrões esperados da indústria.
papel branco – http://www.nowpublishers.com/article/Details/INR-042
A tarefa de recuperar a música é dividida em etapas menores e mais fáceis, incluindo análise tonal (como um exemplo, melodia e harmonia) e o ritmo ou andamento (como um exemplo, rastreamento de tempo). Subseqüentemente, com base nessas análises individuais, as informações são extraídas e usadas para recuperar amostras de áudio semelhantes.
Caso de estudo – https://youtu.be/oGGVvTgHMHw
9. Transcrição de música
Transcrição de música é outra tarefa desafiadora de processamento de áudio. É sobre anotar áudio e criar uma espécie de “Folha” para gerar música a partir dele posteriormente. O esforço manual envolvido em transcrevendo música de gravações pode ser enorme. Isso varia muito, dependendo da complexidade do música, quão boas nossas habilidades de escuta são e quão detalhadas queremos transcrição ser.
papel branco – http://ieeexplore.ieee.org/abstract/document/7955698
A abordagem da transcrição de música é equivalente à do credenciamento de voz, onde as notas musicais são transcritas em extratos líricos de instrumentos.
Caso de estudo – https://youtu.be/9boJ-Ai6QFM
10. Iniciar detecção
A detecção de lançamento é a primeira etapa na análise de um fluxo de áudio / música. Para a maioria das tarefas mencionadas anteriormente, é algo necessário para realizar uma detecção de inicialização, Em outras palavras, detectar o início de um evento de áudio. A detecção de lançamento foi essencialmente a primeira tarefa que os pesquisadores tentaram resolver no processamento de áudio..
papel branco – http://citeseerx.ist.psu.edu/viewdoc/download?doi = 10.1.1.332.989&rep = rep1&type = pdf
A detecção de início geralmente é feita por meio de:
- calcular uma função de novidade espectral
- encontrar picos na função de novidade espectral
- recuando de cada pico para um mínimo local anterior. O retrocesso pode ser útil para encontrar pontos de interrupção, de modo que o início ocorra logo após o início do segmento.
Caso de estudo – https://musicinformationretrieval.com/onset_detection.html
Notas finais
Neste post, Mencionei algumas tarefas que podem ser consideradas ao solucionar problemas de processamento de áudio. Espero que você ache a postagem útil ao abordar projetos relacionados a áudio e fala.
