Autoencoders Variacionais (VAEs)

Autoencoders e Autoencoders Variacionais

Autoencoders são redes neurais projetadas para aprender representações eficientes de dados por meio de processos de codificação e decodificação. Um autoencoder padrão consiste em dois componentes:

1. Codificador: comprime os dados de entrada em uma representação de menor dimensão.
2. Decodificador: reconstrói os dados originais a partir da representação comprimida.

Autoencoders tradicionais aprendem mapeamentos determinísticos, ou seja, comprimem os dados em um espaço latente fixo. No entanto, apresentam dificuldades em gerar saídas diversas, pois seu espaço latente carece de estrutura e suavidade.

Diferenças entre Autoencoders Padrão e VAEs

Variational Autoencoders (VAEs) aprimoram os autoencoders padrão ao introduzir um espaço latente probabilístico, permitindo a geração estruturada e significativa de novos dados.

Estrutura Encoder-Decoder e Representação do Espaço Latente

VAEs consistem em dois componentes principais:

1. Encoder: Mapeia os dados de entrada para uma distribuição de probabilidade em um espaço latente de menor dimensão $z$.
2. Decoder: Realiza amostragens a partir do espaço latente e reconstrói os dados de entrada.

Formulação Matemática:

O codificador produz uma média e variância para o espaço latente:

onde:

• $\mu$ representa a média da distribuição do espaço latente;
• $\sigma^2$ representa a variância;
• $f_\mu$ e $f_\sigma$ são funções parametrizadas por $\theta$, normalmente implementadas como redes neurais.

Em vez de passar esses parâmetros diretamente para o decodificador, realiza-se uma amostragem de uma distribuição Gaussiana utilizando o truque de reparametrização:

onde:

• $\odot$ representa multiplicação elemento a elemento;
• $\epsilon$ é uma variável aleatória extraída de uma distribuição normal padrão.

Esse truque permite que os gradientes se propaguem pelo processo de amostragem, tornando possível a retropropagação. Sem esse truque, a operação estocástica de amostragem tornaria o aprendizado baseado em gradientes inviável.

O decodificador reconstrói a entrada a partir de $z$ aprendendo uma função $g(z; \phi)$, que fornece os parâmetros da distribuição dos dados. A rede do decodificador é treinada para minimizar a diferença entre os dados reconstruídos e os originais, garantindo reconstruções de alta qualidade.

Modelagem Probabilística em VAEs

VAEs são baseados em inferência Bayesiana, o que permite modelar a relação entre os dados observados $x$ e as variáveis latentes $z$ usando distribuições de probabilidade. O princípio fundamental é baseado no teorema de Bayes:

Como calcular $p(x)$ requer integrar sobre todas as possíveis variáveis latentes, o que é intratável, VAEs aproximam o posterior $p(z∣x)$ com uma função mais simples $q(z∣x)$, permitindo inferência eficiente.

Evidence Lower Bound (ELBO)

Em vez de maximizar a verossimilhança marginal intratável $p(x)$, VAEs maximizam seu limite inferior, chamado de Evidence Lower Bound (ELBO):

onde:

• O primeiro termo, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, é a perda de reconstrução, garantindo que a saída se assemelhe à entrada;
• O segundo termo, $D_{KL}(q(z|x)\ ||\ p(z))$, é a divergência KL, que regulariza o espaço latente ao garantir que $q(z∣x)$ permaneça próximo ao prior $p(z)$.

Ao equilibrar esses dois termos, VAEs alcançam um compromisso entre reconstruções precisas e representações suaves do espaço latente.

Aplicações de VAEs

1. Detecção de Anomalias

VAEs podem aprender a estrutura normal dos dados. Ao encontrar entradas anômalas, o modelo tem dificuldade em reconstruí-las, resultando em erros de reconstrução mais altos, que podem ser usados para detectar outliers.

2. Síntese de Imagens

VAEs podem gerar novas imagens ao amostrar do espaço latente aprendido. São amplamente utilizados em aplicações como:

• Geração de rostos (por exemplo, geração de novos rostos humanos);
• Transferência de estilo (por exemplo, mesclagem de estilos artísticos).

3. Geração de Texto

VAEs podem ser adaptados para tarefas de processamento de linguagem natural (PLN), onde são usados para gerar sequências de texto diversas e coerentes.

4. Descoberta de Fármacos

VAEs têm sido aplicados em bioinformática e descoberta de fármacos, onde geram estruturas moleculares com propriedades desejadas.

Conclusão

Variational Autoencoders são uma classe poderosa de modelos generativos que introduzem modelagem probabilística aos autoencoders. Sua capacidade de gerar dados diversos e realistas os tornou um componente fundamental da IA generativa moderna.

Comparados aos autoencoders tradicionais, os VAEs fornecem um espaço latente estruturado, melhorando as capacidades generativas. Com o avanço das pesquisas, os VAEs continuam desempenhando um papel crucial em aplicações de IA que abrangem visão computacional, PLN e além.