Summary  
This chapter explains the sigmoid and tanh activation functions, detailing how they squash input values into bounded ranges (0 to 1 for sigmoid, –1 to 1 for tanh) and how those ranges influence gradient behavior and gating decisions in network layers.

General domain of usage  
Recurrent neural networks

As funções de ativação **sigmoid** e **tanh** são analisadas, pois desempenham um papel fundamental no funcionamento das **RNNs**.

As funções **sigmoid** e **tanh** transformam entradas em saídas, permitindo que o modelo faça previsões.


Definição

- **Ativação sigmoid**: a função sigmoid mapeia valores de entrada para um intervalo de saída entre 0 e 1. É comumente utilizada em tarefas de classificação binária, pois sua saída pode ser interpretada como uma probabilidade. No entanto, sofre com o **problema do gradiente desaparecendo** quando os valores de entrada são muito grandes ou muito pequenos;
- **Ativação tanh**: a função **tanh** é semelhante à sigmoid, mas mapeia os valores de entrada para um intervalo de saída entre -1 e 1. Isso ajuda a centralizar os dados em torno de zero, o que pode facilitar o aprendizado. Apesar dos benefícios, também sofre com o problema do gradiente desaparecendo em certas situações;
- **Funcionamento do sigmoid e tanh**: ambas as funções atuam comprimindo os valores de entrada em um intervalo limitado. A principal diferença está no intervalo de saída: **sigmoid** (0 a 1) vs. **tanh** (-1 a 1), o que afeta como a rede processa e atualiza as informações.

No próximo capítulo, será abordado como essas funções de ativação desempenham um papel em redes **LSTM** e como ajudam a superar algumas das limitações das RNNs padrão.


Qual é o intervalo de saída da função de ativação sigmoid?

Domine redes neurais recorrentes e suas variantes avançadas como LSTMs e GRUs utilizando PyTorch. Adquira experiência prática no processamento de dados sequenciais para aplicações reais. Aplique esses modelos poderosos para enfrentar desafios do mundo real em previsão de séries temporais e diversas tarefas de processamento de linguagem natural.

Aborda as limitações das redes neurais tradicionais para dados sequenciais e apresenta os fundamentos das Redes Neurais Recorrentes. Explica a arquitetura das RNNs, seus tipos e a implementação passo a passo por meio de exemplos básicos e um desafio de programação.

Explora desafios comuns de treinamento, como gradientes desaparecendo e explodindo. Introduz variantes avançadas de RNN, incluindo LSTM e GRU, destacando seus mecanismos internos e casos de uso, com exemplos práticos de implementação para cada uma.

Foca no processamento e previsão de dados de séries temporais utilizando modelos baseados em RNN. Inclui carregamento de dados, técnicas de pré-processamento, treinamento de modelos e avaliação de desempenho, com ênfase na comparação entre as arquiteturas LSTM e GRU.

Demonstra a aplicação de RNNs em tarefas de classificação de texto. Aborda conceitos fundamentais de PLN, métodos de codificação de texto, etapas de preparação de dados e construção de um modelo baseado em LSTM para previsão de sentimento.

Ativação Sigmoid e Tanh

Awesome!

Ativação Sigmoid e Tanh