Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

Se presenta una comparación que destaca las diferencias clave entre las redes **long short-term memory (LSTM)** y **gated recurrent unit (GRU)**.


Aborda el problema del desvanecimiento del gradiente en RNNs, captura dependencias a largo plazo.

Aborda el problema del desvanecimiento del gradiente en RNNs, captura dependencias a largo plazo con una estructura más simple.

1. Compuerta de olvido: decide qué información descartar;2. Compuerta de entrada: decide qué nueva información almacenar;3. Compuerta de salida: decide qué parte del estado de la celda se debe emitir.

1. Compuerta de reinicio: decide cuánta información pasada olvidar;2. Compuerta de actualización: controla la actualización del estado oculto.

Mantiene un estado de celda separado (memoria a largo plazo).

No tiene un estado de celda separado. Utiliza solo el estado oculto para transportar información.

El flujo de información está regulado por las tres compuertas y un estado de celda separado.

El flujo de información está regulado por las dos compuertas y el estado oculto.

Más complejo debido a los estados de celda y ocultos separados y una compuerta adicional.

Más simple que LSTM, lo que puede llevar a un entrenamiento e inferencia más rápidos.

Más lento debido a una arquitectura más compleja.

Más rápido debido a menos parámetros y cálculos más simples.

Puede tener mejor rendimiento en tareas que requieren aprendizaje de dependencias a largo plazo.

Comparable a LSTM en muchas tareas, a veces mejor en conjuntos de datos pequeños.

Ampliamente utilizado en reconocimiento de voz, modelado de lenguaje, predicción de series temporales.

También utilizado en tareas similares, a menudo elegido cuando los recursos computacionales son limitados.

Más parámetros debido a la compuerta adicional y el estado de celda separado.

Menos parámetros, lo que puede reducir el riesgo de sobreajuste y mejorar la generalización.

Descargar el código de este capítulo

Domina las redes neuronales recurrentes y sus variantes avanzadas como LSTM y GRU utilizando PyTorch. Adquiere experiencia práctica en el procesamiento de datos secuenciales para aplicaciones reales. Aplica estos modelos potentes para abordar desafíos del mundo real en la predicción de series temporales y diversas tareas de procesamiento de lenguaje natural.

Aborda las limitaciones de las redes neuronales tradicionales para datos secuenciales e introduce los fundamentos de las Redes Neuronales Recurrentes. Explica la arquitectura de las RNN, sus tipos y la implementación paso a paso mediante ejemplos básicos y un desafío de codificación.

Explora desafíos comunes de entrenamiento como los gradientes desvanecientes y explosivos. Presenta variantes avanzadas de RNN, incluyendo LSTM y GRU, destacando sus mecanismos internos y casos de uso, con ejemplos prácticos de implementación para cada una.

Se centra en el procesamiento y la predicción de datos de series temporales utilizando modelos basados en RNN. Incluye carga de datos, técnicas de preprocesamiento, entrenamiento de modelos y evaluación del rendimiento, con énfasis en la comparación de las arquitecturas LSTM y GRU.

Demuestra la aplicación de RNN a tareas de clasificación de texto. Cubre conceptos fundamentales de PLN, métodos de codificación de texto, pasos de preparación de datos y construcción de un modelo basado en LSTM para la predicción de sentimientos.

LSTM vs. GRU para Series Temporales