Le funzioni di attivazione sigmoidale e tanh vengono analizzate, poiché svolgono un ruolo fondamentale nel funzionamento delle RNN. Queste funzioni trasformano gli input in output, consentendo al modello di effettuare previsioni.

• Attivazione sigmoidale: la funzione sigmoidale mappa i valori di input in un intervallo di output compreso tra 0 e 1. È comunemente utilizzata nei compiti di classificazione binaria, poiché il suo output può essere interpretato come una probabilità. Tuttavia, soffre del problema del gradiente che svanisce quando i valori di input sono molto grandi o molto piccoli;
• Attivazione tanh: la funzione tanh è simile alla sigmoidale ma mappa i valori di input in un intervallo di output compreso tra -1 e 1. Aiuta a centrare i dati intorno allo zero, il che può facilitare l'apprendimento. Nonostante i suoi vantaggi, anche questa funzione può soffrire del problema del gradiente che svanisce in determinate situazioni;
• Funzionamento di sigmoidale e tanh: entrambe le funzioni operano comprimendo i valori di input in un intervallo limitato. La differenza principale risiede nell'intervallo di output: sigmoidale (da 0 a 1) vs. tanh (da -1 a 1), il che influenza il modo in cui la rete elabora e aggiorna le informazioni.

Nel prossimo capitolo, esamineremo come queste funzioni di attivazione svolgano un ruolo nelle reti LSTM e come contribuiscano a superare alcune delle limitazioni delle RNN standard.