Decorador de Función

Un decorador de función es una herramienta que 'envuelve' una función para modificar su comportamiento. En TensorFlow, el decorador más utilizado es @tf.function, que convierte una función de Python en un grafo de TensorFlow.

Propósito de @tf.function

El propósito principal de utilizar decoradores como @tf.function es optimizar los cálculos. Cuando una función se decora con @tf.function, TensorFlow convierte la función en un grafo altamente eficiente que puede ejecutarse mucho más rápido, especialmente para operaciones complejas. Esta conversión permite que TensorFlow aplique optimizaciones y aproveche el paralelismo, lo cual es fundamental para el rendimiento en tareas de aprendizaje automático.

Ejemplo

Se proporciona un ejemplo para una mejor comprensión.


              1234567891011
            
import tensorflow as tf

# Define a simple function and decorate it with `@tf.function`
@tf.function
def compute_area(radius):
    return 3.1415 * radius ** 2

# Call the function
area = compute_area(tf.constant(3.0))

print(f"The area is: {area.numpy()}")

En este código, compute_area() se convierte en un grafo de TensorFlow, lo que permite que se ejecute de manera más rápida y eficiente.

¿Cómo funciona la ejecución en grafo?

TensorFlow opera en dos modos: Ejecución Eager y Ejecución en Grafo. Por defecto, TensorFlow se ejecuta en modo Eager, lo que significa que las operaciones se ejecutan a medida que se definen, proporcionando una interfaz flexible e intuitiva. Sin embargo, la Ejecución Eager puede ser menos eficiente para cálculos complejos y modelos a gran escala.

Aquí es donde entran en juego @tf.function y la Ejecución en Grafo. Cuando se utiliza el decorador @tf.function en una función, TensorFlow convierte esa función en un grafo estático de operaciones.

Técnicas de Optimización

Optimización de Grafos: TensorFlow optimiza el grafo eliminando nodos no utilizados, fusionando subgrafos duplicados y realizando otras optimizaciones a nivel de grafo. Esto resulta en una ejecución más rápida y un menor uso de memoria.
Ejecución Más Rápida: los grafos se ejecutan más rápido que las operaciones en modo eager porque reducen la sobrecarga de Python. Python no interviene en la ejecución del grafo, lo que elimina la sobrecarga de las llamadas al intérprete de Python.
Paralelismo y Distribución: los grafos permiten que TensorFlow identifique fácilmente oportunidades de paralelismo y distribuya los cálculos entre múltiples dispositivos, como CPUs y GPUs.
Caché y Reutilización: cuando una función decorada con @tf.function se llama con la misma firma de entrada, TensorFlow reutiliza el grafo previamente creado, evitando la necesidad de recrearlo, lo que ahorra tiempo.

Ejemplo con Gradient Tape


              1234567891011
            
import tensorflow as tf

@tf.function
def compute_gradient(x):
    with tf.GradientTape() as tape:
        y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable(3.0)
grad = compute_gradient(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

En este ejemplo, compute_gradient es una función que calcula el gradiente de y = x^3 en un punto dado x. El decorador @tf.function asegura que la función se ejecute como un grafo de TensorFlow.

Ejemplo con lógica condicional


              1234567891011121314
            
import tensorflow as tf

@tf.function
def compute_gradient_conditional(x):
    with tf.GradientTape() as tape:
        if tf.reduce_sum(x) > 0:
            y = x * x
        else:
            y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable([-2.0, 2.0])
grad = compute_gradient_conditional(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

En este ejemplo, la función calcula diferentes gradientes según una condición. El decorador @tf.function de TensorFlow no solo convierte el grafo de cómputo estático, sino que también gestiona eficazmente elementos dinámicos como condicionales y bucles.

Tarea

Swipe to start coding

En esta tarea, comparará los tiempos de ejecución de dos funciones de TensorFlow que realizan la multiplicación de matrices: una con el decorador @tf.function y otra sin él.

Pasos

Definir la función matrix_multiply_optimized asegurándose de que incluya el decorador @tf.function.
Completar ambas funciones calculando la media de las matrices resultantes.
Generar dos matrices aleatorias distribuidas uniformemente utilizando las funciones de generación de matrices aleatorias de TensorFlow.

Solución

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 2. Capítulo 2

single

Pregunte a AI

Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla

Awesome!

Completion rate improved to 5.56

Desliza para mostrar el menú

Decorador de Función

Propósito de @tf.function

Ejemplo

Se proporciona un ejemplo para una mejor comprensión.


              1234567891011
            
import tensorflow as tf

# Define a simple function and decorate it with `@tf.function`
@tf.function
def compute_area(radius):
    return 3.1415 * radius ** 2

# Call the function
area = compute_area(tf.constant(3.0))

print(f"The area is: {area.numpy()}")

En este código, compute_area() se convierte en un grafo de TensorFlow, lo que permite que se ejecute de manera más rápida y eficiente.

¿Cómo funciona la ejecución en grafo?

Técnicas de Optimización

Optimización de Grafos: TensorFlow optimiza el grafo eliminando nodos no utilizados, fusionando subgrafos duplicados y realizando otras optimizaciones a nivel de grafo. Esto resulta en una ejecución más rápida y un menor uso de memoria.
Ejecución Más Rápida: los grafos se ejecutan más rápido que las operaciones en modo eager porque reducen la sobrecarga de Python. Python no interviene en la ejecución del grafo, lo que elimina la sobrecarga de las llamadas al intérprete de Python.
Paralelismo y Distribución: los grafos permiten que TensorFlow identifique fácilmente oportunidades de paralelismo y distribuya los cálculos entre múltiples dispositivos, como CPUs y GPUs.
Caché y Reutilización: cuando una función decorada con @tf.function se llama con la misma firma de entrada, TensorFlow reutiliza el grafo previamente creado, evitando la necesidad de recrearlo, lo que ahorra tiempo.

Ejemplo con Gradient Tape


              1234567891011
            
import tensorflow as tf

@tf.function
def compute_gradient(x):
    with tf.GradientTape() as tape:
        y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable(3.0)
grad = compute_gradient(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

Ejemplo con lógica condicional


              1234567891011121314
            
import tensorflow as tf

@tf.function
def compute_gradient_conditional(x):
    with tf.GradientTape() as tape:
        if tf.reduce_sum(x) > 0:
            y = x * x
        else:
            y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable([-2.0, 2.0])
grad = compute_gradient_conditional(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

Tarea

Swipe to start coding

En esta tarea, comparará los tiempos de ejecución de dos funciones de TensorFlow que realizan la multiplicación de matrices: una con el decorador @tf.function y otra sin él.

Pasos

Definir la función matrix_multiply_optimized asegurándose de que incluya el decorador @tf.function.
Completar ambas funciones calculando la media de las matrices resultantes.
Generar dos matrices aleatorias distribuidas uniformemente utilizando las funciones de generación de matrices aleatorias de TensorFlow.

Solución

Cambia al escritorio para practicar en el mundo realContinúe desde donde se encuentra utilizando una de las siguientes opciones

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 2. Capítulo 2

single

Ejecución de Grafos

Decorador de Función

Propósito de @tf.function

Ejemplo

¿Cómo funciona la ejecución en grafo?

Técnicas de Optimización

Ejemplo con Gradient Tape

Ejemplo con lógica condicional

Pasos

Solución

Awesome!

Ejecución de Grafos

Decorador de Función

Propósito de @tf.function

Ejemplo

¿Cómo funciona la ejecución en grafo?

Técnicas de Optimización

Ejemplo con Gradient Tape

Ejemplo con lógica condicional

Pasos

Solución