Batches in der Datenverarbeitung

Beim Training eines Machine-Learning-Modells ist es üblich, die Daten in kleinen Abschnitten statt auf einmal zu verarbeiten. Diese Abschnitte werden als „Batches“ bezeichnet. Anstatt dem Modell ein einzelnes Datenelement (wie ein Bild oder einen Satz) zu zeigen, wird ihm beispielsweise ein Batch von 32 Elementen gleichzeitig übergeben. Dieses Vorgehen macht das Training stabiler und schneller.

Bezogen auf Tensoren bedeutet dies, dass am Anfang eine zusätzliche Dimension hinzugefügt wird. Wenn die Daten eines einzelnen Elements durch einen Tensor der Form (height, width) dargestellt werden, hat ein Batch dieser Elemente die Form (batch_size, height, width). In diesem Beispiel ergibt sich bei einer Batch-Größe von 32 die Form (32, height, width).

Angenommen, wir haben 2048 Datenbeispiele, jedes mit der Form (base shape). Daraus ergibt sich ein Tensor der Form (2048, base shape). Wenn wir diese Daten in Batches von 32 Beispielen aufteilen, erhalten wir 64 Batches, da 64 * 32 = 2048 gilt. Die neue Form ist dann (64, 32, base shape).

Beim Entwurf eines eigenen neuronalen Netzes oder eines anderen Modells können für die oben genannten Aufgaben unterschiedliche Formen verwendet werden. Diese Techniken zur Formgebung sind jedoch in Tensorflow Standard, da sie sowohl logisch als auch hierarchisch strukturiert sind, um die Leistung von Lernalgorithmen zu optimieren.