Статья Автор: Деникина Н.В., Деникин А.В.

Broadcasting

Прибавить одно и то же всем

Пошёл дождь. Ко всем заказам сразу применяют поправку: объезд плюс километр, на три светофора больше из-за пробок, на двух курьеров меньше, так как часть просто не вышла.

Заказы лежат таблицей: тридцать штук на три признака - тензор размером (30, 3). 30 - количество объектов (батч), у каждого объекта три признака.
Поправка - три числа. То, что прибавляется к каждому заказу (сдвиг).

Можно написать цикл. Но если час пик и заказов не тридцать а тридцать тысяч?

Что такое broadcasting

Broadcasting - правило, по которому numpy складывает массивы разной формы: меньший мысленно повторяется вдоль недостающих осей, пока формы не совпадут.

Слово «мысленно» здесь ключевое. Копий в памяти не появляется: numpy просто читает одну и ту же строку поправки тридцать раз подряд. Поэтому операция ничего не стоит по памяти, даже если таблица огромная.

Формы выравниваются справа налево. По каждой оси размеры либо совпадают, либо один из них равен единице, либо оси просто нет — тогда её дописывают как единицу.

Сравнивай формы справа налево.

Растянуть можно только единицу.

import numpy as np

x = np.array([[4.0, 2.0,  6.0],
              [1.0, 8.0,  2.0],
              [2.0, 2.0, 20.0],
              [6.0, 0.0,  4.0]])   # 4 заказа, 3 признака

# поправка на дождь: объезд +1 км, +3 светофора в пробках, −2 курьера не вышли
rain = np.array([1.0, 3.0, -2.0])

print(x.shape)
print(rain.shape)
print(x + rain)

Вывод

(4, 3)
(3,)
[[ 5.  5.  4.]
 [ 2. 11.  0.]
 [ 3.  5. 18.]
 [ 7.  3.  2.]]

Когда не сходится

import numpy as np

a = np.ones((8, 1, 6))
c = np.ones((7, 6))
print((a + c).shape)

d = np.ones((4, 3))
e = np.ones((4,))
try:
    print((d + e).shape)
except ValueError as err:
    print("ошибка:", err)

Вывод

(8, 7, 6)
ошибка: operands could not be broadcast together with shapes (4,3) (4,)

Формы (4, 3) и (4,) не складываются: справа стоят 3 и 4. Это не придирка numpy - он честно не знает, что ты имел в виду.

Если поправка своя у каждого заказа, а не у каждого признака, вектору нужна форма (4, 1). Одна и та же четвёрка чисел, разная форма — разный смысл.

Работает и обратная ловушка. Сложи (3, 1) и (1, 3), ожидая вектор, и получишь матрицу три на три: правило сработало буквально и растянуло обе формы.

Какая форма получится при сложении массивов формы (8, 1, 6) и (7, 6)?

Проверить ответ

Зачем это нужно на самом деле

Расстояние измеряется в километрах и редко больше десяти. Свободных курьеров бывает и тридцать. Если подать признаки как есть, курьеры перевесят просто потому, что цифры крупнее, а не потому, что важнее.

Поэтому признаки приводят к общей шкале: у каждого вычитают его собственное среднее и делят на его собственный разброс. Это называется Z-нормализацией (стандартизацией, или приведением среднего к нулю и разброса к единице)

import numpy as np

# расстояние в километрах и число свободных курьеров — шкалы отличаются в разы
x = np.array([[1.0,  4.0],
              [3.0, 12.0],
              [5.0, 20.0],
              [7.0, 28.0]])

mean = x.mean(axis=0)          # среднее по каждому признаку
std = x.std(axis=0)            # разброс по каждому признаку
z = (x - mean) / std           # обе строки без единого цикла

print(mean)
print(std)
print(z)
print(z.mean(axis=0).round(10))
print(z.std(axis=0))

Вывод

[ 4. 16.]
[2.23606798 8.94427191]
[[-1.34164079 -1.34164079]
 [-0.4472136  -0.4472136 ]
 [ 0.4472136   0.4472136 ]
 [ 1.34164079  1.34164079]]
[0. 0.]
[1. 1.]

Средние стали нулями, разбросы - единицами. Теперь оба признака говорят одинаково громко, и веса можно сравнивать между собой.

Смещение слоя, вычитание среднего, добавление бонуса - всё это один и тот же приём. Дальше в курсе он будет встречаться постоянно, и отдельно проговариваться уже не будет.

Печать