Как нормализовать массив в NumPy?

205

Я хотел бы иметь норму одного массива NumPy. Более конкретно, я ищу эквивалентную версию этой функции

def normalize(v):
    norm = np.linalg.norm(v)
    if norm == 0: 
       return v
    return v / norm

Есть ли что-то подобное в skearnили numpy?

Эта функция работает в ситуации, когда vесть вектор 0.

Donbeo
источник
3
Что не так с тем, что вы написали?
ali_m
5
Если это действительно проблема, вы должны проверить на норму <эпсилон, где эпсилон - небольшой допуск. Кроме того, я бы не стал молча возвращать вектор нулевой нормы, я был бы raiseисключением!
подключил
4
моя функция работает, но я хотел бы знать, есть ли что-то внутри более распространенной библиотеки Python. Я пишу различные функции машинного обучения, и я хотел бы избежать определения слишком большого количества новых функций, чтобы сделать код более понятным и читаемым
Donbeo
1
Я провел несколько быстрых тестов и обнаружил, что x/np.linalg.norm(x)это не намного медленнее (около 15-20%), чем x/np.sqrt((x**2).sum())в numpy 1.15.1 на процессоре.
Билл

Ответы:

162

Если вы используете scikit-learn, вы можете использовать sklearn.preprocessing.normalize:

import numpy as np
from sklearn.preprocessing import normalize

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True
ali_m
источник
2
Спасибо за ответ, но вы уверены, что sklearn.preprocessing.normalize работает также с вектором shape = (n,) или (n, 1)? У меня проблемы с этой библиотекой
Donbeo
normalizeтребуется 2D-вход. Вы можете передать axis=аргумент, чтобы указать, хотите ли вы применить нормализацию к строкам или столбцам входного массива.
ali_m
9
Обратите внимание, что аргумент «норма» функции нормализации может быть «l1» или «l2», и по умолчанию это «l2». Если вы хотите, чтобы сумма вашего вектора была 1 (например, распределение вероятностей), вы должны использовать norm = 'l1' в функции нормализации.
Эш
2
Также обратите внимание, что np.linalg.norm(x)по умолчанию вычисляется норма 'l2'. Если вы хотите, чтобы сумма вашего вектора была 1, вы должны использоватьnp.linalg.norm(x, ord=1)
Omid
Примечание: x должен быть ndarrayдля работы с normalize()функцией. В противном случае это может быть list.
Рамин Меликов
47

Я согласился бы, что было бы хорошо, если бы такая функция была частью включенных батарей. Но это не так, насколько я знаю. Вот версия для произвольных осей, дающая оптимальную производительность.

import numpy as np

def normalized(a, axis=-1, order=2):
    l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
    l2[l2==0] = 1
    return a / np.expand_dims(l2, axis)

A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))

print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))
Eelco Hoogendoorn
источник
Я не проверял глубоко решение ali_m, но в каком-то простом случае оно работает. Есть ли ситуации, когда ваша функция работает лучше?
Donbeo
1
Я не знаю; но он работает над произвольными осями, и мы имеем явный контроль над тем, что происходит для векторов длины 0.
Eelco Hoogendoorn
1
Очень хорошо! Это должно быть просто - хотя порядок, по-моему, должен стоять перед осью.
Нил Дж
@EelcoHoogendoorn Любопытно понять, почему порядок = 2 выбран над другими?
Генри Торнтон
7
Потому что евклидова / пифагоровская норма оказывается наиболее часто используемой; ты не согласен?
Eelco Hoogendoorn
21

Вы можете указать ord для получения нормы L1. Чтобы избежать деления на ноль, я использую eps, но, возможно, это не очень хорошо.

def normalize(v):
    norm=np.linalg.norm(v, ord=1)
    if norm==0:
        norm=np.finfo(v.dtype).eps
    return v/norm
Эдуард Фейчо
источник
6
нормализует [inf, 1, 2]урожайность [nan, 0, 0], но не должно ли это быть [1, 0, 0]?
Пасби
12

Это может также работать для вас

import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))

но терпит неудачу, когда vимеет длину 0.

MRK
источник
10

Если у вас есть многомерные данные и вы хотите, чтобы каждая ось была нормализована до максимума или суммы:

def normalize(_d, to_sum=True, copy=True):
    # d is a (n x dimension) np array
    d = _d if not copy else np.copy(_d)
    d -= np.min(d, axis=0)
    d /= (np.sum(d, axis=0) if to_sum else np.ptp(d, axis=0))
    return d

Использует функцию numpys от пика до пика .

a = np.random.random((5, 3))

b = normalize(a, copy=False)
b.sum(axis=0) # array([1., 1., 1.]), the rows sum to 1

c = normalize(a, to_sum=False, copy=False)
c.max(axis=0) # array([1., 1., 1.]), the max of each row is 1
Джейден Травник
источник
Следите за тем, чтобы все значения были одинаковыми в исходной матрице, тогда ptp будет равно 0. Деление на 0 вернет nan.
Милсо
8

В unit_vector()популярном модуле преобразований Кристофа Гольке также есть функция нормализации векторов :

import transformations as trafo
import numpy as np

data = np.array([[1.0, 1.0, 0.0],
                 [1.0, 1.0, 1.0],
                 [1.0, 2.0, 3.0]])

print(trafo.unit_vector(data, axis=1))
Джо
источник
7

Вы упомянули Sci-Kit Learn, поэтому я хочу поделиться другим решением.

научный комплект учить MinMaxScaler

В Sci-Kit Learn есть API, MinMaxScalerкоторый может настраивать диапазон значений, как вам нравится.

Это также касается вопросов NaN для нас.

NaN обрабатываются как пропущенные значения: игнорируются при подгонке и сохраняются при преобразовании. ... см. ссылку [1]

Пример кода

Код прост, просто введите

# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
Ссылка
WY Hsu
источник
6

Без sklearnиспользования и просто numpy. Просто определите функцию:

Предполагая, что строки являются переменными, а столбцы - samples ( axis= 1):

import numpy as np

# Example array
X = np.array([[1,2,3],[4,5,6]])

def stdmtx(X):
    means = X.mean(axis =1)
    stds = X.std(axis= 1, ddof=1)
    X= X - means[:, np.newaxis]
    X= X / stds[:, np.newaxis]
    return np.nan_to_num(X)

вывод:

X
array([[1, 2, 3],
       [4, 5, 6]])

stdmtx(X)
array([[-1.,  0.,  1.],
       [-1.,  0.,  1.]])
seralouk
источник
4

Если вы хотите нормализовать n векторов пространственных объектов, хранящихся в трехмерном тензоре, вы также можете использовать PyTorch:

import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize

vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()
max0r
источник
4

Если вы работаете с трехмерными векторами, вы можете сделать это кратко, используя toolbelt vg . Это легкий слой поверх numpy и он поддерживает отдельные значения и сложенные векторы.

import numpy as np
import vg

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True

Я создал библиотеку при моем последнем запуске, где она была мотивирована такими способами: простыми идеями, которые слишком многословны в NumPy.

paulmelnikow
источник
3

Если вам не нужна предельная точность, ваша функция может быть уменьшена до:

v_norm = v / (np.linalg.norm(v) + 1e-16)
Серхио Вердузко
источник
3

Если вы работаете с многомерным массивом, возможно быстрое решение.

Скажем, у нас есть двумерный массив, который мы хотим нормализовать по последней оси, в то время как некоторые строки имеют нулевую норму.

import numpy as np
arr = np.array([
    [1, 2, 3], 
    [0, 0, 0],
    [5, 6, 7]
], dtype=np.float)

lengths = np.linalg.norm(arr, axis=-1)
print(lengths)  # [ 3.74165739  0.         10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0.         0.         0.        ]
# [0.47673129 0.57207755 0.66742381]]
Станислав Цепа
источник