Линейная алгебра в контексте глубокого обучения

В этой статье я использовал метод «сверху вниз», чтобы объяснить линейную алгебру для глубокого обучения: сначала предоставил приложения и способы их использования, а затем углубился, чтобы предоставить концепции.

Определение линейной алгебры в Википедии:

Линейная алгебра - это раздел математики, посвященный линейным уравнениям и линейным функциям и их представлениям через матрицы и векторные пространства.

Оглавление:

• Вступление.
• Математическая перспектива векторов и матриц.
• Типы матриц.
• Разложение матриц.
• Нормы.
• Векторизация.
• Вещание.
• Внешние ресурсы.

Введение:

Если вы начнете изучать глубокое обучение, первое, с чем вы столкнетесь, - это нейронная сеть прямого распространения, которая является самой простой и очень полезной сетью в глубоком обучении. Под капотом нейронная сеть прямого распространения - это просто составная функция, которая умножает некоторые матрицы и векторы вместе.

Это не значит, что векторы и матрицы - единственный способ выполнять эти операции, но они становятся очень эффективными, если вы это сделаете.

На изображении выше показана простая нейронная сеть с прямой связью, которая передает информацию вперед.

Изображение является прекрасным представлением нейронной сети, но как компьютер может это понять. В компьютере слои нейронной сети представлены в виде векторов. Рассмотрим входной слой как X, а скрытый слой как H. Выходной уровень сейчас не касается (процесс вычисления нейронных сетей с прямой связью здесь не рассматривается).

Таким образом, его можно представить в виде векторов и матриц как,

На изображении выше показаны операции, необходимые для вычисления выходных данных для первого и единственного скрытого слоя вышеупомянутой нейронной сети (вычисления для выходного слоя не показаны). Давайте разберемся.

Каждый столбец сети является векторами. Векторы - это динамические массивы, которые представляют собой набор данных (или функций). В текущей нейронной сети вектор x содержит входные данные. Это не обязательно для представления входных данных в виде векторов, но если вы это сделаете, они станут все более удобными для параллельного выполнения операций.

Глубокое обучение и, в частности, нейронные сети являются дорогостоящими в вычислительном отношении, поэтому им требуется этот красивый трюк, чтобы ускорить их вычисления.

Это называется векторизацией. Они делают вычисления чрезвычайно быстрыми. Это одна из основных причин, почему для глубокого обучения необходимы графические процессоры, поскольку они специализируются на векторизованных операциях, таких как умножение матриц (мы увидим это в конце подробно).

Вывод скрытого слоя H рассчитывается путем выполнения H = f (W .x + b).

Здесь W называется матрицей весов, b называется смещением, а f - функцией активации. (В этой статье не объясняется, что такое нейронные сети с прямой связью, если вам нужен учебник по концепции FFNN, посмотрите здесь.)

Давайте разберем уравнение,

первый компонент - W. x; это произведение матрица-вектор, потому что W - это матрица, а x - вектор. Прежде чем переходить к их умножению, давайте разберемся, Об обозначениях: обычно векторы обозначаются маленькими жирными курсивными буквами (например, x), а матрицы обозначаются заглавными жирными курсивными буквами (например, X). буква заглавная и жирная, но не курсивная, тогда это тензор (например, X ).

С точки зрения информатики:

Скаляр: одно число.

Вектор: список значений (тензор ранга 1).

Матрица: двумерный список значений (тензор 2-го ранга).

Тензор: многомерная матрица с рангом n.

Детализация:

С математической точки зрения:

Вектор:

Вектор - это величина, которая имеет как величину, так и направление. Это сущность, существующая в пространстве, ее существование обозначается x∈ ℝ², если это Двухмерный вектор, существующий в реальном пространстве. (Каждый элемент обозначает координату по другой оси.)

Все векторы в 2D-пространстве могут быть получены путем линейной комбинации двух векторов, называемых базисными векторами. (Обозначаются i и j) (В общем, вектор в N измерениях может быть представлен N базисными векторами. ) Они являются единичными нормальными векторами, потому что их величина равна единице и они перпендикулярны друг другу. Один из этих двух векторов не может быть представлен другим вектором. Поэтому они называются линейно независимыми векторами. (Если какой-либо вектор не может быть получен линейной комбинацией набора векторов, тогда вектор линейно не зависит от этого набора). Весь набор точек в 2D-пространстве, который может быть получен линейной комбинацией этих двух векторов, называется промежутком этих векторов. Если вектор представлен линейной комбинацией (сложение, умножение ) набора других векторов, то он линейно зависит от этого набора векторов (нет смысла добавлять этот новый вектор к существующему набору).

Любые два вектора можно сложить вместе. Их можно перемножить. Их умножение бывает двух типов: скалярное произведение и перекрестное произведение. Обратитесь сюда.

Матрица:

Матрица - это двумерный массив чисел. Они представляют собой преобразования. Каждый столбец матрицы 2 * 2 обозначает каждый из 2 базисных векторов после применения этого преобразования к двумерному пространству. Их пространственное представление - W ∈ ℝ³ * ², имеющее 3 строки и 2 столбца.

Матричное векторное произведение называется преобразованием этого вектора, а матричное матричное произведение называется композицией преобразований.

Есть только одна матрица, которая не преобразует вектор - это единичная матрица (I). Столбцы представляют собой базисные векторы.

Определитель матрицы A,, обозначаемый det (A) масштабирования коэффициент линейного преобразования, описываемого матрицей.

Почему математическая перспектива важна для исследователей глубокого обучения? Потому что они помогают нам понять основные концепции дизайна фундаментальных объектов. Они также помогают в разработке творческих решений проблем глубокого обучения. Но не беспокойтесь, существует множество языков и пакетов, которые делают эти реализации для нас. Но также полезно знать их реализации.

Одна из таких библиотек - numpy для языка программирования Python.

Есть много ресурсов для изучения numpy. (Что очень важно для изучения глубокого обучения, если вы используете python.) Посмотрите здесь.

Здесь np.array создает массив numpy.

np.random - это пакет, содержащий методы генерации случайных чисел.

точечный метод заключается в вычислении произведения между матрицами.

Мы можем изменить форму массива numpy, а также проверить его.

здесь вы можете видеть, что произведение W.x является вектором, и к нему добавляется b, который является скаляром. Это автоматически расширяет b как транспонирование ([1,1]). Это неявное копирование b в несколько местоположений называется трансляцией. (мы рассмотрим подробнее через мгновение.)

Вы обратили внимание на слово "транспонирование": Транспонирование матрицы - это зеркальное отображение матрицы по диагональной линии (от верхнего левого угла до нижнего правого угла матрицы).

## numpy code for transpose
import numpy as np
A = np.array([[1,2],
              [3,4],
              [5,6]])
B = np.transpose(A) 
##or
B = A.T

Типы матриц:

Диагональная матрица: все элементы равны нулю, кроме основных диагональных элементов.

Матрица идентичности: диагональная матрица с диагональными значениями, равными 1.

## numpy code to create identity matrix
import numpy as np
a = np.eye(4)

Симметричная матрица: матрица, равная транспонированной. A = транспонировать (A)

Сингулярная матрица: матрица, определитель которой равен нулю, а столбцы линейно зависимы. Их ранг меньше количества строк или столбцов матрицы.

Разложение матриц:

разложение матрицы или факторизация матрицы - это факторизация матрицы в произведение матриц. Есть много различных матричных разложений; каждая из них находит применение в определенном классе задач. Один из наиболее широко используемых видов разложения матриц называется разложение на собственные числа, в котором мы разлагаем матрицу на набор собственных векторов и собственных значений.

Собственный вектор квадратной матрицы A - это ненулевой вектор v, такой что умножение на A изменяет только масштаб v.

А. v = лямбда. v

здесь v - собственный вектор, а лямбда - собственное значение.

## numpy program to find eigen vectors.

from numpy import array
from numpy.linalg import eig
# define matrix
A = array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(A)
# calculate eigendecomposition
values, vectors = eig(A)
print(values)
print(vectors)

Собственное разложение очень полезно в машинном обучении. Это особенно полезно для таких понятий, как уменьшение размерности.

Дополнительные сведения о собственном разложении см. В книге по глубокому обучению, глава 2.

Есть также несколько других методов разложения матриц, используемых в глубоком обучении. "Смотри сюда."

Нормы:

Переоснащение и недостаточное оснащение:

Когда вы посещаете лекцию по глубокому обучению, вы часто слышите термины «переоснащение» и «недообучение». Эти термины описывают степень точности модели глубокого обучения.

## to add two arrays together.
## consider two basic python lists.
a = [1,2,3,4,5]
b = [2,3,4,5,6]
c = []
## without vectorization.
for i in range(len(a)): 
    c.append(a[i]+b[i])
## using vectorization.
a = np.array([1,2,3,4,5])
b = np.array([2,3,4,5,6])
c = a+b

The term broadcasting describes how numpy treats arrays with 
different shapes during arithmetic operations. Subject to certain 
constraints, the smaller array is “broadcast” across the larger 
array so that they have compatible shapes. Broadcasting provides a 
means of vectorizing array operations so that looping occurs in C
instead of Python. It does this without making needless copies of 
data and usually leads to efficient algorithm implementations.

 a = np.array([1.0, 2.0, 3.0])
 b = 2.0
 a * b
 array([ 2.,  4.,  6.])
this is similar to
a = np.array([1.0, 2.0, 3.0])
b = np.array([2.0, 2.0, 2.0])
a * b
array([ 2.,  4.,  6.])