Векторные нормы

Мы часто видим такие фразы, как норма L1, норма L2 и многие другие, но многие люди не уверены, какую из них использовать и в каких ситуациях. В этой статье мы попытаемся разгадать загадку и дать общее представление об этих нормах.

Введение

Нормы вектора — это меры его размера или величины. Существует несколько различных типов норм, включая нормы L0, L1, L2, Lq и L∞. Эти нормы обеспечивают способ количественной оценки расстояния между двумя векторами или величины одного вектора и обычно используются в различных областях, таких как оптимизация, машинное обучение, обработка изображений и системы управления. Выбор нормы зависит от конкретной проблемы, и разные нормы имеют разные свойства и приложения.

L0 Норма

Также известная как норма «такси» или «Манхэттен», норма L0 вектора — это количество ненулевых элементов в векторе. Математически это определяется как:

L1 норма

Также известная как норма «такси» или «Манхэттен», норма L1 вектора представляет собой сумму абсолютных значений его элементов. Математически это определяется как:

L2 норма

Также известная как евклидова норма, норма L2 вектора представляет собой квадратный корень из суммы квадратов его элементов. Математически это определяется как:

Lq норма

Норма Lq вектора является обобщением нормы L2, где q — положительное действительное число. Математически это определяется как:

L∞ норма

Также известная как «максимальная» норма, норма L∞ вектора — это максимальное абсолютное значение его элементов. Математически это определяется как:

Свойства норм

Нормы имеют несколько свойств, которые важно понимать:

Неотрицательность. Первое свойство норм — неотрицательность, согласно которому норма любого вектора должна быть неотрицательной. То есть норма вектора должна быть больше или равна нулю.
Положительно определенная. Второе свойство норм — это свойство положительной определенности, которое гласит, что норма называется положительно определенной, если для любого вектора x выполняется равенство ||x|| = 0 тогда и только тогда, когда x = 0. Это означает, что норма нулевого вектора равна нулю и что любой вектор с ненулевой нормой не равен нулю. Это свойство гарантирует, что норма является значимой мерой величины вектора.
Однородность. Третьим свойством норм является однородность, которая гласит, что норма скаляра, кратного вектору, равна абсолютному значению скаляра, умноженному на норму вектора. То есть для любого скаляра c и любого вектора x ||cx|| = |с| ||х||.
Неравенство треугольника. Четвертое свойство норм — это неравенство треугольника, которое утверждает, что для любых двух векторов x и y норма суммы векторов меньше или равна сумме норм векторов. То есть ||х + у|| ‹= ||х|| + ||у||.

Эти свойства являются общими для всех норм и используются для определения и изучения свойств норм в математике и технике.

Характеристики норм

Нормы не уникальны. Существует множество разных норм, которые можно использовать для измерения величины вектора, и разные нормы могут давать разные результаты. Важно выбрать норму, наиболее подходящую для рассматриваемой проблемы.
Разные нормы имеют разные свойства. Разные нормы имеют разные свойства, такие как чувствительность к выбросам, устойчивость к шуму и способность поощрять разреженные решения. Важно понимать свойства различных норм и выбирать норму, наиболее подходящую для рассматриваемой проблемы.
Нормы можно использовать для определения расстояний. Нормы можно использовать для определения расстояния между двумя векторами, и выбор нормы повлияет на определение расстояния. Например, норма L2 определяет евклидово расстояние, а норма L1 определяет манхэттенское расстояние.
Нормы можно использовать для регуляризации моделей. Нормы можно использовать в качестве условий регуляризации в моделях машинного обучения для предотвращения переобучения и поощрения разреженных решений. Выбор нормы повлияет на регуляризацию и свойства модели.
Нормы можно использовать для измерения величины сигналов. Нормы можно использовать для измерения величины сигналов, таких как изображения или аудиосигналы, и выбор нормы повлияет на измерение величины.

Использование различных норм

Выбор нормы зависит от конкретной проблемы и целей и ограничений решения. Вот некоторые распространенные случаи использования различных норм:

Норма L0. Норма L0 часто используется для поощрения разреженных решений и обычно используется в разреженных линейных моделях, целью которых является определение небольшого количества важных функций или переменных.
Норма L1. Норма L1 часто используется для поощрения разреженных решений и предотвращения переобучения. Он обычно используется в качестве термина регуляризации в линейной регрессии и в разреженных линейных моделях, где цель состоит в том, чтобы идентифицировать небольшое количество важных функций или переменных.
Норма L2. Норма L2 обычно используется для минимизации величины ошибки между прогнозируемыми и фактическими значениями. Он также используется в качестве термина регуляризации в линейной регрессии и других моделях машинного обучения для предотвращения переобучения.
Норма Lq с q ‹ 2: норма Lq с q ‹ 2 часто используется для поощрения разреженных решений и обычно используется в разреженных линейных моделях, где целью является определение небольшого числа важных функций или переменные.
Норма Lq с q > 2. Норма Lq с q > 2 часто используется для поощрения решений с умеренной разреженностью и обычно используется в моделях машинного обучения, целью которых является сбалансировать разреженность решения. с точностью прогнозов.
Норма L∞: норма L∞ часто используется для разработки контроллеров, устойчивых к возмущениям, и обычно используется в системах управления для измерения максимальной разницы между сигналами.

Заключение

Это лишь некоторые из многих вещей, которые важно знать о нормах, и выбор нормы зависит от конкретной проблемы, целей и ограничений решения. Разные нормы имеют разные свойства и приложения, и важно тщательно рассмотреть компромиссы и выбрать норму, наиболее подходящую для рассматриваемой проблемы.

Если вы сочтете эту статью полезной, подпишитесь на меня, чтобы получать больше подобного контента, где я часто публикую статьи о науке о данных, машинном обучении и искусственном интеллекте.

Ссылка:

Фрэнсис, Джобин и М., Бабурадж и Джордж, Судхиш и Джордж, Sony. (2021). «Надежная кластеризация подмодулей на основе тензора для обработки данных с использованием регуляризации l12 и одновременного восстановления шума с помощью подхода разреженной и низкоранговой декомпозиции». Журнал изображений. 7. 279. 10.3390/jimaging7120279.