Как найти норму матрицы

8

Вычисление нормы и чисел обусловленности матрицы

1 норма матрицы представляет из себя максимальное из чисел, полученных при сложении всех элементов каждого столбца, взятых по модулю. Не путайте со сложением матриц!

Р ассмотрим на примере: пусть дана матрица размера 3х2. В первом столбце стоят элементы: 8, 3, 8. Все элементы положительные. Найдем их сумму: 8+3+8=19. В втором столбце стоят элементы: 8, -2, -8. Два элемента — отрицательные, поэтому при сложении этих чисел, необходимо подставлять модуль этих чисел (т.е. без знаков «минус»). Найдем их сумму: 8+2+8=18. Максимальное из этих двух чисел — это 19. Значит первая норма матрицы равна 19.

2 норма матрицы представляет из себя квадратный корень из суммы квадратов всех элементов матрицы. А это значит мы возводим в квадрат все элементы матрицы, затем складываем полученные значения и из результата извлекаем квадратный корень.

В нашем случае, 2 норма матрицы получилась равна квадратному корню из 269. На схеме, я приближенно извлекла квадратный корень из 269 и в результате получила приблизительно около 16,401. Хотя более правильно не извлекать корень.

3 норма матрицы представляет из себя максимальное из чисел, полученных при сложении всех элементов каждой строки, взятых по модулю.

В нашем примере: в первой строке стоят элементы: 8, 8. Все элементы положительные. Найдем их сумму: 8+8=16. В второй строке стоят элементы: 3, -2. Один из элементов отрицательный, поэтому при сложении этих чисел, необходимо подставлять модуль этого числа. Найдем их сумму: 3+2=5. В третьей строке стоят элементы 8, и -8. Один из элементов отрицательный, поэтому при сложении этих чисел, необходимо подставлять модуль этого числа. Найдем их сумму: 8+8=16. Максимальное из этих трех чисел — это 16. Значит третья норма матрицы равна 16.

Число обусловленности квадратной матрицы A определяется, как

Число обусловленности имеет следующее значение: если машинная точность, с которой совершаются все операции с вещественными числами, равна ε, то при решении системы линейных уравнений Ax = b результат будет получен с относительной погрешностью порядка ε·k(A). Хотя число обусловленности матрицы зависит от выбора нормы, если матрица хорошо обусловлена, то её число обусловленности будет мало при любом выборе нормы, а если она плохо обусловлена, то её число обусловленности будет велико при любом выборе нормы. Таким образом, обычно норму выбирают исходя из соображений удобства. На практике наиболее широко используют 1-норму, 2-норму и ∞-норму, задающиеся формулами:

В Matlab используется следующие функции поиска нормы:

Пусть А —матрица. Тогда n=norm(A) эквивалентно п=погп(А,2) и возвращает вторую норму, т. е. самое большое сингулярное число А. Функция n=norm(A, 1) возвращает первую норму, т. е. самую большую из сумм абсолютных значений элементов матрицы по столбцам. Норма неопределенности n=norm(A, inf) возвращает самую большую из сумм абсолютных значений элементов матрицы по рядам. Норма Фробениуса (Frobenius) norm(A, ‘fro’) = sqrt(sum(diag(A’A))).

Числа обусловленности матрицы определяют чувствительность решения системы линейных уравнений к погрешностям исходных данных. Следующие функции позволяют найти числа обусловленности матриц.

cond(X) — возвращает число обусловленности, основанное на второй норме, то есть отношение самого большого сингулярного числа X к самому малому. Значение cond(X), близкое к 1, указывает на хорошо обусловленную матрицу;

с = cond(X,p) — возвращает число обусловленности матрицы, основанное на р-норме: norm(X,p)*norm(inv(X),p), где р определяет способ расчета:

р=1 — число обусловленности матрицы, основанное на первой норме;

р=2 — число обусловленности матрицы, основанное на второй норме;

p= ‘fro’ — число обусловленности матрицы, основанное на норме Фробе-ниуса (Frobenius);

р=’inf’ — число обусловленности матрицы, основанное на норме неопределенности.

с = cond(X) — возвращает число обусловленности матрицы, основанное на второй норме.

condeig(A) — возвращает вектор чисел обусловленности для собственных значений А. Эти числа обусловленности — обратные величины косинусов углов между левыми и правыми собственными векторами;

[V.D.s] = condeig(A) — эквивалентно [V,D] = eig(A): s = condeig(A);.

Большие числа обусловленности означают, что матрица А близка к матрице с кратными собственными значениями.

rcond(A) — возвращает обратную величину обусловленности матрицы А по первой норме, используя оценивающий обусловленность метод LAPACK. Если А — хорошо обусловленная матрица, то rcond(A) около 1.00, если плохо обусловленная, то около 0.00. По сравнению с cond функция rcond реализует более эффективный в плане затрат машинного времени, но менее достоверный метод оценки обусловленности матрицы.

Линейная алгебра для исследователей данных

Иллюстрация: UCI

«Наша [Ирвинга Капланского и Пола Халмоша] общая философия в отношении линейной алгебры такова: мы думаем в безбазисных терминах, пишем в безбазисных терминах, но когда доходит до серьезного дела, мы запираемся в офисе и вовсю считаем с помощью матриц».

Ирвинг Капланский

Для многих начинающих исследователей данных линейная алгебра становится камнем преткновения на пути к достижению мастерства в выбранной ими профессии.

kdnuggets

В этой статье я попытался собрать основы линейной алгебры, необходимые в повседневной работе специалистам по машинному обучению и анализу данных.

Произведения векторов

Для двух векторов x, y ∈ ℝⁿ их скалярным или внутренним произведением xᵀy

называется следующее вещественное число:

Как можно видеть, скалярное произведение является особым частным случаем произведения матриц. Также заметим, что всегда справедливо тождество

Для двух векторов x ∈ ℝᵐ, y ∈ ℝⁿ (не обязательно одной размерности) также можно определить внешнее произведение xyᵀ ∈ ℝᵐˣⁿ. Это матрица, значения элементов которой определяются следующим образом: (xyᵀ)ᵢⱼ = xᵢyⱼ, то есть

Следом квадратной матрицы A ∈ ℝⁿˣⁿ, обозначаемым tr(A) (или просто trA), называют сумму элементов на ее главной диагонали:

След обладает следующими свойствами:

Для любой матрицы A ∈ ℝⁿˣⁿ: trA = trAᵀ.

Для любой матрицы A ∈ ℝⁿˣⁿ и любого числа t ∈ ℝ: tr(tA) = t trA.

Для любых матриц A,B, таких, что их произведение AB является квадратной матрицей: trAB = trBA.

Для любых матриц A,B,C, таких, что их произведение ABC является квадратной матрицей: trABC = trBCA = trCAB (и так далее — данное свойство справедливо для любого числа матриц).

Нормы

Норму ∥x∥ вектора x можно неформально определить как меру «длины» вектора. Например, часто используется евклидова норма, или норма l₂:

Заметим, что ‖x‖₂²=xᵀx.

Более формальное определение таково: нормой называется любая функция f : ℝn → ℝ, удовлетворяющая четырем условиям:

Для всех векторов x ∈ ℝⁿ: f(x) ≥ 0 (неотрицательность).

f(x) = 0 тогда и только тогда, когда x = 0 (положительная определенность).

Для любых вектора x ∈ ℝⁿ и числа t ∈ ℝ: f(tx) = |t|f(x) (однородность).

Для любых векторов x, y ∈ ℝⁿ: f(x + y) ≤ f(x) + f(y) (неравенство треугольника)

Другими примерами норм являются норма l₁

Все три представленные выше нормы являются примерами норм семейства lp, параметризуемых вещественным числом p ≥ 1 и определяемых как

Нормы также могут быть определены для матриц, например норма Фробениуса:

Линейная независимость и ранг

Множество векторов <x₁, x₂, . xₙ> ⊂ ℝₘ называют линейно независимым, если никакой из этих векторов не может быть представлен в виде линейной комбинации других векторов этого множества. Если же такое представление какого-либо из векторов множества возможно, эти векторы называют линейно зависимыми. То есть, если выполняется равенство

для некоторых скалярных значений α₁,…, αₙ-₁ ∈ ℝ, то мы говорим, что векторы x₁, . x ₙ линейно зависимы; в противном случае они линейно независимы. Например, векторы

линейно зависимы, так как x₃ = −2xₙ + x₂.

Столбцовым рангом матрицы A ∈ ℝᵐˣⁿ называют число элементов в максимальном подмножестве ее столбцов, являющемся линейно независимым. Упрощая, говорят, что столбцовый ранг — это число линейно независимых столбцов A. Аналогично строчным рангом матрицы является число ее строк, составляющих максимальное линейно независимое множество.

Оказывается (здесь мы не будем это доказывать), что для любой матрицы A ∈ ℝᵐˣⁿ столбцовый ранг равен строчному, поэтому оба этих числа называют просто рангом A и обозначают rank(A) или rk(A); встречаются также обозначения rang(A), rg(A) и просто r(A). Вот некоторые основные свойства ранга:

Для любой матрицы A ∈ ℝᵐˣⁿ: rank(A) ≤ min(m,n). Если rank(A) = min(m,n), то A называют матрицей полного ранга.

Для любой матрицы A ∈ ℝᵐˣⁿ: rank(A) = rank(Aᵀ).

Для любых матриц A ∈ ℝᵐˣⁿ, B ∈ ℝn×p: rank(AB) ≤ min(rank(A),rank(B)).

Ортогональные матрицы

Два вектора x, y ∈ ℝⁿ называются ортогональными, если xᵀy = 0. Вектор x ∈ ℝⁿ называется нормированным, если ||x||₂ = 1. Квадратная м

атрица U ∈ ℝⁿˣⁿ называется ортогональной, если все ее столбцы ортогональны друг другу и нормированы (в этом случае столбцы называют ортонормированными). Заметим, что понятие ортогональности имеет разный смысл для векторов и матриц.

Непосредственно из определений ортогональности и нормированности следует, что

Другими словами, результатом транспонирования ортогональной матрицы является матрица, обратная исходной. Заметим, что если U не является квадратной матрицей (U ∈ ℝᵐˣⁿ, n < m), но ее столбцы являются ортонормированными, то UᵀU = I, но UUᵀ ≠ I. Поэтому, говоря об ортогональных матрицах, мы будем по умолчанию подразумевать квадратные матрицы.

Еще одно удобное свойство ортогональных матриц состоит в том, что умножение вектора на ортогональную матрицу не меняет его евклидову норму, то есть

для любых вектора x ∈ ℝⁿ и ортогональной матрицы U ∈ ℝⁿˣⁿ.

TimoElliott

Область значений и нуль-пространство матрицы

Линейной оболочкой множества векторов <x₁, x₂, . xₙ> является множество всех векторов, которые могут быть представлены в виде линейной комбинации векторов <x₁, . xₙ>, то есть

Областью значений R(A) (или пространством столбцов) матрицы A ∈ ℝᵐˣⁿ называется линейная оболочка ее столбцов. Другими словами,

Нуль-пространством, или ядром матрицы A ∈ ℝᵐˣⁿ (обозначаемым N(A) или ker A), называют множество всех векторов, которые при умножении на A обращаются в нуль, то есть

Квадратичные формы и положительно полуопределенные матрицы

Для квадратной матрицы A ∈ ℝⁿˣⁿ и вектора x ∈ ℝⁿ квадратичной формой называется скалярное значение xᵀ Ax. Распишем это выражение подробно:

Симметричная матрица A ∈ ��ⁿ называется положительно определенной, если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx > 0. Обычно это обозначается как

(или просто A > 0), а множество всех положительно определенных матриц часто обозначают

Симметричная матрица A ∈ ��ⁿ называется положительно полуопределенной, если для всех векторов справедливо неравенство xᵀ Ax ≥ 0. Это записывается как

(или просто A ≥ 0), а множество всех положительно полуопределенных матриц часто обозначают

Аналогично симметричная матрица A ∈ ��ⁿ называется отрицательно определенной

, если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx < 0.

Далее, симметричная матрица A ∈ ��ⁿ называется отрицательно полуопределенной (

), если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx ≤ 0.

Наконец, симметричная матрица A ∈ ��ⁿ называется неопределенной, если она не является ни положительно полуопределенной, ни отрицательно полуопределенной, то есть если существуют векторы x₁, x₂ ∈ ℝⁿ такие, что

Собственные значения и собственные векторы

Для квадратной матрицы A ∈ ℝⁿˣⁿ комплексное значение λ ∈ ℂ и вектор x ∈ ℂⁿ будут соответственно являться собственным значением и собственным вектором, если выполняется равенство

На интуитивном уровне это определение означает, что при умножении на матрицу A вектор x сохраняет направление, но масштабируется с коэффициентом λ. Заметим, что для любого собственного вектора x ∈ ℂⁿ и скалярного значения с ∈ ℂ справедливо равенство A(cx) = cAx = cλx = λ(cx). Таким образом, cx тоже является собственным вектором. Поэтому, говоря о собственном векторе, соответствующем собственному значению λ, мы обычно имеем в виду нормализованный вектор с длиной 1 (при таком определении все равно сохраняется некоторая неоднозначность, так как собственными векторами будут как x, так и –x, но тут уж ничего не поделаешь).

Перевод статьи был подготовлен в преддверии старта курса «Математика для Data Science». Также приглашаем всех желающих посетить бесплатный демоурок, в рамках которого рассмотрим понятие линейного пространства на примерах, поговорим о линейных отображениях, их роли в анализе данных и порешаем задачи.

Норма матрицы

Рассмотрим произвольную матрицу A порядка m×n и связанную с нею линейное преобразование y=Ax, где x∈V n , y∈U m . Введем в этих пространствах нормы векторов , .

Определим норму матрицы A равенством:

Из определения нормы матрицы следует:

Пусть для двух матриц A и B порядка m×n определены одни и те же векторные нормы. Тогда имеем соотношение:

Кроме того справедливо равенство

,

где λ любое число.

Пусть для m×n матрицы A и n×k матрицы B определены матричные нормы , и пусть для m×k матрицы AB определена норма . Тогда

.

Вычислим норму матрицы A , введя в пространствах V и U конкретные векторные нормы.

1. Пусть в пространствах V и U введена векторная норма

,

В (5) и (6) неравнетство превращается в равенство, если взять и , j=1. n, где l-то значение i, при котором

достигает своего максимума. Учитывая высшеизложенное, неравенство (6) и равенство (1), получим:

2. Введем в пространствах V и U векторную норму

Пусть достигается при j=l. Для вектора x, у которого только один элемент отлично от нуля, имеем:

Учитывая (1),(8) и (9) получим l-норму матрицы A:

Норму матрицы, определяемую с помощью формулы (1), называется операторной нормой, подчиненной данной норме векторов.

Отметим, что определение нормы матрицы (1) эквивалентно следующему определению:

Действительно, любой ненулевой вектор x∈V можно представить в виде произведения λx₁, где , . Тогда, учитывая, что , получим:

Примеры вычисления нормы матрицы

Вычислим m-норму и l-норму матрицы используя (7) и (10).

Геометрическая интерпретация нормы матрицы

Пусть в линейном пространстве V введена m-норма для всех векторов x∈V:

.

Найдем норму матрицы

.

Рассмотрим множество всех векторов, которые имеют норму 1. В двухмерном пространстве это те векторы конечные точки которых находятся на квадрате на рис. 1. Обозначим это множество символом X₀.

На рисунке рис. 2 изображено пространство столбцов матрицы A. Каждому вектору x∈X₀ соответствует вектор Ax в U. Конечные точки этих векторов находятся на пунктирном четырехугольнике ABCD. m-норма матрицы A — это модуль наибольшго координата наибольшего из векторов, конечная точка которого находится на четырехугольнике ABCD. На рис.2 это векторы и а модуль наибольшего координата 6. Используя (3), аналитически получим тот же результат.

Отметим, что норма матрицы показывает насколько максимально растягивается вектор x при отображении y=Ax. В нашем примере векторы х растягиваются максимально 6 раз.

Численные методы линейной алгебры

Классическим средством изучения математических моделей и исследований на их основе свойств реальных объектов являются аналитические методы, позволяющие получать точные решения в виде математических формул. Эти методы дают наиболее полную информацию о решении задачи, и они до настоящего времени не утратили своего значения. Однако, к сожалению, класс задач, для которого они могут использоваться, весьма ограничен. Поэтому решение, как правило, осуществляется численными методами.

Численные методы — это методы приближенного решения задач прикладной математики, основанные на реализации алгоритмов, соответствующих математическим моделям. Наука, изучающая численные методы, называется также численным анализом , или вычислительной математикой . Численные методы, в отличие от аналитических, дают не общие, а частные решения. При этом требуется выполнить достаточное количество арифметических и логических действий над числовыми и логическими массивами.

В численном анализе используются два класса численных методов:

1. Прямые методы , позволяющие найти решение за определенное число операций.

2. Итерационные методы , основанные на использовании повторяющегося (циклического) процесса и позволяющие получить решение в результате последовательных приближений. Операции, входящие в повторяющийся процесс, составляют итерацию.

Решения, получаемые численными методами, в силу их приближенности содержат некоторые погрешности. Рассмотрим их источники и типы.

Один из типов погрешностей обусловлен неадекватностью выбранной математической модели исходной физической. Эта неадекватность в большей или меньшей степени присуща всем приближенно решаемым задачам. Данная погрешность является неустранимой. Неточность (неопределенность) задания исходных данных приводит также к неустранимым погрешностям.

Если мы устраним неопределенность в исходных данных и найдем решение с помощью какого-либо численного метода, то получим результат, не в точности соответствующий исходным данным в силу погрешности численного метода . В компьютере все числа представляются в конечном виде, и поэтому при использовании вычислительного алгоритма реализуются ошибки арифметических и других операций над числами, а также ошибки округления .

Дадим некоторые понятия из теории погрешностей вычислительных действий над приближенными величинами.

Пусть [math]x[/math] — точное, но, как правило, неизвестное значение некоторой величины, а [math]\widehat[/math] — ее известное приближенное значение.

Абсолютной погрешностью приближения [math]\widehat[/math] называется разность [math]\Delta=\bigl|x-\widehat\bigr|[/math] (в общем случае [math]\Delta\widehat[/math] имеет размерность величины [math]x[/math] ).

Относительная погрешность приближения [math]\widehat[/math] обозначается [math]\delta[/math] и выражается отношением [math]\delta= \frac<\Delta\widehat><|\widehat|>[/math] ( [math]\delta[/math] — безразмерная величина, [math]\widehat\ne0[/math] ). Часто величина [math]\delta[/math] вычисляется в процентах, и тогда она умножается на сто.

Так как величина [math]x[/math] , как правило, неизвестна, а погрешность необходимо определять, то в рассмотрение вводится предельная абсолютная погрешность [math]\Delta(\widehat):[/math]

Раскрывая в этом неравенстве модуль, получаем соотношение, задающее отрезок, которому принадлежит точное значение: [math]\widehat-\Delta(\widehat) \leqslant x\leqslant \Delta(\widehat)[/math] . Таким образом, величина [math]x[/math] находится в ∆-окрестности (дельта-окрестности), определяемой величинами [math]\widehat[/math] и [math]\Delta(\widehat)[/math] .

Предельная относительная погрешность приближения [math]\widehat[/math] определяется отношением [math]\delta(\widehat)= \frac<\Delta(\widehat)><|\widehat|>[/math] .

Такие погрешности оцениваются при рассмотрении численных методов. Эти оценки могут производиться до выполнения вычислений ( априорные оценки ) и после них ( апостериорные оценки ).

Как правило, численный алгоритм решения задачи завершается, если погрешность меньше заданной заранее величины.

Норма матриц: понятие, определение, примеры

При решении многих практических задач необходимо как-то "измерять" матрицы, чтобы говорить, что одна матрица больше другой. Правило, по которому матрице (в частности, матрице-столбцу) ставится в соответствие некоторое неотрицательное число, имеющее смысл меры, определяет понятие норма матрицы .

Нормой матрицы-столбца [math]x=\beginx_1\\\vdots\\x_n\end[/math] называется функция [math]\|x\|[/math] , удовлетворяющая следующим аксиомам:

1. [math]\|x\|\geqslant0[/math] для любого столбца [math]x[/math] , причем [math]\|x\|=0[/math] в том и только в том случае, если [math]x[/math] — нулевой столбец;

2. [math]\|\alpha x\|=|\alpha|\cdot\|x\|[/math] для любого действительного числа [math]\alpha[/math] ;

3. [math]\|x+y\|\leqslant\|x\|+\|y\|[/math] для любых двух столбцов [math]x[/math] и [math]y[/math] размеров [math](n\times1)[/math] .

Аксиома 3 называется неравенством треугольника.

Примером нормы матрицы-столбца может быть семейство норм

где при любом целом положительном [math]p[/math] определяется функция, удовлетворяющая условиям 1-3.

Приведем часто используемые нормы матриц-столбцов.

1. [math]\|x\|_1=\max_>|x_i|[/math] — максимум среди модулей элементов столбца;

2. [math]\textstyle<\|x\|_2=\sum\limits_^|x_i|>[/math] — сумма модулей элементов столбца;

3. [math]\textstyle<\|x\|_3=\sqrt<\sum\limits_^x_i^2>>[/math] — квадратный корень из суммы квадратов элементов.

Последняя норма называется евклидовой, так как совпадает с модулем столбца (длиной вектора), т.е. [math]\|x\|_3=|x|=\sqrt[/math] .

1. Можно показать, что справедливы следующие соотношения

2. Норма может быть использована при анализе сходимости последовательностей матриц-столбцов.

Последовательность матриц-столбцов [math]\bigl\,x^<(2)>,\ldots,x^<(k)>,\ldots\bigr\>[/math] сходится к столбцу [math]x_<\ast>[/math] , если [math]\lim_x_i^<(k)>=x_<\ast i>[/math] , для всех [math]i=1,2,\ldots,n[/math] . Для того чтобы последовательность [math]\bigl\,x^<(2)>, \ldots,x^<(k)>,\ldots\bigr\>[/math] сходилась к столбцу х., необходимо и достаточно, чтобы [math]\lim_\bigl\|x^<(k)>-x_<\ast>\bigr\|=0[/math] .

3. Для определения псевдорешений систем линейных алгебраических уравнений ранее использовалась евклидова норма [math]\|x\|_3[/math] .

4. Нормы позволяют оценить скорость сходимости последовательностей. Рассмотрим последовательность [math]\bigl\\bigr\>[/math] , сходящуюся к [math]x_<\ast>[/math] . Предположим, что все ее элементы различны и ни один из них не совпадает с [math]x_<\ast>[/math] . Наиболее эффективный способ оценивания скорости сходимости состоит в сопоставлении расстояния [math]\bigl\|x^<(k+1)>-x_<\ast>\bigr\|[/math] между [math]x^<(k+1)>[/math] и [math]x_<\ast>[/math] с расстоянием [math]\bigl\|x^<(k)>-x_<\ast>\bigr\|[/math] между [math]x^<(k)>[/math] и [math]x_<\ast>[/math] .

Последовательность [math]\bigl\\bigr\>[/math] называется сходящейся с порядком [math]

[/math] , если [math]

[/math] — максимальное число, для которого

Поскольку величина [math]

[/math] определяется предельными свойствами [math]\bigl\\bigr\>[/math] , она называется асимптотической скоростью сходимости .

Если последовательность [math]\bigl\\bigr\>[/math] — сходящаяся с порядком [math]

[/math] , то число

называется асимптотическим параметром ошибки . Если [math]p=1,

c<1[/math] , то сходимость линейная, если [math]p=2[/math] — квадратичная, если [math]p=3[/math] — кубическая и т.д. Если [math]p>1[/math] или [math]p=1,

c=0[/math] , то сходимость сверхлинейная . Линейная сходимость является синонимом сходимости со скоростью геометрической профессии. Сверхлинейная сходимость является более быстрой, чем определяемая любой геометрической прогрессией.

Пример 10.1. Вычислить нормы матрицы-столбца [math]x=\begin 1&-2&3&-4 \end^T[/math] .

Заметим, что свойство [math]\|x\|_2\geqslant\|x\|_3\geqslant\|x\|_1[/math] , очевидно, выполняется.

Пусть [math]A[/math] — произвольная матрица размеров [math](m\times n)[/math] .

Нормой матрицы [math]A[/math] называется функция [math]\|A\|[/math] , удовлетворяющая следующим аксиомам:

1) [math]\|A\|\geqslant0[/math] для любой матрицы [math]A[/math] , причем [math]\|A\|=0[/math] в том и только в том случае, если [math]A[/math] — нулевая матрица;

2) [math]\|\alpha\cdot A\|=|\alpha|\cdot\|A\|[/math] для любого действительного числа [math]\alpha[/math] ;

3) [math]\|A+B\|\leqslant\|A\|+\|B\|[/math] для любых двух матриц [math]A[/math] и [math]B[/math] размеров [math](m\times n)[/math] (неравенство треугольника);

4) [math]\|A\cdot B\|\leqslant\|A\|\cdot\|B\|[/math] для любых двух матриц, у которых определено произведение.

Матричные нормы удобно определять через нормы матриц-столбцов. Для этого, задавшись какой-нибудь нормой для матриц-столбцов, рассматриваются значения [math]\|Ax\|[/math] при всевозможных х, удовлетворяющих условию [math]\|x\|=1[/math] . Максимальное из этих значений, которое найдется всегда, берется в качестве нормы матрицы [math]A\colon\, \|A\|= \max_<\|x\|=1>\|Ax\|[/math] . Такую матричную норму называют индуцированной.

Заметим, что в качестве определения индуцированной матричной нормы часто используется выражение [math]\|A\|=\sup_\frac<\|Ax\|><\|x\|>[/math] , характеризующее максимальную величину, на которую преобразование, описываемое матрицей [math]A[/math] , может растянуть любой ненулевой вектор в заданной норме.

Наиболее употребительными являются следующие формулы для вычисления значений норм матриц с действительными элементами.

1) [math]\textstyle<\|A\|_1= \max\limits_<1\leqslant i\leqslant m>\sum\limits_^|a_|>[/math] — максимум суммы модулей элементов в строке;

2) [math]\textstyle<\|A\|_2= \max\limits_<1\leqslant j\leqslant n>\sum\limits_^|a_|>[/math] максимум суммы модулей элементов в столбце;

3) [math]\|A\|_3=\sqrt<\lambda_<\max>(A^TA)>[/math] — квадратный корень из максимального собственного значения [math]\lambda_i[/math] матрицы [math]A^TA[/math] ;

4) [math]\textstyle<\|A\|_4= \sqrt<\sum\limits_^ \sum\limits_^ a_^2>>[/math] — квадратный корень из суммы квадратов элементов.

Заметим, что вычисление нормы [math]\|A\|_3= \sqrt<\lambda_<\max>(A^TA)>[/math] связано с весьма трудоемкими операциями. Поскольку справедливо неравенство

то норма [math]\|A\|_4[/math] часто используется в оценках вместо [math]\|A\|_3[/math] . Норма [math]\|A\|_4[/math] возникает, если матрице [math]A[/math] поставить в соответствие "длинный столбец":

Норма матриц может быть использована при анализе сходимости различных численных процедур. Пусть имеется последовательность матриц [math]\bigl\,\ldots,A^<(k)>,\ldots\bigr\>[/math] размеров [math]m\times n[/math] . Матрица [math]A[/math] называется пределом последовательности матриц [math]\bigl\,\ldots,A^<(k)>,\ldots\bigr\>[/math] , если [math]\lim_a_^<(k)>=a_[/math] для всех [math]i=1,\ldots,m[/math] и [math]j=1,\ldots,n[/math] . Это обозначается [math]\lim_A^<(k)>=A[/math] .

Для сходимости последовательности матриц [math]\bigl\,\ldots,A^<(k)>,\ldots\bigr\>[/math] к матрице [math]A[/math] необходимо и достаточно, чтобы [math]\lim_\bigl\|A^<(k)>-A\bigr\|=0[/math] . При этом последовательность, составленная из норм матриц [math]A^<(k)>[/math] , сходится к норме матрицы [math]A[/math] , т.е. [math]\lim_ \bigl\|A^<(k)>\bigr\|=\|A\|[/math] .

Отметим некоторые свойства предела матриц. Если [math]\lim_A^<(k)>=A,