Одним из важнейших и мощнейших инструментов линейной алгебры является Сингулярное разложение (SVD). Этот метод, позволяющий разложить любую матрицу на базовые операции, лежит в основе таких современных технологий, как наука о данных, машинное обучение и обработка изображений.

В этой статье мы подробно объясним SVD, начиная с его математического определения, геометрического смысла и, наконец, заканчивая практическим применением в сжатии данных и ИИ.

1. Математическое определение SVD

Любую вещественную матрицу \(m \times n\), обозначаемую как \(A\), можно разложить в произведение трех матриц следующим образом:

Здесь каждая матрица обладает следующими свойствами:

• \(U\) — ортогональная матрица \(m \times m\). Ее векторы-столбцы называются левыми сингулярными векторами .
• \(\Sigma\) — диагональная матрица \(m \times n\). Диагональные элементы \(\sigma_i\) называются сингулярными значениями , которые обычно отсортированы по убыванию \(\sigma_1 \ge \sigma_2 \ge \dots \ge 0\).
• \(V^T\) — транспонированная ортогональная матрица \(V\) размера \(n \times n\). Векторы-столбцы матрицы \(V\) называются правыми сингулярными векторами .

Как свойство ортогональных матриц выполняется \(U^T U = I\) и \(V^T V = I\). В этом заключается главная сила SVD: метод позволяет разложить сложную матрицу \(A\) на математически управляемые ортогональные и диагональные матрицы.

2. Отличие от спектрального разложения

Для квадратных матриц хорошо известно разложение по собственным значениям \(A = P \[Lambda](https://kenji.blog/ru/p/serverless-architecture-aws-lambda-cold-start/) P^{-1}\). Однако это разложение имеет следующие ограничения:

• Его можно применять только к квадратным матрицам (\(n \times n\)).
• Даже если это квадратная матрица, она не всегда диагонализируема.

С другой стороны, Сингулярное разложение всегда существует для любой произвольной матрицы \(m \times n\), даже если она не является квадратной. Это одна из причин, почему SVD чрезвычайно полезно в анализе данных.

3. Геометрическая интуиция: вращение и масштабирование

Один из самых красивых аспектов SVD — его геометрическая интерпретация. Она означает, что любое линейное преобразование \(A\) можно разложить на следующие три простых шага.

  graph LR
    X["Входной вектор x"] -->|"Вращение через V^T"| V_vec["Повернутый вектор"]
    V_vec -->|"Масштабирование через Sigma"| S_vec["Масштабированный вектор"]
    S_vec -->|"Вращение через U"| Y["Выходной вектор Ax"]

1. Вращение через \(V^T\) : Поворачивает вектор с использованием ортогонального преобразования.
2. Масштабирование через \(\Sigma\) : Растягивает или сжимает вектор вдоль каждой координатной оси на коэффициент сингулярного значения \(\sigma_i\).
3. Вращение через \(U\) : Наконец, вектор снова поворачивается в преобразованном пространстве.

Другими словами, каким бы сложным ни казалось преобразование, в основе его можно свести к процессу «повернуть, масштабировать и снова повернуть».

4. Низкоранговая аппроксимация (Теорема Эккарта-Янга-Мирского)

Главное применение SVD — низкоранговая аппроксимация . Поскольку сингулярные значения матрицы \(A\) отсортированы по убыванию, малые сингулярные значения можно рассматривать как шум или неважную информацию.

Извлекая только первые \(k\) сингулярных значений и соответствующие им сингулярные векторы, мы можем создать матрицу ранга \(k\), \(A_k\), которая аппроксимирует исходную матрицу \(A\).

Согласно теореме Эккарта-Янга-Мирского, эта матрица \(A_k\) является оптимальной матрицей аппроксимации, которая минимизирует ошибку с исходной матрицей \(A\).

5. Пример применения 1 на Python: сжатие изображений

Изображение можно представить в виде матрицы значений пикселей. Выполняя низкоранговую аппроксимацию с помощью SVD, мы можем значительно уменьшить размер данных при сохранении визуального качества.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import numpy as np
import matplotlib.pyplot as plt
from skimage import data
from skimage.color import rgb2gray

# Загрузить изображение и перевести в градации серого
image = rgb2gray(data.astronaut())

# Выполнить сингулярное разложение
U, S, VT = np.linalg.svd(image, full_matrices=False)

# Сжать изображение, используя первые k сингулярных значений
k = 50
compressed_image = np.dot(U[:, :k], np.dot(np.diag(S[:k]), VT[:k, :]))

# Показать исходное и сжатое изображения
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.title("Original Image")
plt.imshow(image, cmap='gray')

plt.subplot(1, 2, 2)
plt.title(f"Compressed Image (k={k})")
plt.imshow(compressed_image, cmap='gray')
plt.show()

В этом коде мы используем только 50 из тысяч исходных сингулярных значений, но основные особенности изображения надежно сохраняются.

6. Пример применения 2: Латентно-семантический анализ (LSA)

SVD также используется в области обработки естественного языка (NLP) как Латентно-семантический анализ (LSA).

  graph TD
    Doc["Матрица документ-термин A"] -->|"Применить SVD"| Decomp["Разложенные матрицы"]
    Decomp -->|"Выбрать первые k"| LowRank["Низкоразмерное семантическое пространство"]
    LowRank -->|"Вычислить сходство"| Sim["Обнаружить связи слово-документ"]

Здесь SVD применяется к матрице, в которой строки представляют слова, а столбцы — документы. Это позволяет нам уловить «скрытые темы» за словами, а не только поверхностные совпадения.

7. Псевдообратная матрица Мура-Пенроуза

SVD также полезен при поиске решения системы линейных уравнений. Даже если матрица \(A\) не является квадратной, мы можем получить решение методом наименьших квадратов, вычислив псевдообратную матрицу Мура-Пенроуза \(A^+\).

Это позволяет стабильно находить решения для линейной регрессии в машинном обучении.

8. Заключение

Сингулярное разложение (SVD) — это мощный метод, который раскладывает любую матрицу на три простых элемента: «вращение», «масштабирование» и «вращение». Понимание математических основ SVD станет первым шагом к глубокому пониманию алгоритмов машинного обучения.