Uma das ferramentas mais importantes e poderosas na álgebra linear é a Decomposição em Valores Singulares (SVD). Essa técnica, que pode decompor qualquer matriz em operações fundamentais, sustenta o núcleo das tecnologias modernas, como ciência de dados, machine learning e processamento de imagens.

Neste artigo, explicaremos a SVD em detalhes, começando por sua definição matemática até seu significado geométrico e, finalmente, suas aplicações práticas na compressão de dados e IA.

1. Definição Matemática da SVD

Qualquer matriz real \(m \times n\), denotada como \(A\), pode ser decomposta no produto de três matrizes da seguinte forma:

Aqui, cada matriz tem as seguintes propriedades:

• \(U\) é uma matriz ortogonal \(m \times m\). Seus vetores coluna são chamados de vetores singulares esquerdos .
• \(\Sigma\) é uma matriz diagonal \(m \times n\). Os elementos diagonais \(\sigma_i\) são chamados de valores singulares , geralmente classificados em ordem decrescente \(\sigma_1 \ge \sigma_2 \ge \dots \ge 0\).
• \(V^T\) é a transposta de uma matriz ortogonal \(V\) de \(n \times n\). Os vetores coluna de \(V\) são chamados de vetores singulares direitos .

Como propriedade de matrizes ortogonais, \(U^T U = I\) e \(V^T V = I\) se mantêm. Essa é a maior força da SVD, pois permite que uma matriz complexa \(A\) seja decomposta em matrizes ortogonais e diagonais que são matematicamente fáceis de manusear.

2. Diferença para a Decomposição de Autovalores

Para matrizes quadradas, a decomposição de autovalores \(A = P \[Lambda](https://kenji.blog/pt/p/serverless-architecture-aws-lambda-cold-start/) P^{-1}\) é bem conhecida. No entanto, essa decomposição tem as seguintes limitações:

• Ela só pode ser aplicada a matrizes quadradas (\(n \times n\)).
• Mesmo que seja uma matriz quadrada, nem sempre é diagonalizável.

Por outro lado, a Decomposição em Valores Singulares sempre existe para qualquer matriz \(m \times n\), mesmo que não seja quadrada. Essa é uma das razões pelas quais a SVD é extremamente útil na análise de dados.

3. Intuição Geométrica: Rotação e Escalonamento

Um dos aspectos mais bonitos da SVD é sua interpretação geométrica. Ela implica que qualquer transformação linear \(A\) pode ser decomposta nas três etapas simples a seguir.

  graph LR
    X["Vetor de entrada x"] -->|"Rotação por V^T"| V_vec["Vetor rotacionado"]
    V_vec -->|"Escalonamento por Sigma"| S_vec["Vetor escalonado"]
    S_vec -->|"Rotação por U"| Y["Vetor de saída Ax"]

1. Rotação por \(V^T\) : Rotaciona o vetor usando uma transformação ortogonal.
2. Escalonamento por \(\Sigma\) : Estica ou encolhe o vetor ao longo de cada eixo de coordenada pelo fator do valor singular \(\sigma_i\).
3. Rotação por \(U\) : Por fim, rotaciona o vetor novamente no espaço transformado.

Em outras palavras, por mais complexa que pareça uma transformação, ela basicamente pode ser reduzida a um processo de “rotacionar, escalonar e rotacionar novamente”.

4. Aproximação de Baixo Posto (Teorema de Eckart-Young-Mirsky)

A maior aplicação da SVD é a aproximação de baixo posto . Como os valores singulares de uma matriz \(A\) são classificados em ordem decrescente, os valores singulares pequenos podem ser considerados como representantes de ruído ou de informações sem importância.

Ao extrair apenas os primeiros \(k\) valores singulares e seus vetores singulares correspondentes, podemos criar uma matriz de posto \(k\), \(A_k\), que aproxima a matriz original \(A\).

De acordo com o teorema de Eckart-Young-Mirsky, essa \(A_k\) é a matriz de aproximação ideal que minimiza o erro com a matriz original \(A\).

5. Exemplo de Aplicação 1 em Python: Compressão de Imagens

Uma imagem pode ser representada como uma matriz de valores de pixels. Ao realizar a aproximação de baixo posto usando SVD, podemos reduzir significativamente o tamanho dos dados, mantendo a qualidade visual.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import numpy as np
import matplotlib.pyplot as plt
from skimage import data
from skimage.color import rgb2gray

# Carregar imagem e converter para tons de cinza
image = rgb2gray(data.astronaut())

# Executar a decomposição em valores singulares
U, S, VT = np.linalg.svd(image, full_matrices=False)

# Comprimir a imagem usando os primeiros k valores singulares
k = 50
compressed_image = np.dot(U[:, :k], np.dot(np.diag(S[:k]), VT[:k, :]))

# Exibir a imagem original e a comprimida
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.title("Original Image")
plt.imshow(image, cmap='gray')

plt.subplot(1, 2, 2)
plt.title(f"Compressed Image (k={k})")
plt.imshow(compressed_image, cmap='gray')
plt.show()

Neste código, usamos apenas 50 de milhares de valores singulares originais, mas as principais características da imagem são firmemente preservadas.

6. Exemplo de Aplicação 2: Análise Semântica Latente (LSA)

A SVD também é usada no campo do Processamento de Linguagem Natural (NLP) como Análise Semântica Latente (LSA).

  graph TD
    Doc["Matriz documento-termo A"] -->|"Aplicar SVD"| Decomp["Matrizes decompostas"]
    Decomp -->|"Selecionar os primeiros k"| LowRank["Espaço semântico de baixa dimensão"]
    LowRank -->|"Calcular semelhança"| Sim["Descobrir relações palavra/documento"]

Aqui, a SVD é aplicada a uma matriz em que as linhas representam palavras e as colunas representam documentos. Isso nos permite capturar os “tópicos latentes” por trás das palavras, e não apenas correspondências superficiais.

7. Pseudoinversa de Moore-Penrose

A SVD também é útil ao encontrar a solução para um sistema de equações lineares. Mesmo que a matriz \(A\) não seja uma matriz quadrada, podemos obter a solução dos mínimos quadrados calculando a pseudoinversa de Moore-Penrose \(A^+\).

Isso torna possível encontrar soluções de forma estável para regressão linear em machine learning.

8. Conclusão

A Decomposição em Valores Singulares (SVD) é uma técnica poderosa que decompõe qualquer matriz em três elementos simples: “rotação”, “escalonamento” e “rotação”. Compreender o contexto matemático da SVD será o primeiro passo para compreender profundamente os algoritmos de machine learning.