Skip to content

singular-value-decomposition

TL;DR⚑

  • 모든 선형 변환은 적절한 직교 기저에서 “회전(또는 반사)” → “스케일링” → “다시 회전(또는 반사)”로 표현 가능함
  • 이 과정을 \(A^T A\)의 고유값 분해를 통해 보이는 것이 SVD의 핵심임
  • 직교행렬 \(V\)와 \(U\)는 특이벡터를 활용한 좌표계 변환(회전·반사)을 나타내며, \(\Sigma\)가 실제 스케일링을 담당함

SVD란 무엇인가?⚑

  • 임의의 실수 행렬 \(A\)를 세 개의 행렬 \((U, \Sigma, V^T)\)로 분해하는 방법임
  • \(U, V\)는 직교행렬(길이/각도 보존)이라 회전(또는 반사)을 의미함
  • \(\Sigma\)는 대각 행렬 형태로, 축 방향 스케일링을 담당함
  • 모든 크기의 실수 행렬( \(m \times n\) )에 대해 항상 적용 가능함

스펙트럴 정리와 SVD의 관계⚑

  • 스펙트럴 정리는 실대칭 행렬이 항상 직교행렬로 대각화 가능함을 보장함
  • \(A^T A\)가 대칭 행렬이므로, 이를 통해 고유값 분해 \(A^T A = V \Lambda V^T\)를 얻음
  • 고유값이 \(\lambda_i\ge 0\)이므로, \(\sigma_i = \sqrt{\lambda_i}\)를 특이값으로 정의해 \(\Sigma\)를 구성함
  • \(V\)는 그대로 사용하고, \(u_i = \frac{A v_i}{\sigma_i}\)로 정의하여 \(U\) 행렬을 만들면, \(A = U \Sigma V^T\)를 얻음

SVD 증명 개요⚑

  1. \(A^T A\)의 고유분해

    • \(A^T A = V \Lambda V^T\) 형태로 대각화 가능함
    • \(\Lambda\)의 대각 원소는 \(\lambda_i \ge 0\)

  2. 특이값 정의

    • \(\sigma_i = \sqrt{\lambda_i}\)로 두고 \(\Sigma\)를 구성함
    • \(m \times n\) 크기에 맞춰 대각 이외의 원소는 0으로 채움

  3. 직교행렬 \(U\) 구성

    • 각 \(v_i\)에 대해 \(u_i = A v_i / \sigma_i\)로 정의( \(\sigma_i=0\)인 경우 예외 처리)
    • 이렇게 얻은 \(\{u_i\}\)는 서로 직교하고 정규화 가능함

  4. 최종 분해 완성

    • \(A V = U \Sigma\)에서 양변에 \(V^T\)를 곱하면 \(A = U \Sigma V^T\)가 됨

기하학적 해석⚑

  • 회전(또는 반사): \(V^T\)와 \(U\)가 각각 입력 공간과 출력 공간을 회전·반사해줌
  • 스케일링: \(\Sigma\)가 새로 맞춰진 좌표축에서 얼마나 벡터를 늘이거나 줄일지 결정함
  • 최종 변환: “좌표축 재배치(회전·반사) → 스케일링 → 다시 좌표축 재배치” 순으로 선형 변환을 이해 가능함

좌표 변환 관점⚑

  • \(V^T = V^{-1}\)로서의 해석
    • 표준 좌표계에서 특이벡터로 이루어진 좌표계로 옮겨가는 변환임
    • 직교행렬이므로 회전 또는 반사를 통해 벡터 공간을 정렬함
  • \(\Sigma\)의 스케일링
    • 특이벡터 좌표계에서 축 방향으로 얼마만큼 확대·축소할지 결정함
  • \(U\)를 통한 역변환
    • 특이벡터 좌표계에서 다시 표준 좌표계로 돌아오는 변환임
    • 동일하게 회전·반사 역할을 수행하며, 결과적으로 원하는 공간에 벡터를 배치함

추가 이해: 직교행렬과 좌표변환⚑

  • 직교행렬 \(Q\)에 대해 \(Q^T = Q^{-1}\)임이 핵심임
  • 이는 벡터의 길이를 보존하는 변환(회전·반사)이자, 동시에 표준 기저 ↔ 새 기저로의 좌표 변환을 단순화함
  • SVD에서 \(V\)와 \(U\)가 모두 직교행렬이므로, 스케일링 전·후에 각각 다른 기저로 넘어가는 변환을 깔끔히 표현할 수 있음

마무리⚑

  • SVD는 임의의 실수 행렬을 “회전(또는 반사) → 스케일링 → 회전(또는 반사)”로 분해하는 강력한 도구임
  • 스펙트럴 정리가 \(A^T A\)의 고유값과 고유벡터를 보장해주므로 SVD 증명이 간결해짐
  • \(V^T\)와 \(U\)가 각각 입력·출력 공간의 좌표계(특이벡터 기저 ↔ 표준 기저)를 전환하는 역할을 맡으며, \(\Sigma\)는 스케일링을 나타냄
  • 기하학적·대수학적 관점 모두에서 유용하며, 데이터 분석(차원 축소, PCA 등), 이미지·신호 처리(압축, 잡음 제거 등) 분야에서 필수적으로 활용됨