선형대수 실무 개념 과제: ML 현장에서 마주치는 문제들

랭크 30은 선형 독립인 피처가 실질적으로 30개 라는 의미입니다.

• 50개의 피처 중 20개는 나머지 피처들의 선형 조합으로 표현 가능 → 중복 정보
• 이 데이터가 실제로 담고 있는 정보의 차원은 50이 아닌 30

실무 시사점: PCA를 적용하면 50차원 → 30차원으로 줄여도 정보 손실이 없습니다. 실제로는 상위 몇 개 주성분만으로 대부분의 분산을 설명할 수 있어 30보다 더 줄일 수 있습니다.

$x_3 = 2x_1 + x_2$ 이므로 데이터 행렬의 열들이 선형 종속입니다.

따라서 $X^T X$ 는 특이 행렬(singular) 이 되어:

$\det(X^T X) = 0 \Rightarrow (X^T X)^{-1} \text{ 존재하지 않음}$

선형 회귀의 closed-form 해 $\hat{w} = (X^T X)^{-1} X^T y$ 를 구할 수 없게 됩니다.

해결책:

• 중복 피처 제거
• L2 정규화(Ridge): $(X^T X + \lambda I)^{-1}$ — 항상 역행렬이 존재
• PCA로 독립 성분만 추출

배치 행렬 $X$ (행 = 샘플, 열 = 피처)에 대해:

1단계 — 평균 중심화:

$X_{\text{centered}} = X - \mathbf{1}\mu^T$

여기서 $\mu$ 는 각 피처의 평균 벡터, $\mathbf{1}$ 은 ones 벡터

2단계 — 표준편차로 나누기:

$X_{\text{norm}} = X_{\text{centered}} \oslash \sigma$

이것이 PCA의 데이터 중심화 단계와 동일한 연산입니다. 선형대수적으로는 데이터를 공분산 행렬의 고유벡터 방향으로 정렬하는 준비 단계입니다.

가중치 행렬 $W$ 의 $\det(W) \to 0$ 은 행렬이 특이 행렬에 가까워지는 것을 의미합니다.

발생하는 문제들:

1. 그래디언트 소실(Vanishing Gradient): 역전파 시 행렬 곱으로 그래디언트가 전파되는데, 특이에 가까운 행렬을 곱하면 그래디언트가 0으로 수렴
2. 표현력 손실: 랭크가 낮아져 신경망이 표현할 수 있는 공간이 좁아짐
3. 역행렬 불안정: $W^{-1}$ 계산이 수치적으로 불안정해짐

해결책: 배치 정규화, 잔차 연결(ResNet), 적절한 가중치 초기화(Xavier, He 초기화)

$W$ 가 $4 \times 3$ (4행 3열)이면:

• 입력 차원: 3 (3차원 벡터 $x$)
• 출력 차원: 4 (4차원 벡터 $y$)

이 레이어는 3차원 공간 → 4차원 공간으로의 선형 변환입니다.

역변환 불가: $W$ 가 정방행렬이 아니므로 역행렬이 존재하지 않습니다. 다만 의사역행렬(pseudoinverse) $W^+ = (W^T W)^{-1} W^T$ 를 사용해 근사 역변환은 가능합니다.

직관: 3차원 데이터를 4차원으로 끌어올리는 것은 임베딩(embedding)과 유사합니다. 오토인코더의 인코더/디코더가 이런 비정방 변환을 사용합니다.

SVD는 행렬을 정보 중요도 순서로 분해합니다. 큰 특이값 = 많은 정보를 담은 방향.

원래 행렬: $W = \sum_{i=1}^{r} \sigma_i \vec{u}_i \vec{v}_i^T$

$k$개만 유지: $\hat{W} = \sum_{i=1}^{k} \sigma_i \vec{u}_i \vec{v}_i^T$

압축 효과:

• 원본 저장: $m \times n$ 개 파라미터
• 압축 저장: $k(m + n + 1)$ 개 파라미터
• $k \ll \min(m, n)$ 이면 큰 압축률

실무 적용: LoRA(Low-Rank Adaptation)가 이 원리를 사용해 LLM을 효율적으로 파인튜닝합니다. 큰 가중치 행렬을 두 개의 저랭크 행렬로 근사합니다.

선택 기준:

• 해석이 중요하다면 → 피처 선택
• 정보 보존이 중요하다면 → PCA
• 다중공선성이 문제라면 → PCA가 해결책

$\text{설명 분산 비율} = \frac{\lambda_1 + \lambda_2}{\sum_i \lambda_i} = \frac{8.5 + 5.2}{25} = \frac{13.7}{25} = 54.8\%$

해석: 첫 2개 주성분만으로 전체 데이터 분산의 약 55%를 설명합니다.

실무 판단 기준:

• 일반적으로 80~95% 이상의 설명 분산을 유지하는 주성분 수를 선택
• Scree Plot(고유값을 큰 순으로 그린 그래프)에서 기울기가 급격히 꺾이는 지점(elbow)을 선택

코사인 유사도 를 사용합니다 (점곱 / L2-노름의 곱):

$\cos\theta = \frac{\vec{a} \cdot \vec{b}}{\|\vec{a}\|_2 \|\vec{b}\|_2}$

$\vec{a} \cdot \vec{b} = 3 + 5 + 8 + 6 + 5 = 27$

$\|\vec{a}\|_2 = \sqrt{9+1+16+1+25} = \sqrt{52} \approx 7.21$

$\|\vec{b}\|_2 = \sqrt{1+25+4+36+1} = \sqrt{67} \approx 8.19$

$\cos\theta = \frac{27}{7.21 \times 8.19} \approx 0.457$

코사인 유사도가 0.46으로 낮은 편입니다. 두 사용자의 취향은 크게 다릅니다 (A는 액션·SF 선호, B는 로맨스·드라마 선호 패턴).

실무: 협업 필터링(Collaborative Filtering) 추천 시스템이 이 원리를 사용합니다.

$h_1 = \sigma(W_1 x + b_1) \quad (4 \times 3)(3 \times 1) + (4 \times 1) = (4 \times 1)$

$y = W_2 h_1 + b_2 \quad (2 \times 4)(4 \times 1) + (2 \times 1) = (2 \times 1)$

전체 배치로 처리할 때 ($n$개 샘플):

$H_1 = \sigma(X W_1^T + \mathbf{1}b_1^T) \quad (n \times 3)(3 \times 4) = (n \times 4)$

$Y = H_1 W_2^T + \mathbf{1}b_2^T \quad (n \times 4)(4 \times 2) = (n \times 2)$

이처럼 신경망의 포워드 패스 전체가 행렬 곱셈의 연속으로 표현됩니다. GPU는 이 대규모 행렬 곱을 병렬 처리합니다.

역전파는 연쇄 법칙의 행렬 버전입니다.

$\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial h_1} \cdot \frac{\partial h_1}{\partial W_1}$

각 단계:

1. 출력층에서 그래디언트 계산: $\delta_2 = \frac{\partial L}{\partial y}$

2. 1층으로 역전파: $\delta_1 = (W_2^T \delta_2) \odot \sigma'(z_1)$

   • $W_2^T$: 전치 행렬을 곱해 차원을 맞춤
   • $\odot$: 원소별 곱 (Hadamard product)

3. $W_1$ 의 그래디언트: $\frac{\partial L}{\partial W_1} = \delta_1 x^T$

핵심: 역전파에서 전치 행렬이 등장하는 이유는 포워드 패스의 선형 변환을 역방향으로 추적하기 때문입니다. 선형 변환의 역방향 = 전치 행렬 곱.

• $\det(A) = 4 - 4 = 0$ → 특이, 역행렬 없음
• $\det(B) = 6 - 1 = 5 \neq 0$ → 비특이, 역행렬 존재 ✓
• $\det(C) = 0$ → 특이, 역행렬 없음

정답: B

다중공선성이 있으면 $X^T X$ 가 특이 행렬이 되어 역행렬이 존재하지 않습니다.

L2 정규화는 대각 원소에 $\lambda$ 를 더합니다:

$(X^T X + \lambda I)^{-1}$

단위 행렬 $I$ 를 더하면 모든 고유값에 $\lambda$ 가 추가됩니다:

$\lambda_i(X^T X + \lambda I) = \lambda_i(X^T X) + \lambda \geq \lambda > 0$

따라서 행렬식이 항상 0보다 크고 역행렬이 항상 존재하게 됩니다.

공분산 행렬 $\Sigma$ 는 대칭 행렬입니다 ($\Sigma = \Sigma^T$).

대칭 행렬의 성질:

• 서로 다른 고유값에 대응하는 고유벡터는 항상 직교합니다
• 이를 스펙트럼 정리(Spectral Theorem) 라고 합니다

직교하는 주성분들은 서로 독립적인 방향을 가리키므로, 각 주성분이 겹치지 않는 독립적인 정보를 담게 됩니다. 이것이 PCA가 다중공선성을 자동으로 제거하는 이유입니다.