선형방정식 시스템과 행렬의 특이성: 선형대수 기초 1장

머신러닝을 공부하다 보면 반드시 마주치는 것이 선형대수입니다. 단순히 수식처럼 보이지만, 데이터를 벡터와 행렬로 표현하고 변환하는 것이 ML 모델의 핵심 원리입니다. 이번 글에서는 선형방정식 시스템부터 행렬의 특이성, 행렬식까지 차근차근 정리해 보겠습니다.

이 글은 DeepLearning.AI의 Mathematics for Machine Learning and Data Science 1주차 내용을 기반으로 정리했습니다.

이번 글에서 배우는 것#

• 데이터를 벡터·행렬로 표현하고 특이성(singularity), 랭크(rank), 선형 독립(linear independence) 개념 이해
• 점곱(dot product), 역행렬(inverse), 행렬식(determinant) 등 주요 연산
• 선형 변환(linear transformation), 고유값(eigenvalue), 고유벡터(eigenvector) 와 머신러닝의 연결

---

선형대수가 머신러닝에서 쓰이는 이유#

Linear(선형) 이란 직선으로 모델링할 수 있다는 뜻입니다.

선형 회귀(Linear Regression) 는 데이터를 직선으로 모델링하는 대표적인 방법입니다. 예를 들어 풍속으로 전력 출력을 예측하는 모델이 있다고 할 때, 우리는 이상적인 가중치 $w$ 와 편향 $b$ 를 찾아야 합니다.

$y = wx + b$

여러 개의 피처와 여러 개의 예시 데이터에 대해 이 수식을 동시에 풀어야 하므로, 이것이 바로 선형방정식 시스템(System of Linear Equations) 이 됩니다.

모델이 가중치 $w$ 와 편향 $b$ 를 알면, 피처 $x$ 가 주어졌을 때 목표값 $y$ 를 예측할 수 있습니다.

---

문장 시스템으로 이해하는 방정식 시스템#

선형방정식 시스템은 문장 시스템과 비슷하게 동작합니다. 여러 문장이 모여 최대한 많은 정보를 전달하는 것처럼, 방정식 시스템도 마찬가지입니다.

정보가 많을수록 더 유용합니다. 완전 시스템은 비특이(non-singular), 중복/모순 시스템은 특이(singular) 에 해당합니다.

---

방정식 시스템 예시#

문장을 방정식으로 바꾸면 시스템을 수학적으로 풀 수 있습니다.

2변수 예시

$\text{Apple} + \text{Banana} = 10$ $\text{Apple} - \text{Banana} = 6$

이를 풀면 $\text{Apple} = 8,\ \text{Banana} = 2$ 입니다.

3변수 예시

$a + b + c = 10$ $a + 2b + c = 15$ $a + b + 2c = 12$

이를 풀면 $\text{Apple} = 3,\ \text{Banana} = 5,\ \text{Cherry} = 2$ 입니다.

선형 vs 비선형: 변수가 1차인 경우에만 선형 방정식입니다. $x^2$, $xy$, $\sin(x)$ 등이 포함되면 비선형입니다.

---

그래프로 보는 방정식 시스템#

2D 평면에서 두 직선의 관계는 세 가지입니다.

3D 공간에서는 평면(plane)으로 확장됩니다.

• 시스템 1: 세 평면이 한 점에서 교차 → 비특이 (유일해)
• 시스템 2: 세 평면이 하나의 직선을 공유 → 특이 (무한히 많은 해)
• 시스템 3: 세 평면이 같은 평면을 이룸 → 특이 (평면 전체가 해)

---

특이성과 상수항의 관계#

흥미롭게도, 상수항(constant)은 특이성 판단에 영향을 미치지 않습니다.

$x + 2y = 5 \quad \text{vs} \quad x + 2y = 0$

두 경우 모두 계수(coefficient)는 동일하므로, 특이성은 계수만으로 결정됩니다. 따라서 특이성을 판단할 때는 상수항을 0으로 놓아도 무방합니다.

---

행렬의 특이성#

선형방정식의 계수(coefficient)를 모아서 행렬을 만들 수 있습니다.

$\begin{cases} x + 2y = 5 \\ 3x + 4y = 7 \end{cases} \quad \Rightarrow \quad \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$

• 비특이 행렬(Non-singular matrix): 유일한 해를 가지는 방정식 시스템에서 나온 행렬
• 특이 행렬(Singular matrix): 해가 없거나 무한히 많은 시스템에서 나온 행렬

---

선형 독립과 선형 종속#

행렬의 행(row)들 사이의 관계를 분석합니다.

• 선형 독립(Linearly Independent): 어떤 행도 다른 행들의 조합으로 만들 수 없는 경우
• 선형 종속(Linearly Dependent): 한 행이 다른 행(들)의 조합으로 표현되는 경우

$\begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \quad \text{→ 2행 = 1행 × 2 이므로 선형 종속 (특이)}$

$\begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} \quad \text{→ 어떤 행도 다른 행의 배수가 아님 → 선형 독립 (비특이)}$

핵심 규칙:

• 선형 종속 → 특이 행렬
• 선형 독립 → 비특이 행렬

---

행렬식 (Determinant)#

행렬이 특이인지 비특이인지를 하나의 숫자로 빠르게 판단하는 방법이 행렬식입니다.

$\det(M) = 0 \Rightarrow \text{특이 (singular)}$ $\det(M) \neq 0 \Rightarrow \text{비특이 (non-singular)}$

2×2 행렬식#

$M = \begin{bmatrix} a & b \\ c & d \end{bmatrix} \quad \Rightarrow \quad \det(M) = ad - bc$

예시:

$\begin{bmatrix} 5 & -1 \\ 1 & 3 \end{bmatrix} \Rightarrow \det = (5 \times 3) - (-1 \times 1) = 15 + 1 = 16 \quad \text{(비특이)}$

$\begin{bmatrix} 2 & -6 \\ -1 & 3 \end{bmatrix} \Rightarrow \det = (2 \times 3) - (-6 \times -1) = 6 - 6 = 0 \quad \text{(특이)}$

3×3 행렬식 (사루스 법칙)#

3×3 행렬식은 대각선의 곱을 이용해 계산합니다.

$M = \begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix}$

$\det(M) = (aei + bfg + cdh) - (ceg + fha + ibd)$

왼쪽→오른쪽 대각선의 곱을 더하고, 오른쪽→왼쪽 대각선의 곱을 빼면 됩니다.

예시:

$\begin{bmatrix} 1 & 0 & 1 \\ 3 & 1 & 0 \\ 3 & 0 & 3 \end{bmatrix}$

• 좌→우: $1 \cdot 1 \cdot 3 + 0 \cdot 0 \cdot 3 + 1 \cdot 3 \cdot 0 = 3$
• 우→좌: $1 \cdot 1 \cdot 3 + 0 \cdot 0 \cdot 3 + 1 \cdot 3 \cdot 0 = 3$
• $\det = 3 - 3 = 0$ → 특이

---

핵심 정리#

---

퀴즈#

아래 문제를 풀고 개념을 확인해 보세요.

Q1. 다음 2×2 행렬의 행렬식을 구하고, 특이/비특이를 판단하세요.

$A = \begin{bmatrix} 3 & 6 \\ 1 & 2 \end{bmatrix}$

정답 보기

$\det(A) = (3 \times 2) - (6 \times 1) = 6 - 6 = 0$

행렬식이 0이므로 특이 행렬입니다. 두 번째 행이 첫 번째 행의 $\frac{1}{3}$ 배이므로 선형 종속입니다.

---

Q2. 다음 방정식 시스템은 완전/중복/모순 중 어느 것인가요?

$\begin{cases} x + y = 5 \\ 2x + 2y = 10 \end{cases}$

정답 보기

두 번째 방정식은 첫 번째 방정식의 2배입니다. 동일한 정보를 반복하므로 중복 시스템(Redundant) 이며, 해가 무한히 많습니다. 행렬로 표현하면 특이 행렬입니다.

---

Q3. 다음 3×3 행렬의 행렬식을 구하세요.

$B = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{bmatrix}$

정답 보기

대각 행렬(diagonal matrix)의 행렬식은 대각 원소의 곱입니다.

$\det(B) = 1 \times 2 \times 3 = 6$

행렬식이 0이 아니므로 비특이 행렬입니다.

---

Q4. 다음 중 선형 독립인 행렬은 어느 것인가요?

$C = \begin{bmatrix} 1 & 2 \\ 3 & 6 \end{bmatrix}, \quad D = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$

정답 보기

• 행렬 $C$: 2행 = 1행 × 3이므로 선형 종속 ($\det = 6 - 6 = 0$, 특이)
• 행렬 $D$: 어떤 행도 다른 행의 배수가 아님 → 선형 독립 ($\det = 4 - 6 = -2 \neq 0$, 비특이)

정답: D

---

다음 글에서는 소거법(Elimination) 으로 방정식 시스템을 푸는 방법, 행 사다리꼴(Row Echelon Form), 가우스 소거법, 그리고 행렬의 랭크(Rank)를 다룰 예정입니다.