MLX 자동 미분과 학습 루프
이 글의 목차
입력 0에 정답 1, 입력 1에 정답 3, 입력 2에 정답 5가 붙어 있다고 하자. 이 관계는 y = 2x + 1로 쓸 수 있다. 이번에는 코드에 정답 계수 2와 1을 미리 넣지 않고, MLX가 오차를 계산해 두 계수를 수정하도록 만들어 본다.
모델 학습은 이 작은 사례에서도 예측 → 오차 계산 → 미분 → 파라미터 수정으로 진행된다. 큰 언어 모델의 모든 학습 과정을 설명하는 예제는 아니지만, 이 네 단계와 MLX의 평가 경계를 수치로 확인할 수 있다.
무엇을 알고 무엇을 구할까
| 구분 | 이 예제의 값 | 역할 |
|---|---|---|
| 입력 x | [-2, -1, 0, 1, 2] |
모델에 보여 주는 데이터 |
| 정답 y | [-3, -1, 1, 3, 5] |
예측과 비교할 값 |
| 모델 | 예측 = w × x + b |
입력에서 결과를 만드는 계산 |
| 파라미터 | w와 b | 학습으로 바꿀 숫자 |
| 시작값 | w=0, b=0 | 정답을 아직 모르는 출발점 |
w는 입력에 곱할 값인 가중치, b는 그 결과에 더할 값인 편향이다. x와 y는 고정하고 w와 b만 바꾼다. 정답 데이터를 바꾸는 작업과 파라미터를 학습하는 작업을 구분해야 한다.
실행 파일과 환경
전체 학습 코드를 내려받아 실행한다. 기존 MLX 환경이 없다면 uv가 설치된 상태에서 다음처럼 버전을 고정해 실행할 수 있다.
uv run --no-project --python 3.12 --with mlx==0.32.4 python linear-regression.py
이 글의 결과는 Apple M4, macOS 15.6, arm64 Python 3.12.16, MLX 0.32.4에서 직접 실행해 확인했다. 학습 데이터는 작은 상수로 고정했고 모델 파일을 다운로드하지 않는다. 임시 디렉터리에 파라미터를 저장해 다시 읽은 뒤 해당 임시 파일은 정리한다.
모델은 먼저 하나의 함수로 표현한다
def predict(parameters, x):
return x * parameters[0] + parameters[1]
parameters[0]이 w, [1]이 b다. x의 shape는 (5,), 파라미터의 shape는 (2,)다. 여기서는 파라미터 배열 전체를 x와 곱하는 것이 아니라 두 스칼라를 각각 꺼낸다. 따라서 예측 결과도 샘플 다섯 개에 대응하는 (5,)가 된다.
w=0, b=0에서 예측은 모두 0이다. 첫 모델이 틀려도 괜찮다. 얼마나 틀렸는지 계산한 뒤 파라미터를 바꾸는 것이 다음 단계다.
손실은 틀린 정도를 하나의 숫자로 모은다
평균제곱오차(MSE)는 각 샘플의 ‘예측 - 정답’을 제곱한 뒤 평균낸 값이다.
def loss(parameters, x, y):
return mx.mean(mx.square(predict(parameters, x) - y))
시작점에서 오차를 직접 계산하면 다음과 같다.
| x | 정답 | 예측 | 예측 - 정답 | 제곱 |
|---|---|---|---|---|
| -2 | -3 | 0 | 3 | 9 |
| -1 | -1 | 0 | 1 | 1 |
| 0 | 1 | 0 | -1 | 1 |
| 1 | 3 | 0 | -3 | 9 |
| 2 | 5 | 0 | -5 | 25 |
제곱의 합은 45이고 샘플이 다섯 개이므로 첫 손실은 9다. 제곱하지 않고 오차를 단순히 더하면 양수·음수가 상쇄돼 틀린 예측을 과소평가할 수 있다. 이 예제에서 손실은 파라미터를 고르는 기준이며, 실제 서비스의 유용성을 그대로 대표하는 점수는 아니다.
자동 미분이 알려 주는 것은 정답 파라미터가 아니다
value_and_grad = mx.value_and_grad(loss)
initial_loss, gradient = value_and_grad(parameters, x, y)
mx.value_and_grad는 함수 값과 파라미터에 대한 기울기를 함께 계산하는 함수를 만든다. 이 호출에서는 첫 번째 인자인 parameters를 미분 대상으로 사용한다. x와 y까지 학습으로 바꾸는 것이 아니다. API의 변환 방식은 MLX Function Transforms에서 확인한다.
기울기는 ‘현재 위치에서 각 파라미터를 조금 늘릴 때 손실이 어느 방향으로 얼마나 변하는가’를 나타낸다. 모델 전체에 대한 완성된 해답을 한 번에 주지는 않는다.
이 손실의 미분을 직접 적으면 다음과 같다. N은 샘플 수, 각 샘플의 오차는 w × x + b - y다.
w의 기울기 = (2 / N) × Σ(오차 × x)
b의 기울기 = (2 / N) × Σ(오차)
시작점의 오차 합은 -5이므로 b 기울기는 (2/5) × (-5) = -2다. 오차와 x의 곱의 합은 -20이므로 w 기울기는 -8이다. 실제 MLX 결과도 [-8.0, -2.0]이며 전체 코드가 이 값을 assertion으로 검사한다.
미분 결과를 독립적으로 점검하기
자동 미분과 별개로 파라미터를 조금 앞뒤로 움직여 손실 변화를 관찰할 수 있다. 중앙 차분은 (L(p + ε) - L(p - ε)) / (2ε)로 기울기를 근사한다. 다른 파라미터는 고정하고 한 좌표씩 바꾼다.
전체 코드는 시작점에서 ε=0.01로 검사했다. 출력은 w에 대해 약 -8.000040, b에 대해 약 -2.000046으로, 자동 미분의 [-8, -2]와 1e-3 이내에서 일치했다. 이 값은 MLX 0.32.4·float32 실행 결과다. 차분은 별도의 진단이며 자동 미분의 구현 방식은 아니다. ε를 너무 작게 하면 뺄셈의 반올림 오차가 커지고, 너무 크게 하면 국소 변화의 근사가 나빠질 수 있다.
경사 하강법으로 첫 수정을 계산한다
경사 하강법은 기울기의 반대 방향으로 조금 이동하는 방법이다. 이동 폭을 조절하는 수가 학습률이다.
새 파라미터 = 현재 파라미터 - 학습률 × 기울기
학습률 = 0.1
새 w = 0 - 0.1 × (-8) = 0.8
새 b = 0 - 0.1 × (-2) = 0.2
음수 기울기를 빼므로 두 값이 증가한다. 학습률 0.1은 이 작고 단순한 데이터에서 사용한 실험 설정이다. 다른 데이터나 모델에 그대로 적용할 안전한 기본값을 뜻하지 않는다.
학습률이 너무 작으면 수정이 느리고, 너무 크면 낮은 손실 지점을 지나쳐 손실이 커질 수 있다. ‘기울기를 계산했다’와 ‘안정적으로 학습한다’는 서로 다른 조건이다.
이 데이터에서는 안정 조건도 계산할 수 있다
여기서 x의 평균은 0이고 제곱 평균은 2다. 정답식 y = 2x + 1을 손실에 대입해 정리하면 L = 2(w-2)² + (b-1)²가 된다. x의 평균이 0이므로 w와 b가 섞인 교차항이 사라진다.
학습률을 η라고 쓰면 업데이트 후 정답과의 차이는 다음처럼 바뀐다.
새 (w-2) = (1 - 4η) × 이전 (w-2)
새 (b-1) = (1 - 2η) × 이전 (b-1)
두 차이가 모두 줄려면 곱하는 수의 절댓값이 1보다 작아야 한다. 따라서 이 데이터와 모델에서는 0 < η < 0.5가 두 축의 수렴 조건이다. η=0.1이면 차이가 각각 0.6배, 0.8배가 된다. 이 조건은 특정 손실을 전개해 얻은 것이며 다른 모델의 학습률 규칙으로 옮길 수 없다.
실제로 같은 초기값에서 η=0.6으로 세 번 갱신하자 손실은 9에서 약 60.236378로 커졌다. w 오차에 매번 -1.4를 곱해 부호가 뒤집히며 크기는 커지는 결과와 맞는다. 기울기가 정확해도 업데이트 폭이 잘못되면 학습이 실패한다.
학습 루프와 평가 경계
for step in range(1, 101):
_, gradient = value_and_grad(parameters, x, y)
parameters = parameters - 0.1 * gradient
mx.eval(parameters)
각 반복은 현재 파라미터에서 기울기를 다시 구하고 다음 파라미터를 만든다. 첫 기울기 [-8, -2]를 100번 그대로 적용하는 것이 아니다. 위치가 바뀌면 오차와 기울기도 바뀐다.
MLX는 지연 평가를 사용하므로 새 배열을 표현하는 코드와 실제 계산 완료를 구분한다. 기울기 계산도 MLX 연산이므로 value_and_grad를 호출한 줄만으로 모든 장치 계산이 끝났다고 판단하지 않는다. 이 예제는 매 업데이트 뒤 mx.eval(parameters)로 새 파라미터를 평가한다. 반복 관계를 끝없이 쌓기보다 단계마다 필요한 결과를 구하는 명시적인 경계를 둔 것이다.
숫자를 기록하는 단계에서는 업데이트가 끝난 파라미터로 손실을 다시 계산한다. 업데이트 전 손실과 업데이트 후 손실을 같은 시점의 값으로 섞으면 학습 곡선을 잘못 읽을 수 있다. 더 복잡한 모델은 파라미터 외에 옵티마이저·레이어 상태도 관리해야 한다. 이 예제는 두 숫자만 갱신하는 구조다.
실제로 손실이 얼마나 줄었을까
| 시점 | 업데이트 후 손실 |
|---|---|
| 시작 전 | 9.0 |
| 1회 | 3.51999974 |
| 5회 | 0.15574716 |
| 20회 | 0.00013293 |
| 100회 | 0.00000000 |
100회 값은 소수점 8자리로 반올림한 출력이다. 무한 정밀도로 정확히 0이라는 주장은 아니다. 코드에서는 최종 손실이 1e-10보다 작은지 검사했다.
최종 파라미터는 반올림해 [2.0, 1.0]이다. 처음에 주지 않았던 계수를 이 데이터의 오차를 줄이는 과정으로 찾았다. 학습 중 쓰지 않은 입력 x=3에 대한 예측은 7.0으로 확인했다.
하지만 입력 하나를 더 맞혔다고 실제 서비스의 일반화 성능을 검증한 것은 아니다. 여기서는 잡음 없는 선형 데이터를 같은 형태의 모델로 맞췄다. 현실의 데이터에는 측정 오차, 누락, 분포 변화가 있고 모델 자체가 관계를 표현하지 못할 수도 있다.
파라미터를 저장하면 무엇이 보존될까
전체 코드는 mx.savez로 파라미터 배열을 저장하고 mx.load로 다시 읽어 값이 같은지 검사한다. 저장·불러오기 문서는 배열 파일 형식과 API를 설명한다.
저장된 두 숫자만으로 모든 모델 정보가 보존되는 것은 아니다. 다음 실행에서도 ‘0번 원소는 w, 1번 원소는 b’이며 예측식이 w × x + b라는 코드가 있어야 한다. 입력 정규화를 사용했다면 그 규칙과 통계도 필요하다.
학습을 중간에서 재개하려면 모델 파라미터뿐 아니라 사용하는 옵티마이저의 상태, 진행 단계와 난수 상태도 검토한다. 이 실험의 저장·복원 검사는 두 숫자의 왕복 검증이며 완전한 학습 재개 시스템은 아니다.
이 예제로 막히는 지점을 구분하기
| 관찰 | 먼저 확인할 내용 |
|---|---|
| 첫 손실이 9가 아님 | 입력·정답·초기 파라미터가 본문과 같은가 |
| 첫 기울기가 다름 | 손실의 평균·합, 미분 대상과 shape가 같은가 |
| 손실이 커짐 | 업데이트의 부호, 학습률, 데이터 스케일 |
| 코드가 돌지만 큰 배열이 생김 | 예측과 정답의 broadcasting 관계 |
| 실행 시간이 비정상적으로 짧음 | 계산 완료까지 기다린 시간을 측정했는가 |
| 저장 후 값은 같지만 예측이 다름 | 모델 코드·파라미터 순서·전처리도 같은가 |
가장 먼저 첫 손실과 첫 기울기를 손계산과 맞춰 보자. 마지막 숫자만 보는 것보다 오류가 생긴 단계를 좁히기 쉽다. 이 구조를 이해한 다음에는 샘플 묶음 처리, 다층 모델, 옵티마이저와 실제 평가 데이터로 확장할 수 있다.
이어서 읽기
- MLX로 작은 신경망 만들기 — 다음 글:
mlx.nn으로 XOR 학습 - MLX 배열과 수치 연산 — shape와 broadcasting 오류
- MLX 지연 평가와 성능 측정 — 평가 경계와 메모리
- MLX 실행 엔진 소스 분석 — 계산이 백엔드로 내려가는 경로
- MLX 공식 선형 회귀 예제 — 더 큰 배열로 확장한 학습 예제