안녕하세요, AI 개발자 여러분! 요즘 거대 언어 모델(LLM)의 활약이 정말 대단하죠? 챗봇부터 코드 생성, 복잡한 문제 해결까지, 그 가능성은 무궁무진한데요. 그런데 이 강력한 LLM들을 우리만의 특정 목적에 맞춰 사용하려면 어떻게 해야 할까요? 바로 파인튜닝(Fine-tuning)이라는 과정을 거쳐야 합니다.
하지만 다들 아시다시피, LLM은 '거대'하다는 이름처럼 엄청난 규모를 자랑하잖아요. 수십억, 수천억 개의 파라미터를 가진 모델을 파인튜닝하려면 어마어마한 컴퓨팅 리소스가 필요하죠. GPU 메모리는 부족하고, 학습 시간은 길어지고… 이런 고민을 하고 계셨다면, 오늘 제가 소개해 드릴 내용이 정말 유용할 거예요. 바로 경량 LLM 파인튜닝 기법, 그중에서도 가장 핫한 LoRA(Low-Rank Adaptation)와 QLoRA(Quantized LoRA)입니다!
이 글을 통해 여러분은 제한된 리소스로도 LLM을 효과적으로 커스터마이징하는 방법을 배우고, 실제 프로젝트에 적용할 수 있는 인사이트를 얻게 되실 거예요. 자, 그럼 함께 떠나볼까요?
📑 목차
Image by SAVA86 on Pixabay
거대 언어 모델(LLM), 왜 파인튜닝이 필요할까요?
LLM은 인터넷상의 방대한 데이터를 학습해서 일반적인 지식과 언어 능력을 갖추게 됩니다. 정말 똑똑하죠? 그런데 이 모델이 특정 산업 분야의 전문 용어를 잘 이해하거나, 우리 회사만의 독특한 고객 응대 방식을 학습하거나, 특정 스타일의 글을 쓰도록 하려면 어떻게 해야 할까요?
바로 이때 파인튜닝이 필요합니다. 파인튜닝은 이미 학습된 사전 학습 모델(Pre-trained Model)을 우리가 원하는 특정 작업이나 도메인에 맞게 추가로 학습시키는 과정이에요. 비유하자면, 똑똑한 만능 인턴을 뽑아서 우리 회사 업무에 필요한 전문 지식과 노하우를 가르치는 것과 같다고 할 수 있죠. 이렇게 파인튜닝을 거치면, 모델은 특정 분야에서 훨씬 더 뛰어난 성능을 발휘하게 됩니다.
전통적인 파인튜닝의 한계
하지만 모든 것을 한 번에 다 가르치려 들면 문제가 생기곤 하죠? 전통적인 파인튜닝 방식은 모델의 모든 파라미터를 업데이트하는 'Full Fine-tuning' 방식이 대부분이었어요. 이 방식은 분명 강력하지만, 다음과 같은 치명적인 단점들을 가지고 있었답니다.
- 막대한 컴퓨팅 리소스: 수백억, 수천억 개의 파라미터를 가진 LLM을 학습시키려면 수많은 GPU와 엄청난 메모리가 필요해요. 개인 개발자나 중소기업에게는 거의 불가능한 수준이죠.
- 긴 학습 시간: 파라미터가 많으니 당연히 학습 시간도 길어집니다. 작은 데이터셋으로도 하루 이틀은 기본으로 걸릴 수 있죠.
- 저장 공간 문제: 파인튜닝된 모델 하나를 저장하는 데도 수십, 수백 GB가 필요해요. 여러 버전을 관리하기가 매우 어렵습니다.
- 재앙적 망각(Catastrophic Forgetting) 위험: 특정 데이터셋으로만 너무 오랫동안 학습시키면, 모델이 기존에 가지고 있던 일반적인 지식을 잊어버리는 현상이 발생할 수도 있어요.
이러한 문제들 때문에 많은 개발자들이 "어떻게 하면 더 효율적으로 LLM을 파인튜닝할 수 있을까?" 하는 고민에 빠졌답니다. 그리고 그 해답 중 하나로 등장한 것이 바로 경량 파인튜닝 기법들이죠!
LoRA(Low-Rank Adaptation) 파고들기: 원리와 장점
자, 이제 오늘의 주인공, LoRA에 대해 자세히 알아볼 시간입니다. LoRA는 "Low-Rank Adaptation of Large Language Models"의 약자로, 2021년 Microsoft에서 제안한 혁신적인 경량 파인튜닝 기법이에요. 핵심 아이디어는 아주 간단하면서도 강력한데요!
LoRA의 핵심 원리: 저랭크 분해
LLM은 수많은 가중치 행렬(Weight Matrix)로 이루어져 있어요. LoRA는 이 가중치 행렬 전체를 직접 업데이트하는 대신, 아주 작은 '어댑터(Adapter)' 모듈을 기존 가중치 행렬 옆에 추가해서 학습하는 방식입니다. 이 어댑터 모듈은 '저랭크 분해(Low-Rank Decomposition)'라는 수학적 기법을 사용하는데요, 이게 무슨 뜻이냐고요?
쉽게 말해, 어떤 큰 행렬의 변화량을 표현할 때, 그 변화량을 훨씬 더 작은 두 개의 행렬의 곱으로 나타낼 수 있다는 아이디어예요. 예를 들어, 기존 가중치 행렬 $W_0$에 $\Delta W$만큼의 변화를 주고 싶다고 해봅시다. LoRA는 이 $\Delta W$를 직접 학습하는 대신, 훨씬 작은 두 개의 행렬 $A$와 $B$의 곱인 $BA$로 근사해서 학습합니다. 즉, $W_0 + \Delta W \approx W_0 + BA$가 되는 거죠.
여기서 $A$와 $B$는 기존 가중치 행렬 $W_0$보다 훨씬 작은 차원을 가지기 때문에, 학습해야 할 파라미터 수가 비약적으로 줄어들게 됩니다. 예를 들어, 1000x1000 크기의 행렬을 직접 업데이트하는 대신, 1000x10 크기의 $B$와 10x1000 크기의 $A$를 학습한다고 생각해 보세요. 파라미터 수가 100만 개에서 2만 개(1000x10 + 10x1000)로 확 줄어들죠! 여기서 10이라는 숫자가 바로 '랭크(Rank, $r$)'를 의미하며, 이 랭크 값을 작게 설정할수록 학습 파라미터가 더 줄어들게 됩니다.
기존 모델의 가중치는 동결(Freeze)시키고, 새로 추가된 이 어댑터 모듈의 파라미터($A$와 $B$)만 학습하는 거예요. 학습이 끝나면, 이 어댑터 모듈의 파라미터만 저장하면 되니, 파인튜닝된 모델의 용량도 엄청나게 줄어들게 되는 거죠.
LoRA의 주요 장점
- 극적인 파라미터 수 감소: 학습해야 할 파라미터가 전체 LLM 파라미터의 0.01% 수준으로 줄어듭니다. 예를 들어, 7B(70억) 파라미터 모델의 경우, LoRA를 적용하면 실제 학습하는 파라미터는 수백만 개에 불과할 수 있어요.
- GPU 메모리 절약: 파라미터 수가 적으니, 학습에 필요한 GPU 메모리도 훨씬 적습니다. 덕분에 고사양 GPU가 없어도 LLM 파인튜닝을 시도해 볼 수 있게 되었죠.
- 빠른 학습 속도: 학습해야 할 파라미터가 적으니, 당연히 학습 속도도 빨라집니다. 이는 반복적인 실험과 개선에 큰 도움이 됩니다.
- 모델 저장 용량 절약: 파인튜닝된 결과물은 어댑터 모듈의 파라미터만 저장하면 되므로, 원본 모델은 그대로 두고 어댑터 파일만 수십 MB 정도로 가볍게 저장할 수 있어요. 여러 개의 도메인별 어댑터를 만들어서 필요할 때마다 교체해가며 사용할 수도 있답니다.
- 원래 모델 성능 유지: 기존 모델의 대부분 파라미터는 고정되어 있기 때문에, 재앙적 망각의 위험이 훨씬 적습니다.
LoRA, 어떻게 활용할 수 있을까요?
LoRA는 huggingface의 PEFT(Parameter-Efficient Fine-tuning) 라이브러리를 통해 매우 쉽게 적용할 수 있습니다. 기본적인 사용 흐름은 다음과 같아요.
# 1. 사전 학습된 LLM 로드 (예: Hugging Face Transformers)
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "EleutherAI/polyglot-ko-1.3b" # 예시 모델
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 2. LoRA 설정 정의
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
r=8, # LoRA 랭크 (작을수록 파라미터 감소, 클수록 표현력 증가)
lora_alpha=16, # LoRA 스케일링 팩터
target_modules=["query_key_value"], # LoRA를 적용할 모듈 (LLM의 Attention 레이어)
lora_dropout=0.05, # 드롭아웃 비율
bias="none", # 바이어스 학습 여부
task_type="CAUSAL_LM" # 작업 유형
)
# 3. 모델에 LoRA 어댑터 적용
lora_model = get_peft_model(model, lora_config)
# 4. 학습 가능한 파라미터 확인 (극적으로 줄어든 것을 볼 수 있습니다!)
lora_model.print_trainable_parameters()
# trainable params: 2,359,296 || all params: 1,317,458,944 || trainable%: 0.1790886895318697
# 5. 파인튜닝 데이터셋 준비 및 학습 진행
# (PyTorch Trainer 또는 직접 학습 루프 구현)
# ...
위 코드 예시에서 보듯이, LoRAConfig에서 `r` (랭크)와 `lora_alpha` (스케일링 팩터)를 설정하는 것이 중요해요. `target_modules`는 주로 LLM의 어텐션(Attention) 레이어에 해당하는 `q_proj`, `k_proj`, `v_proj`, `out_proj` 등 또는 이들을 포함하는 `query_key_value`와 같은 이름을 지정합니다. 이 부분에 LoRA 어댑터를 추가하면 모델의 성능에 큰 영향을 주지 않으면서도 효율적으로 파인튜닝이 가능하답니다.
Image by Bertsz on Pixabay
LoRA의 진화, QLoRA: 더 적은 메모리로 더 큰 효과를!
LoRA가 등장하면서 LLM 파인튜닝의 문턱이 훨씬 낮아졌지만, 여전히 아주 거대한 모델(예: 65B, 70B 모델)을 파인튜닝하려면 상당한 GPU 메모리가 필요했습니다. "여기서 더 줄일 수는 없을까?" 하는 고민 끝에 등장한 것이 바로 QLoRA(Quantized LoRA)입니다!
QLoRA의 핵심: 4비트 양자화와 이중 양자화
QLoRA는 LoRA의 아이디어를 기반으로, 여기에 '양자화(Quantization)' 기술을 접목한 것입니다. 양자화는 모델의 가중치를 더 적은 비트 수로 표현하여 메모리 사용량을 줄이는 기술을 말해요. 예를 들어, 일반적으로 모델 가중치는 16비트 부동소수점(float16)으로 표현되는데, QLoRA는 이를 4비트 정수(4-bit NormalFloat)로 양자화하여 저장합니다.
하지만 단순히 4비트로 줄이면 모델의 정확도가 떨어질 수 있겠죠? QLoRA는 이를 해결하기 위해 몇 가지 기발한 아이디어를 추가했습니다.
- 4비트 NormalFloat (NF4): 데이터를 통계적으로 분석해서 가장 효율적인 4비트 표현 방식을 찾아냅니다.
- 이중 양자화(Double Quantization): 양자화 과정에서 발생하는 양자화 상수를 또 한 번 양자화하여 추가적인 메모리 절약을 달성합니다.
- 페이징 옵티마이저(Paged Optimizers): GPU 메모리가 부족할 때 CPU RAM으로 데이터를 옮겼다가 필요할 때 다시 불러오는 가상 메모리 기술을 활용하여 OOM(Out Of Memory) 오류를 방지합니다.
이런 기술들 덕분에 QLoRA는 원본 모델의 가중치를 4비트로 양자화한 상태로 로드한 뒤, LoRA 어댑터는 16비트(또는 bfloat16)로 학습시키는 방식으로 작동합니다. 즉, 대부분의 모델 파라미터는 극도로 압축된 상태로 메모리에 상주하고, 아주 작은 부분(LoRA 어댑터)만 고정밀도로 학습하는 것이죠. 이를 통해 LLM의 파인튜닝에 필요한 GPU 메모리를 최대 3~5배까지 절감할 수 있게 됩니다!
# QLoRA 적용을 위한 모델 로드 (bitsandbytes 라이브러리 활용)
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch
# 4비트 양자화 설정
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4", # NormalFloat 4비트 양자화
bnb_4bit_compute_dtype=torch.bfloat16 # 연산 시 사용할 데이터 타입
)
model_name = "meta-llama/Llama-2-7b-hf" # 예시 모델 (더 큰 모델에 유용)
model = AutoModelForCausalLM.from_pretrained(
model_name,
quantization_config=bnb_config, # 양자화 설정 적용
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 이후 LoRAConfig를 정의하고 get_peft_model로 QLoRA 모델 생성
# (LoRA와 동일한 방식으로 진행)
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
r=64,
lora_alpha=16,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], # Llama-2 기준
lora_dropout=0.1,
bias="none",
task_type="CAUSAL_LM"
)
qlora_model = get_peft_model(model, lora_config)
qlora_model.print_trainable_parameters()
# trainable params: 41,943,040 || all params: 6,770,058,240 || trainable%: 0.6195325958800168
# (7B 모델에 r=64 적용 시 약 0.6% 학습)
위 코드처럼 `BitsAndBytesConfig`를 활용하여 `load_in_4bit=True`로 설정하고 모델을 로드하면, 기본 모델이 4비트로 양자화되어 로드됩니다. 그 위에 LoRA 어댑터를 얹어서 학습하는 방식이 바로 QLoRA인 셈이죠. Llama-2-7b 같은 대규모 모델도 단일 GPU(예: RTX 3090, 4090)에서 파인튜닝할 수 있게 만들어주는 마법 같은 기술이랍니다!
Image by Zomogy on Pixabay
LoRA vs QLoRA: 어떤 기법을 선택해야 할까요?
LoRA와 QLoRA 모두 경량 LLM 파인튜닝에 매우 효과적인 기법이지만, 각각의 특징과 장단점이 명확합니다. 어떤 상황에서 어떤 기법을 선택하는 것이 좋을지, 아래 표를 통해 비교해 볼까요?
| 특징 | LoRA | QLoRA |
|---|---|---|
| 기본 원리 | 원본 모델 가중치 동결, 저랭크 어댑터(16비트)만 학습 | 원본 모델 가중치 4비트 양자화 후 동결, 저랭크 어댑터(16비트)만 학습 |
| 메모리 사용량 | 원본 모델은 16비트/bfloat16으로 로드, QLoRA보다 높음 | 원본 모델은 4비트로 로드, LoRA보다 3~5배 메모리 절약 |
| 학습 속도 | QLoRA보다 미세하게 빠를 수 있음 (양자화/역양자화 오버헤드 없음) | LoRA와 유사하거나 약간 느릴 수 있음 (4비트 연산 및 역양자화 과정) |
| 파인튜닝 가능한 모델 크기 | 중소형 LLM (예: 1B~13B)에 적합 | 대형 LLM (예: 13B~70B 이상)에도 단일 GPU로 가능 |
| 성능 | 원본 모델의 잠재력을 최대한 활용 가능 | 대부분 LoRA와 유사한 성능을 보이지만, 경우에 따라 미세한 성능 저하 가능성 |
| 복잡도 | 상대적으로 단순한 설정 | 양자화 설정 추가로 LoRA보다 약간 더 복잡 |
| 추천 사용 시나리오 | 어느 정도 GPU 리소스가 있고, 최고의 성능을 뽑아내고 싶을 때 (예: RTX 3090 24GB 이상, 13B 모델까지) | 제한된 GPU 리소스(예: RTX 3060 12GB, RTX 4090 24GB)로 대형 LLM을 파인튜닝하고 싶을 때 |
요약하자면, LoRA는 GPU 메모리가 어느 정도 여유로운 환경에서 중소형 LLM의 잠재력을 최대한 끌어내고 싶을 때 좋은 선택입니다. 반면, QLoRA는 GPU 메모리가 매우 제한적이거나, Llama-2-70B와 같은 초대형 모델을 단일 GPU로 시도해야 할 때 빛을 발하는 기법이라고 할 수 있어요. 대부분의 경우, QLoRA는 LoRA와 거의 대등한 성능을 보여주기 때문에, 개인 개발자나 소규모 팀에게는 QLoRA가 더 매력적인 선택지가 될 수 있습니다.
경량 LLM 파인튜닝, 이제 여러분 차례입니다!
지금까지 LoRA와 QLoRA라는 두 가지 강력한 경량 LLM 파인튜닝 기법에 대해 자세히 알아보았어요. 이 기술들이 없었다면, 우리 대부분은 LLM을 직접 파인튜닝하는 것은 꿈도 꾸기 어려웠을 겁니다. 하지만 이제는 비교적 적은 리소스로도 여러분만의 목적에 맞는 모델 커스터마이징이 가능해진 거죠!
이러한 기법들을 통해 우리는 다음과 같은 이점을 얻을 수 있습니다.
- 접근성 향상: 고가의 GPU 없이도 LLM 파인튜닝에 도전할 수 있게 되었어요.
- 빠른 실험 주기: 학습 시간이 단축되어 아이디어를 빠르게 검증하고 모델을 개선할 수 있습니다.
- 다양한 애플리케이션 개발: 특정 도메인에 특화된 LLM을 만들어서 새로운 서비스를 개발할 수 있는 기회가 열렸습니다.
물론 LoRA와 QLoRA 외에도 Prefix Tuning, P-Tuning 등 다양한 PEFT(Parameter-Efficient Fine-tuning) 기법들이 존재합니다. 하지만 LoRA와 QLoRA는 현재 가장 널리 사용되고 효과가 입증된 방법이라고 할 수 있어요. 여러분의 프로젝트 요구사항과 가용 리소스에 맞춰 적절한 기법을 선택하고, 실제로 적용해보는 것이 중요하겠죠?
이제 여러분도 LLM 파인튜닝의 세계에 한 발짝 더 다가설 준비가 되셨을 거예요. 직접 코드를 만져보고, 데이터를 준비해서 여러분만의 똑똑한 LLM을 만들어보세요. 분명 놀라운 결과물을 얻게 되실 겁니다!
혹시 LoRA나 QLoRA를 활용해본 경험이 있으시거나, 궁금한 점이 있다면 언제든지 댓글로 남겨주세요. 함께 고민하고 발전해나가는 개발 커뮤니티가 되었으면 좋겠습니다. 읽어주셔서 감사합니다!