학습은 끝났다. 어댑터도 잘 나왔다. 그런데 모델을 내보내는 방식만 바꿨더니 점수가 7.6%p 움직였다. 학습을 한 번도 다시 돌리지 않고서.양자화가 뭔지부터7B 모델은 파라미터가 70억 개다. 이걸 원래 정밀도(16비트)로 들고 있으면 14GB쯤 된다. 개인 PC에서 돌리기엔 부담스럽다.그래서 양자화를 한다. 숫자의 정밀도를 낮춰서 크기를 줄이는 것이다. 16비트를 4비트로 줄이면 용량이 4분의 1이 된다. 대신 숫자가 살짝 뭉개진다.사진을 JPEG로 저장하는 것과 비슷하다. 용량은 줄고, 화질은 조금 떨어진다. 적당히 하면 눈에 잘 안 띈다.QLoRA는 이 성질을 이용한 학습 방법이다. 큰 모델을 4비트로 눌러 메모리에 올려두고, 그 위에 작은 부품(LoRA 어댑터)만 학습한다. 덕분에 맥에서도 7B..