programi의 개발 노트

새 버전을 학습시켰더니 점수가 91.8%에서 57.5%로 떨어졌다. "안녕"이라고 인사하면 게임 데이터를 뱉고, 멀쩡하던 한국어가 "하늈", "달CHEDKAA"로 깨졌다. 범인을 찾기까지 가설 네 개를 차례로 죽여야 했다.증상v5 모델의 성적표는 이랬다.종합 준수율 57.5% (직전 버전 91.8%)한국어만 쓰는 비율 41% — 나머지는 중국어가 섞였다단어가 깨진다: "붙는ly", "하늈", "달CHEDKAA"게임과 상관없는 인사말에도 게임 데이터만 뱉는다마지막 증상이 가장 이상했다. "안녕"에 "안녕"이라고 답하지 못하는 모델이라니.가설 1 — 혹시 학습이 안 된 것 아닐까가장 먼저 의심한 건 파일이 바뀌지 않았을 가능성이다. 학습한 결과를 합치는 과정이 실패해서, 원본 모델이 그대로 나왔다면?이건 확..

학습은 끝났다. 어댑터도 잘 나왔다. 그런데 모델을 내보내는 방식만 바꿨더니 점수가 7.6%p 움직였다. 학습을 한 번도 다시 돌리지 않고서.양자화가 뭔지부터7B 모델은 파라미터가 70억 개다. 이걸 원래 정밀도(16비트)로 들고 있으면 14GB쯤 된다. 개인 PC에서 돌리기엔 부담스럽다.그래서 양자화를 한다. 숫자의 정밀도를 낮춰서 크기를 줄이는 것이다. 16비트를 4비트로 줄이면 용량이 4분의 1이 된다. 대신 숫자가 살짝 뭉개진다.사진을 JPEG로 저장하는 것과 비슷하다. 용량은 줄고, 화질은 조금 떨어진다. 적당히 하면 눈에 잘 안 띈다.QLoRA는 이 성질을 이용한 학습 방법이다. 큰 모델을 4비트로 눌러 메모리에 올려두고, 그 위에 작은 부품(LoRA 어댑터)만 학습한다. 덕분에 맥에서도 7B..

AI가 서사를 만드는 게임을 만들었다. 그런데 재미가 없었다. 원인을 찾아 들어갔더니, 문제는 게임 설계가 아니라 모델이 글을 못 쓴다는 것이었다. 이 글은 그걸 측정으로 확인하고, 모델의 역할을 바꾼 기록이다.만들던 것Aetheria 2099 — 한국어 사이버펑크 텍스트 어드벤처다. 플레이어는 기억 브로커 제인이 되어 도시의 진실이 담긴 칩 #00을 두고 세 세력 사이에서 선택한다.기술적으로 자랑하고 싶었던 건 이거였다:Claude를 교사로 삼아 데이터를 증류하고Qwen2.5-7B를 QLoRA로 파인튜닝해서로컬 Ollama로 돌린다 — API 비용 0원, 완전 오프라인그리고 그 모델이 매 턴 나레이션·대사·선택지 3개를 JSON으로 만들어냈다. 홀드아웃 40문항 평가에서 스키마 준수율 91.8%. 숫자..

한 달 동안 만든 개인 프로젝트 기록. 게임을 만들었고, 거기 들어갈 AI 모델도 직접 학습시켰고, 결국 그 모델에게 글쓰기 대신 다른 일을 맡기게 된 이야기.기간: 2026.08 ~ 2026.09스택: Vite · React · Tailwind / Qwen2.5-7B · QLoRA · MLX · Ollama플레이: itch.io에서 무료 체험판 플레이하기 — 브라우저에서 바로, 한국어·영어어떤 게임인가정화된 지구, 거대한 돔 안에 갇힌 인류. 플레이어는 기억 브로커 제인이 되어 도시의 진실이 담긴 칩 #00을 두고 세 세력 사이에서 선택한다.렌 — 칩을 팔아넘기려는 암시장 브로커카엘 — 칩을 회수하려는 보안국 수사관에코 — 칩으로 도시를 깨우려는 방송 해커플레이어는 선택지 3개 중 하나를 고르거나, 직..