programi의 개발 노트

새 버전을 학습시켰더니 점수가 91.8%에서 57.5%로 떨어졌다. "안녕"이라고 인사하면 게임 데이터를 뱉고, 멀쩡하던 한국어가 "하늈", "달CHEDKAA"로 깨졌다. 범인을 찾기까지 가설 네 개를 차례로 죽여야 했다.증상v5 모델의 성적표는 이랬다.종합 준수율 57.5% (직전 버전 91.8%)한국어만 쓰는 비율 41% — 나머지는 중국어가 섞였다단어가 깨진다: "붙는ly", "하늈", "달CHEDKAA"게임과 상관없는 인사말에도 게임 데이터만 뱉는다마지막 증상이 가장 이상했다. "안녕"에 "안녕"이라고 답하지 못하는 모델이라니.가설 1 — 혹시 학습이 안 된 것 아닐까가장 먼저 의심한 건 파일이 바뀌지 않았을 가능성이다. 학습한 결과를 합치는 과정이 실패해서, 원본 모델이 그대로 나왔다면?이건 확..

최근 팀 내에서 "이거 에이전트 맞나요?", "그럼 하네스는 누가 만들죠?" 같은 질문이 오갈 때마다 서로 다른 그림을 그리고 있다는 걸 느꼈다. 누군가는 "Context에 넣어두면 된다"고 하고, 누군가는 "그건 Memory 아니냐"고 되묻는다. MCP와 A2A도 마찬가지다. 기존 REST API랑 뭐가 다르냐는 질문에 바로 답하기 어려웠다. 네이버 D2 블로그에 올라온 "에이전트, 개념부터 같이 정리해봐요" 세션(원문 링크)도 같은 문제의식에서 출발한다. Anthropic·OpenAI·MCP·A2A 스펙 원문을 다시 읽고 실물을 확인해본 결과를 공유하는 발표다. 이 글에서는 그 문제의식을 따라가면서, 용어들을 실무 관점에서 다시 정리해본다.기술 개요 & 등장 배경용어 혼란이 생기는 근본 원인은 "에이..

OpenAI가 GPT-6 시리즈의 새로운 미드티어 모델인 GPT-6.1 Sol을 전격 공개했습니다. 이번 업데이트의 핵심은 단순한 지능 향상이 아닌, "최상위 플래그십 모델(GPT-6 Astra)급의 성능을 1/5 수준의 비용으로 제공한다"는 점입니다. 특히 개발자들의 에이전틱 코딩(Agentic Coding)과 비동기 AI 파이프라인 구축 비용을 획기적으로 줄여줄 수 있는 모델로 주목받고 있습니다.기술 개요 & 등장 배경기존 GPT-6 라인업에서 최고 성능을 내는 GPT-6 Astra는 뛰어난 추론 능력을 보여주었지만, 토큰당 단가와 Task당 실행 비용이 높아 24시간 계속해서 돌아가는 에이전트(Agent) 워크플로우에 적용하기에는 비용 부담이 컸습니다. 반면 기존 Sol 모델은 가성비는 좋았으나 복..

학습은 끝났다. 어댑터도 잘 나왔다. 그런데 모델을 내보내는 방식만 바꿨더니 점수가 7.6%p 움직였다. 학습을 한 번도 다시 돌리지 않고서.양자화가 뭔지부터7B 모델은 파라미터가 70억 개다. 이걸 원래 정밀도(16비트)로 들고 있으면 14GB쯤 된다. 개인 PC에서 돌리기엔 부담스럽다.그래서 양자화를 한다. 숫자의 정밀도를 낮춰서 크기를 줄이는 것이다. 16비트를 4비트로 줄이면 용량이 4분의 1이 된다. 대신 숫자가 살짝 뭉개진다.사진을 JPEG로 저장하는 것과 비슷하다. 용량은 줄고, 화질은 조금 떨어진다. 적당히 하면 눈에 잘 안 띈다.QLoRA는 이 성질을 이용한 학습 방법이다. 큰 모델을 4비트로 눌러 메모리에 올려두고, 그 위에 작은 부품(LoRA 어댑터)만 학습한다. 덕분에 맥에서도 7B..

에이전트 파이프라인에 붙인 과학 도구 호출 로그를 들여다보다가 이상한 패턴을 발견한 적이 있다. API 응답 코드는 200이고 에이전트는 "성공"이라고 보고하는데, 실제로 돌아온 데이터는 필드 몇 개가 비어 있거나 검색 결과 개수가 기대보다 훨씬 적었다. 에러도, 경고도 없이 그냥 조용히 일부만 돌아온 것이다. 이번에 소개할 논문 "Silent Failures in Agent-Tool Interaction: An Audit of ToolUniverse"(arXiv:2609.26836)는 바로 이 현상을 정면으로 다룬다.기술 개요 & 등장 배경최근 에이전트형(agentic) AI 시스템은 여러 개의 외부 도구를 자동으로 연결해 파이프라인을 구성하는 방식으로 진화하고 있다. 에이전트가 스스로 검색 API를 ..

TypeSafe AI 'Jev' 뜯어보기생성 기능 다 빼고 '결정(Decision)'에만 미친 AI 모델이 나온 이유▲ 상태(State)를 입력받아 타입화된 결정(Typed Decisions)만 초고속으로 출력하는 Jev 아키텍처 개념도 요즘 AI 에이전트나 백엔드 파이프라인 만들 때 제일 골치 아픈 게 하나 있다.유저 요청이 들어왔을 때 "이 요청이 환불 문의인가, 그냥 잡담인가?" 혹은 "다음 스텝으로 넘겨도 되는 상태인가?" 같은 단순 분류나 라우팅을 해야 하는 순간인데, 이걸 처리하자고 GPT-4o나 Claude 같은 거대한 LLM을 붙이자니 비용도 무겁고 Latency(응답 시간)도 터무니없이 느리다.그렇다고 JSON output mode로 꾸역꾸역 타입 파싱하자니 가끔 스키마 깨져서 에러 나는..

AI가 서사를 만드는 게임을 만들었다. 그런데 재미가 없었다. 원인을 찾아 들어갔더니, 문제는 게임 설계가 아니라 모델이 글을 못 쓴다는 것이었다. 이 글은 그걸 측정으로 확인하고, 모델의 역할을 바꾼 기록이다.만들던 것Aetheria 2099 — 한국어 사이버펑크 텍스트 어드벤처다. 플레이어는 기억 브로커 제인이 되어 도시의 진실이 담긴 칩 #00을 두고 세 세력 사이에서 선택한다.기술적으로 자랑하고 싶었던 건 이거였다:Claude를 교사로 삼아 데이터를 증류하고Qwen2.5-7B를 QLoRA로 파인튜닝해서로컬 Ollama로 돌린다 — API 비용 0원, 완전 오프라인그리고 그 모델이 매 턴 나레이션·대사·선택지 3개를 JSON으로 만들어냈다. 홀드아웃 40문항 평가에서 스키마 준수율 91.8%. 숫자..

한 달 동안 만든 개인 프로젝트 기록. 게임을 만들었고, 거기 들어갈 AI 모델도 직접 학습시켰고, 결국 그 모델에게 글쓰기 대신 다른 일을 맡기게 된 이야기.기간: 2026.08 ~ 2026.09스택: Vite · React · Tailwind / Qwen2.5-7B · QLoRA · MLX · Ollama플레이: itch.io에서 무료 체험판 플레이하기 — 브라우저에서 바로, 한국어·영어어떤 게임인가정화된 지구, 거대한 돔 안에 갇힌 인류. 플레이어는 기억 브로커 제인이 되어 도시의 진실이 담긴 칩 #00을 두고 세 세력 사이에서 선택한다.렌 — 칩을 팔아넘기려는 암시장 브로커카엘 — 칩을 회수하려는 보안국 수사관에코 — 칩으로 도시를 깨우려는 방송 해커플레이어는 선택지 3개 중 하나를 고르거나, 직..