넥슨 최가운 선임연구원 "이미지 생성 AI로 내 딸을 메이플 캐릭터로 만들기"

넥슨 최가운 선임연구원은 25일 판교에서 진행된 ‘넥슨 개발자 콘퍼런스(NDC) 25’에 강연자로 나서 이미지 생성 AI를 메이플스토리 IP에 접목한 연구 사례를 공유했다.

강연 제목은 ‘<메이플스토리 월드> 이미지 생성 AI R&D, 내 딸을 메이플 캐릭터로?’였다. 최 디렉터는 실험적 시도로 시작된 연구가 실제 현업에서 어떻게 확장 가능성이 있는지를 보여줬다.

최 선임연구원은 “범용 이미지 생성 모델은 기본적으로 잘 그리지만 특정 스타일이나 캐릭터 표현에는 한계가 있다”며 “딸의 얼굴을 메이플 스타일로 구현해보는 개인화 실험을 통해 이 문제를 직접 경험했다”고 밝혔다.

넥슨 최가운 디렉터.

그는 오픈소스 모델에 보조 기술을 덧붙이는 방식으로 해결의 실마리를 찾았다. 특히 IP-어댑터와 컨트롤넷을 활용해 외형과 포즈를 정확하게 반영할 수 있었고, 여기에 스타일을 강하게 적용하는 LoRA(로라)를 도입해 “메이플 스타일이 평균값이 되도록 조정할 수 있었다”고 설명했다.

실무에서는 이 AI 조정 과정을 레이어 단위로 쪼개어 구현했다. 그는 “AI가 예상치 못한 요소를 생성하는 경우, 신체 부위나 배경 등을 분리해 따로 학습·조정하는 방식이 효과적이었다”며 “머리와 몸통을 따로 학습하고, 필요 없는 배경은 사전 제거하는 워크플로우가 안정적 결과를 만들어냈다”고 말했다.

최 선임연구원은 학습 경험과 함께, 실무 도입에서 마주한 세 가지 한계점도 짚었다.

먼저 도메인 지식의 부족을 거론했다. 기획자는 이미지 생성 결과물로 소통하려 하지만, 디자이너가 요구하는 ‘톤 조정’, ‘시각적 단순화’ 같은 피드백을 이해하고 반영하기엔 미술적 기초가 부족하다는 점을 직접 체감했다고 밝혔다.

다음은 생산성에 대한 환상이다. AI가 실무에 바로 쓰일 수 있을 것 같지만 실제로는 데이터 수집과 모델 학습, 워크플로우 설계에 수주 이상 소요된다는 이야기다.

최 선임연구원은 “생산성 향상은 단기적이기보다 장기적 준비가 필요하다”고 강조했다.

마지막으로는 AI 기술 발전 속도의 부담을 꼽았다.

최가운 선임연구원은 “발표를 준비하는 도중에도 새로운 챗GPT 이미지 기능이 나왔고 기존 연구가 무의미해지는 듯한 회의감이 들었다”며 “이럴수록 핵심은 파이프라인을 잘 구축해두는 것이다”라고 말했다. 기술 변화에 유연하게 대응할 수 있는 구조를 먼저 만드는 것이 더 중요하다는 조언이다.

NDC25 넥슨 최가운 디렉터.

강연 말미에는 메이플스토리 월드에서의 실험 사례도 공개했다. 마블 캐릭터 아바타 변환, 계절별 배경 변형, 저해상도 시안 고도화, 간단한 스케치 기반 자동 채색 등 다양한 시도를 통해 AI가 실무에 접목될 가능성은 분명하지만 여전히 ‘사람의 방향 키’가 중요하다”고 강조했다.