벌룬핏이
벌룬핏으로 안 나옵니다

평균 안에 있기 때문입니다. 검은 스웨트 원단도, 밴딩 허리도 인터넷에 널려 있습니다. 모델이 이미 아는 것이라 부르면 나옵니다.

극단일수록 표본이 없습니다. 그래서 결과가 아는 것 중 가장 가까운 곳으로 끌려갑니다. 벌룬을 시키면 일자 통이 나오고, 극와이드를 시키면 "적당히 넓게"가 나옵니다. 위 사진의 가운데가 그렇게 나온 결과입니다.

앞에서 본 그 방식입니다. 이번 요청에서부터 안 먹힙니다 — 벌룬이라고 적어 넣은 바로 그 요청에서 일자 통이 나왔습니다. 모델이 모르는 형태를 단어가 불러오지 못하기 때문입니다.

게다가 쌓이지도 않습니다. 백 번을 설명해도 백한 번째에 처음부터 다시 설명해야 합니다. 매번 안 먹히는 것을 매번 다시 하는 셈입니다.

공개된 모델을 가져왔으니 그걸 통째로 다시 가르치면 되지 않느냐. 그것도 안 됩니다.

현실적인 벽부터 있습니다. 모델 전체를 다시 가르치려면 그만한 GPU가 필요하고, 브랜드마다 수십 GB짜리 모델이 한 벌씩 생기고, 새로 배우면서 원래 알던 것을 잊습니다. 벌룬핏은 배웠는데 셔츠를 못 그리게 되는 식입니다.

그런데 더 큰 문제는 가르치는 방식에 있습니다.

수십 벌짜리 브랜드 데이터로 모델 전체를 열어 놓고 가르치면, 모델은 굳이 규칙을 찾지 않습니다. 그 수십 장을 그대로 외워 버리는 쪽이 훨씬 쉽기 때문입니다.

시험 범위가 100문제인데 답을 다 외울 수 있으면 아무도 원리를 공부하지 않는 것과 같습니다. 학습셋에 있던 옷은 완벽하게 재현하는데, 처음 보는 옷에서는 아무것도 못 합니다. 우리가 원한 건 "이 브랜드는 이런 곡선을 쓴다"는 규칙인데, 얻은 건 "그 바지 사진"입니다.

여기서 질문을 뒤집어 봅니다. 거대 모델이 뽑아주는 그림은 사실 대체로 좋습니다. 색도 소재도 조명도 배경도 포즈도 우리가 만들 수 있는 수준이 아닙니다. 어긋나는 건 딱 한 군데, 실루엣입니다.

그러면 모델을 다시 만들 이유가 없습니다. 필요한 건 이것 하나입니다.

잘 그려주는 건 그대로 두고, 핏만 이 브랜드 걸로 바꿀 수 없을까?

모델 전체를 건드리지 않고 "이 브랜드는 이런 곡선을 쓴다"는 것만 따로 적어 두었다가, 그림을 그릴 때 그것만 얹는 방법입니다. 그게 LoRA(Low-Rank Adaptation)이고, 셋 중 유일하게 되는 방법입니다. 다음 절에서 어떻게 그게 가능한지 봅니다.

모델은 그림 그리는 법이 적힌 아주 두꺼운 설명서라고 보면 됩니다. 옷은 이렇게, 주름은 이렇게, 빛은 이렇게 — 그런 지시가 수십억 줄 적혀 있습니다. 이걸 다 고쳐 쓰는 것이 앞 절의 "통째로 다시 가르치기"였고, 그건 안 됩니다.

그래서 설명서는 한 글자도 안 고칩니다. 대신 옆에 얇은 수정 메모를 한 장 붙입니다. "이 브랜드 바지는 여기서 이만큼 더 부풀린다" 같은 차이만 적힌 종이입니다.

그림을 그릴 때는 설명서와 메모를 같이 봅니다. 설명서 그대로 그리되, 메모에 적힌 만큼만 다르게 그립니다.

학습 전 메모는 아무것도 안 적힌 상태입니다. 그래서 처음에는 원본과 결과가 똑같습니다. 학습이 진행되면서 한 줄씩 채워지고, 얼마나 채워졌는지가 곧 얼마나 배웠는지입니다. 나중에 학습이 잘 되고 있는지 볼 때 이 값을 씁니다.

그림을 그릴 때 메모를 얼마나 세게 반영할지를 숫자 하나로 정합니다. 이걸 s(LoRA scale)라고 합니다.

s = 0이면 메모를 아예 안 봅니다 — 원본 그대로입니다. s = 1이면 적힌 그대로, s = 1.3이면 적힌 것보다 1.3배 세게 반영합니다.

여기서 앞 절의 문제가 뒤집힙니다. 메모가 설명서만큼 두꺼우면 학습에 쓴 옷 사진을 통째로 베껴 적을 수 있습니다. 그러면 다시 암기가 됩니다.

메모가 얇으면 그럴 자리가 없습니다. 수십 벌을 다 적을 수 없으니 그 옷들에 공통으로 나타나는 것만 골라 적게 됩니다. 그게 우리가 원한 "이 브랜드의 곡선"입니다.

적어서 싼 게 아니라, 적어야 배웁니다.

구글 Vertex AI의 튜닝 기능 같은 것들입니다. 우리 데이터를 올려 주면 그쪽이 자기 모델을 우리에게 맞게 조정해 줍니다. 편하고 결과도 좋습니다.

다만 조정된 결과가 그쪽 서버에 남습니다. 우리는 그 모델을 호출해 쓸 수 있을 뿐, 가져올 수는 없습니다.

앞 표의 아래쪽 셋처럼 가중치가 공개된 모델을 받아, 우리 GPU에서 메모를 만듭니다. 손이 더 갑니다.

대신 만들어진 메모 파일이 우리 저장소에 남습니다. 우리가 고르고, 우리가 쌓고, 우리가 씁니다.

브랜드의 핏과 실루엣은 잘 안 바뀝니다. 그래서 브랜드별 어댑터가 쌓입니다. 옷이 늘수록 그 브랜드의 어댑터가 좋아지고, 좋아질수록 옮겨 가기 어려워집니다. 파일 하나가 브랜드 하나이므로 브랜드가 100곳이 되어도 모델은 하나입니다.

지금 뜨는 것은 반년 뒤에 안 뜹니다. 그래서 새로 학습해 갈아끼워야 합니다. LoRA는 학습이 몇 시간이고 파일이 작아 갈아끼우는 게 현실적입니다. 통째로 재학습하는 구조였다면 이 축은 아예 불가능합니다.

메모를 안 보고 그리면(s = 0) 학습을 안 한 원본 그대로 나옵니다. 메모를 보고 그리면 학습한 결과가 나옵니다.

그러니까 같은 옷·같은 배경·같은 포즈로 "배우기 전"과 "배운 뒤"를 나란히 뽑아 볼 수 있습니다. 조건이 하나만 다르니 차이가 생겼다면 그건 학습 때문입니다.

이게 없으면 결과가 좋아 보여도 학습이 잘된 건지 그냥 그 옷이 쉬웠던 건지 알 수 없습니다.

메모 파일이 작아서, 학습하는 동안 중간 상태를 스무 번 복사해 둡니다. 조금 배운 메모, 절반쯤 배운 메모, 끝까지 배운 메모가 스무 장 남습니다.

끝난 뒤 스무 장을 다 써 보고 제일 나은 것을 고릅니다. 마지막까지 배운 것이 제일 낫다는 보장이 없기 때문입니다 — 실제로 중간 것이 더 나은 경우가 있었습니다.

모델을 통째로 다시 가르치는 방식이었다면 수십 GB짜리를 스무 벌 저장해야 해서 이렇게 못 합니다.

학습할 때 사진 한 장을 몇 픽셀까지 보고 배울지를 정합니다. 이 값보다 큰 사진은 줄여서 봅니다. 작게 보면 빨리 배우지만 원단 짜임 같은 잔 정보가 뭉개지고, 크게 보면 느린 대신 그런 것까지 배웁니다.

메모를 몇 번 고쳐 쓸지입니다. 학습의 총량이라고 보면 됩니다. 적으면 덜 배우고, 많으면 더 배우는데 어느 지점을 넘으면 오히려 나빠집니다(외우기 시작합니다).

다 만든 메모를 그림 그릴 때 얼마나 세게 반영할지입니다. 학습이 끝난 뒤 정하는 값이라 다시 학습하지 않고 바꿔 볼 수 있습니다.

메모의 두께입니다. 줄 수가 많으면 더 많은 걸 적을 수 있지만, 너무 많으면 학습에 쓴 옷을 통째로 베껴 적을 수 있어 외우기 쉬워집니다. 적당히 얇아야 공통점만 적게 됩니다.

메모를 한 번 고칠 때 얼마나 크게 고칠지입니다. 크게 고치면 빨리 배우지만 지나쳐 버리고, 작게 고치면 안정적이지만 오래 걸립니다.

옷 155벌을 16번씩 반복해서 보여주면 2,480 스텝이 됩니다. 한 스텝에 8초쯤 걸리니 전체 5시간입니다.

사진을 두 배 크게 보고 배우게 하면 한 스텝이 더 오래 걸립니다. 다 배운 뒤에 그림 한 장 뽑는 시간도 90초에서 140초로 늘어납니다.

처음에 작은 사진으로 학습했을 때 1,375 스텝쯤에서 결과가 가장 좋았습니다. 그래서 사진을 두 배 크게 해서 다시 학습할 때도 비슷한 지점을 보면 되겠다고 생각했습니다.

그런데 그 지점의 결과가 형편없었습니다. 사진이 커지면 한 번에 봐야 할 것이 많아져서 같은 스텝 수라도 훨씬 덜 배운 상태였던 것입니다.

계속 돌려 보니 2,000 스텝을 넘어서도 계속 좋아졌습니다. "스텝 수가 같으면 비슷하게 배웠겠지"가 틀렸습니다.