앞의 두 문서는 핏 이야기였습니다. 말로 지시해서는 안 되고, 어휘를 더 쪼개도 안 됩니다. 그래서 브랜드의 옷으로 모델을 직접 학습시켜 봤습니다.
이 실험을 건 이유는 핏이 아니었습니다. 핏이 전이된다는 건 앞선 브랜드에서 이미 봤습니다. 이번에 확인하려던 건 그 옷을 어떻게 입히느냐였습니다.
이 실험이 검증하려던 제안
"저희가 귀사 브랜드를 학습해 두었습니다."
"앞으로 신상이 나오면 옷 사진 한 장만 주세요. 귀사 분위기로 코디해서 상세페이지에 들어갈 컷까지 뽑아 드리겠습니다."
브랜드는 신상이 나올 때마다 룩북을 찍습니다. 모델을 부르고, 스튜디오를 잡고, 스타일리스트가 신발과 소품을 맞춥니다. 그 브랜드가 지금까지 찍어 온 룩북에는 그 브랜드가 옷을 어떻게 입히는지가 이미 다 들어 있습니다.
결과는 이렇습니다. 바지 한 장을 넣으면 상의가 만들어져 한 벌로 입혀 나옵니다. 상의는 넣은 적이 없습니다.
01 · The Setup
학습은 문제와 답을 짝지어 넣는 방식입니다. 문제는 바지 상품컷 한 장, 답은 그 바지를 입은 룩북 사진 한 장입니다.
이런 짝을 114개 만들어 넣었습니다. 옷 114벌이 들어간 셈입니다.
그리고 열한 벌은 일부러 빼 뒀습니다. 이 열한 벌은 학습에 한 번도 안 들어갑니다. 학습이 끝난 뒤 이 옷들의 상품컷만 넣어 보고, 브랜드가 실제로 찍은 룩북 컷과 나란히 놓고 봅니다.
빼 두는 이유는 간단합니다. 학습에 넣은 옷으로 결과를 보면, 모델이 그 옷을 외운 건지 브랜드를 배운 건지 구분이 안 됩니다.
다만 옆에 놓는 룩북 컷을 정답이라고 부르지는 않습니다. 브랜드가 그 바지로 찍은 컷은 여러 장이고, 같은 바지에 다른 상의를 입힌 컷도 있습니다. 우리 결과가 그 한 장과 다르다고 틀린 게 아닙니다.
02 · What Came Back
입력은 바지 한 장입니다. 상의를 넣은 적이 없는데 열한 벌 모두 상의가 만들어졌습니다. 아무 상의가 붙은 게 아니라, 그 바지에 어울리게 이 브랜드라면 이렇게 입혔겠다 싶은 한 벌이 나옵니다.
- 한 벌로 묶습니다 — 하의와 같은 소재·색의 상의를 붙여 세트로 만듭니다. 열한 벌 중 여덟 벌이 그렇습니다
- 배색이 이어집니다 — 트랙 팬츠의 빨강·회색 패널이 자켓에도 들어갑니다
- 디테일이 이어집니다 — 사이드에 자수가 있는 팬츠에는 같은 자수가 들어간 자켓이 붙습니다
- 안에 받쳐 입힙니다 — 검정 아우터 안에 체크 셔츠를 넣거나, 회색 수트 안에 흰 이너를 넣습니다
몇 벌은 우연으로 보기 어렵습니다.
이건 이 옷의 정답은 아닙니다. 브랜드가 자주 하는 것일 뿐입니다. 다만 조건을 바꿔도 계속 나온다는 게 한 번의 우연이 아니라는 뜻입니다.
다만 브랜드보다 이 습관을 더 자주 씁니다. 학습에 쓴 사진에서 상하를 같은 원단으로 맞춘 건 114장 중 26장인데, 결과물은 열한 벌 중 일곱 벌이 그렇습니다.
03 · Where It Came From
앞에서 본 학습 짝을 다시 보면 답이 나옵니다. 우리가 넣은 건 바지 한 장이지만, 답으로 쓴 사진에는 자켓과 신발과 양말과 가방이 같이 찍혀 있습니다. 그런데 그 사진에 붙는 설명문은 바지만 서술합니다.
여기서 설명문은 학습 사진마다 붙이는 한 줄짜리 서술입니다. 무슨 옷인지를 문장으로 적어 사진과 함께 넣습니다.
설명문에 안 적은 것을 배웁니다
학습은 사진과 그 사진을 설명하는 문장을 짝지어 넣습니다. 모델은 사진에는 있는데 문장이 설명해 주지 않은 것을 브랜드의 특징 쪽으로 몰아넣습니다.
이번 학습셋의 설명문은 114개의 꼬리가 한 글자도 다르지 않았습니다. 옷 서술만 다르고 나머지는 전부 같은 문장입니다. 그러니 코디와 배경과 포즈까지 같이 학습됐습니다.
04 · Alpha
브랜드 느낌은 났습니다. 그런데 옷이 붕 떠 보였습니다. 원단이 색칠한 것처럼 평평하게 나와서, 멀리서 보면 그럴듯한데 가까이 보면 옷 같지가 않았습니다.
먼저 든 생각은 이것이었습니다. 학습한 걸 더 세게 얹으면 되지 않을까.
세게 얹는다는 게 무슨 뜻인가
문서 1에서 이 방식을 두꺼운 설명서 위에 얇은 메모를 붙이는 것에 비유했습니다. 원본 모델은 그대로 두고, 브랜드 룩북으로 만든 얇은 메모를 그 위에 얹습니다.
거기서 조절할 수 있는 값 몇 개를 소개했는데, 그 메모를 얼마나 세게 반영할지 정하는 값이 그중 하나입니다. 1.0이 기본입니다. 올리면 원본에서 멀어지고 메모 쪽으로 더 끌려갑니다. 0으로 두면 메모가 아예 안 붙어서 원본 그대로 나옵니다.
1.0에서 1.3으로 올려 봤습니다.
안 됐습니다. 볼륨이 일관되게 커지지 않았고 일부 옷은 오히려 줄었습니다. 방향도 일정하지 않았습니다. 적용 강도로는 조절이 안 됩니다. 학습이 못 잡은 건 세게 얹어도 안 나옵니다.
05 · Image Size
붕 떠 보이는 원인은 질감이었습니다. 학습할 때 사진을 작게 줄여서 넣고 있었고, 원단 결 같은 미세한 정보가 그 단계에서 이미 날아갔습니다.
사진을 크게 넣도록 바꿔 다시 학습했습니다. 사라졌던 디테일이 돌아왔습니다. 핀스트라이프가 뚜렷해지고, 크레이프 요철이 살아나고, 옆선 테이프가 보이기 시작했습니다.
세게 얹는 값이 아니라 이미지를 얼마나 크게 보여주느냐가 결과를 바꿨습니다.
06 · Too Much
학습은 사진을 보여주고 모델을 조금 고치는 일을 계속 반복하는 것입니다. 그 반복 한 번을 한 번 돌았다고 셉니다. 이번 학습은 2,052번 돌았고, 도는 동안 스물한 번 중간 상태를 저장했습니다.
많이 돌릴수록 좋아지는 게 아닙니다. 어느 지점을 넘으면 매번 같은 것만 나오기 시작합니다. 신발에서 제일 잘 보입니다.
왼쪽은 옷마다 다른 신발이 나왔습니다. 흰 스니커, 로퍼, 뾰족한 구두, 슬립온이 섞여 있습니다. 오른쪽은 옷이 달라도 전부 같은 모양입니다. 더 태우는 사이에 신발이 한 종류로 줄었습니다.
배경도 같은 일이 일어납니다. 설명문은 배경을 "단색" 이라고만 했습니다. 무슨 색인지는 안 적었습니다. 그 빈칸을 모델이 학습에서 본 회색으로 채웁니다. 우리가 쓰던 흰 배경이 아니라 브랜드 스튜디오의 회색입니다.
배경 밝기 (255 = 순백)
실제 착장 배경 255.0 중간 지점 254.8 ~ 254.9 마지막 지점 248.5 ← 열한 벌 중 일곱 벌이 242~246
두 번 다 핏보다 부수 요소가 먼저 무너졌습니다. 핏은 마지막까지 계속 좋아지기 때문에, 핏만 보고 있으면 이걸 못 봅니다. 핏이 제일 좋을 때 결과물이 제일 좋은 건 아닙니다.
그래서 학습이 끝난 상태를 그냥 쓰면 안 됩니다. 중간 상태를 여러 개 남겨 놓고 나란히 놓아 골라야 합니다. 지금까지 돌린 학습에서 마지막 상태가 제일 좋았던 적이 한 번도 없습니다. 그리고 결과를 볼 때 확인하는 항목에 배경 밝기를 넣었습니다. 눈으로만 보면 놓치는데 숫자로는 잡힙니다.
07 · What We Take
| 질문 | 답 |
|---|---|
| 브랜드 룩북을 학습하면 룩앤필을 따라 하는가 | 합니다. 컬러감·배색·스타일링까지 |
| 가르치지 않은 것도 따라 하는가 | 합니다. 넣지 않은 상의와 신발을 만들어 붙입니다 |
| 학습에 없던 신상에서도 되는가 | 됩니다. 검증 열한 벌 전부 학습 밖 상품입니다 |
| 적용 강도를 올리면 진해지는가 | 아닙니다. 그 가설은 폐기했습니다 |
| 오래 학습할수록 좋아지는가 | 아닙니다. 어느 지점부터 출력이 굳습니다 |
브랜드가 지금까지 찍어 온 룩북 안에 그 브랜드가 옷을 입히는 방식이 들어 있습니다. 학습으로 그걸 꺼내 쓸 수 있습니다.
무엇을 조절해야 하는지도 알았습니다. 이미지 크기와 학습을 어디서 멈추는가입니다.
다음 문제는 그 설명문을 누가 쓰느냐입니다. 이 학습에 쓴 설명문도 사람이 쓴 게 아닙니다. 제미나이가 사진을 보고 문장을 만들어 붙였습니다.
그런데 우리는 같은 일을 서비스에서도 하고 있습니다. 셀러가 옷 사진을 올리면 제미나이가 상품 설명을 씁니다. 그리고 셀러가 그걸 고칩니다. 그 고친 기록이 만 오천 건 넘게 쌓여 있습니다.
제미나이가 무엇을 잘못 보는지, 사람이 무엇을 고치는지가 거기 다 있습니다. 마지막 문서에서 그 이야기를 합니다.