バルーンフィットが
バルーンフィットにならない

平均の中にあるからです。黒いスウェット生地も、ゴムのウエストも、インターネットにはあふれています。モデルがすでに知っているものなので、呼べば出てきます。

極端な形ほど、例がありません。そのため結果は知っているものの中でいちばん近いところへ引き寄せられます。バルーンを頼めばストレートが、極ワイドを頼めば「ほどよく広め」が出てきます。上の写真の中央が、まさにそうして出てきた結果です。

先ほど見たやり方です。まさに今回のリクエストから効きません。バルーンと書き込んだそのリクエストで、ストレートが出てきました。モデルが知らない形を、言葉は呼び出せないからです。

しかも積み上がりもしません。100回説明しても、101回目にはまた一から説明し直しです。毎回効かないことを、毎回やり直しているようなものです。

公開モデルを持ってきたのだから、それを丸ごと教え直せばいいのでは。それもうまくいきません。

まず現実的な壁があります。モデル全体を教え直すにはそれ相応のGPUが必要で、ブランドごとに数十GBのモデルが1セットずつでき、新しいことを学ぶうちに元々知っていたことを忘れてしまいます。バルーンフィットは覚えたのに、シャツが描けなくなるといった具合です。

ですが、もっと大きな問題は教え方にあります。

数十着分のブランドデータでモデル全体を開いて教えると、モデルはわざわざルールを探そうとしません。その数十枚をそのまま丸暗記するほうがはるかに楽だからです。

試験範囲が100問で答えを全部覚えられるなら、誰も原理を勉強しないのと同じです。学習セットにあった服は完璧に再現するのに、初めて見る服では何もできません。私たちが欲しかったのは「このブランドはこういう曲線を使う」というルールなのに、手に入ったのは「あのパンツの写真」でした。

ここで問いをひっくり返してみます。巨大モデルが描いてくれる絵は、実はたいてい良いのです。色も素材も照明も背景もポーズも、私たちに作れるレベルではありません。ずれるのはたった一か所、シルエットだけです。

それなら、モデルを作り直す理由はありません。必要なのはこれひとつです。

上手に描いてくれるところはそのままに、フィットだけをこのブランドのものに変えられないか？

モデル全体には手を触れず、「このブランドはこういう曲線を使う」ということだけを別に書き留めておき、絵を描くときにそれだけを載せる方法です。それがLoRA（Low-Rank Adaptation）で、3つの中で唯一うまくいく方法です。次の節で、なぜそれが可能なのかを見ていきます。

モデルは絵の描き方が書かれた、とても分厚い説明書だと考えてください。服はこう、しわはこう、光はこう。そんな指示が何十億行も書かれています。これを全部書き直すのが前の節の「丸ごと教え直す」で、それはうまくいきません。

そこで説明書は一文字も直しません。代わりに、横に薄い修正メモを一枚貼ります。「このブランドのパンツは、ここでこれだけ多く膨らませる」といった差分だけが書かれた紙です。

絵を描くときは、説明書とメモを一緒に見ます。説明書どおりに描きつつ、メモに書かれた分だけ違えて描くのです。

学習前のメモには何も書かれていません。そのため最初は原本と結果がまったく同じです。学習が進むにつれて一行ずつ埋まっていき、どれだけ埋まったかが、そのままどれだけ学んだかになります。あとで学習がうまく進んでいるかを見るときに、この値を使います。

絵を描くときに、メモをどれくらい強く反映するかを数字ひとつで決めます。これをs（LoRA scale）と呼びます。

s = 0ならメモをまったく見ません。原本そのままです。s = 1なら書かれたとおりに、s = 1.3なら書かれた内容より1.3倍強く反映します。

ここで、前の節の問題がひっくり返ります。メモが説明書と同じくらい分厚ければ、学習に使った服の写真を丸ごと書き写せてしまいます。そうなると、また丸暗記に戻ります。

メモが薄ければ、その余地がありません。数十着を全部は書けないので、それらの服に共通して現れるものだけを選んで書くことになります。それこそが私たちの求めていた「このブランドの曲線」です。

小さいから安いのではなく、小さいから学ぶのです。

GoogleのVertex AIのチューニング機能のようなものです。私たちのデータをアップロードすると、向こうが自分たちのモデルを私たち向けに調整してくれます。手軽で、結果も良好です。

ただし、調整された結果は向こうのサーバーに残ります。私たちはそのモデルを呼び出して使えるだけで、持ち出すことはできません。

先ほどの表の下の3つのように重みが公開されたモデルを取得し、自分たちのGPUでメモを作ります。手間はかかります。

その代わり、できあがったメモファイルは私たちのストレージに残ります。私たちが選び、私たちが積み上げ、私たちが使います。

ブランドのフィットやシルエットはあまり変わりません。そのためブランドごとのアダプターが積み上がっていきます。服が増えるほどそのブランドのアダプターは良くなり、良くなるほど乗り換えにくくなります。ファイル1つがブランド1つなので、ブランドが100社になってもモデルは1つです。

いま流行っているものは、半年後には流行っていません。そのため新たに学習して差し替える必要があります。LoRAは学習が数時間でファイルも小さいので、差し替えが現実的です。丸ごと再学習する仕組みだったら、この軸はそもそも成り立ちません。

メモを見ずに描けば（s = 0）、学習していない原本そのままが出てきます。メモを見て描けば、学習した結果が出てきます。

つまり、同じ服・同じ背景・同じポーズで「学習前」と「学習後」を並べて出してみることができます。違う条件はひとつだけなので、差が出たならそれは学習によるものです。

これがないと、結果が良さそうに見えても学習がうまくいったのか、単にその服が簡単だったのかがわかりません。

メモファイルが小さいので、学習している間に途中の状態を20回コピーしておきます。少し学んだメモ、半分ほど学んだメモ、最後まで学んだメモが20枚残ります。

終わったあと20枚を全部試して、いちばん良いものを選びます。最後まで学んだものがいちばん良いという保証はないからです。実際に、途中のもののほうが良かったケースもありました。

モデルを丸ごと教え直す方式だったら、数十GBのものを20セット保存しなければならず、こうはできません。

学習のときに写真1枚を何ピクセルまで見て学ぶかを決めます。この値より大きい写真は縮小して見ます。小さく見れば速く学べますが、生地の織り目のような細かい情報がつぶれます。大きく見れば遅くなる代わりに、そうしたところまで学びます。

メモを何回書き直すかです。学習の総量だと考えてください。少なければ学びが足りず、多ければより多く学びますが、ある地点を越えるとかえって悪くなります（丸暗記を始めます）。

完成したメモを、絵を描くときにどれくらい強く反映するかです。学習が終わったあとに決める値なので、学習し直さずに変えて試せます。

メモの厚さです。行数が多いほどたくさん書けますが、多すぎると学習に使った服を丸ごと書き写せてしまい、丸暗記しやすくなります。ほどよく薄くしてこそ、共通点だけを書くようになります。

メモを一度直すときにどれくらい大きく直すかです。大きく直せば速く学びますが行き過ぎてしまい、小さく直せば安定する代わりに時間がかかります。

服155着を16回ずつ繰り返し見せると2,480ステップになります。1ステップに8秒ほどかかるので、全体で5時間です。

写真を2倍の大きさで見て学ばせると、1ステップにより時間がかかります。学習し終えたあとに絵を1枚出す時間も、90秒から140秒に延びます。

最初に小さな写真で学習したときは、1,375ステップあたりで結果がいちばん良くなりました。そこで写真を2倍に大きくして学習し直すときも、同じあたりを見ればいいだろうと考えました。

ところが、その地点の結果はひどいものでした。写真が大きくなると一度に見るべきものが増えるので、同じステップ数でもずっと学びが足りない状態だったのです。

さらに回してみると、2,000ステップを越えてもまだ良くなり続けました。「ステップ数が同じなら同じくらい学んでいるだろう」は間違いでした。