AIのポーズ指定をPoseMy.Artで試した|ChatGPTとComfyUIでヨガ12ポーズを比較

公開日
生成例
90枚
カテゴリ
やってみた
AIのポーズ指定をPoseMy.Artで試した|ChatGPTとComfyUIでヨガ12ポーズを比較

PoseMy.Art で作った人形の画像を見本に渡すと、ChatGPT(Images 2.5)は、ヨガの12ポーズすべてを見本どおりの形で出しました。ComfyUI に骨組み(OpenPose)を渡す方法も10ポーズでは形になりましたが、立ったまま前屈と、両手で支えて両足を浮かせるポーズは崩れています。

両手で支えるポーズは、骨組みの代わりに人形の輪郭(Canny)を弱めに渡すと直りました。立ったまま前屈は、骨組みと輪郭で合わせて30枚作っても、手が3本になるなどの崩れが残っています。ChatGPT のほうも、しゃがむ・あぐら・四つんばい・腕で支えるの4ポーズは安全審査で止められ、ヨガ教室の見本写真として書き直して通しました。複雑なポーズを狙った形で出したいなら、ChatGPT 一択です。ComfyUI の出番は、言い換えても ChatGPT の安全審査を通らない画像を作るときだと思います。

12ポーズの結果

ポーズごとに、ChatGPT と ComfyUI で2枚ずつ作った結果です。「見本どおり」は、2枚とも手足の位置が人形と同じになったものを指します。

ポーズ ChatGPT(人形の画像を渡す) ComfyUI(骨組みを渡す)
戦士のポーズ2 見本どおり 見本どおり
立ったまま前屈 見本どおり 崩れが残った(輪郭でも手が3本)
合掌でしゃがむ 言い換えて通し、見本どおり 見本どおり
木のポーズ(足をももに乗せる) 見本どおり 見本どおり
片足を頭の後ろまで上げる 見本どおり 1枚を作り直して見本どおり
四つんばいで片足を頭へ上げる 言い換えて通し、見本どおり 見本どおり
あぐらで瞑想 言い換えて通し、見本どおり あぐらにはなったが、足の組み方が浅い
座って深く前屈 見本どおり 1枚を作り直して見本どおり
開脚で前に倒れる 見本どおり 1枚を作り直して見本どおり
前後開脚で両腕を上げる 見本どおり 開脚と腕は合ったが、背中の反りが浅い
橋のポーズ(足首をつかむ) 見本どおり 1枚を作り直して見本どおり
両手で支えて両足を浮かせる 言い換えて通し、見本どおり 骨組みでは崩れ、輪郭に替えて直った

見本の作り方と、2つのツールへの渡し方

文章だけで頼むと、AI はポーズの名前を知っていても、手足の位置まではなかなか合わせてくれません。そこで今回は、3Dの人形でポーズを作って、その画像を見本として渡しました。

PoseMy.Art で人形のポーズを作る

PoseMy.Art は、ブラウザで動く無料の3Dのポーズのツールです。人形の関節をつかんで動かし、作ったポーズを画像で書き出せます。書き出したのは、灰色の人形がそのまま写ったふつうの画像と、関節を線でつないだ骨組みの画像(OpenPose)の2つです。人形は小さく写ると AI に伝わりにくいので、どちらも人形の範囲で切り抜き、ポーズごとに決めた比率(縦長・正方形・横長)の枠いっぱいに入れています。

ChatGPT には人形の画像、ComfyUI には骨組みを渡す

ChatGPT は、Codex から画像生成(ChatGPT Images 2.5)を使い、人形の画像を参照画像として添付しました。プロンプトの先頭には「添付した灰色の人形を見本に、ポーズと写す向きを合わせて」の1文を足しています。

ComfyUI は、骨組みの画像を ControlNet(見本の画像で形を指定する仕組み)に渡しました。モデルは HARUKI_MIX ZIT2606Real(Z-Image Turbo をもとにした写真向けのモデル)、ControlNet は Z-Image Turbo 用の Fun ControlNet Union 2.1(lite 2602)を強さ1.0で使っています。設定は9ステップ・cfg 1・res_multistep・simple です。

ChatGPT にだけ、先頭に足した1文
Use the gray mannequin in the attached image as the pose reference and match its pose and camera angle exactly.
ベースのプロンプト(ComfyUI にはこのまま渡した)
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, [ポーズの言葉], in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, [比率の言葉]

比率の言葉は、縦長が vertical 2:3 format、正方形が square format、横長が horizontal 3:2 format です。ChatGPT は正方形を頼むと 1254×1254 で返すので、正方形のポーズだけ ComfyUI(1024×1024)と大きさが違います。

ポーズごとの見比べ

ここからは、12ポーズを1つずつ見ていきます。どの枠も、上の段は人形の見本を渡した ChatGPT、下の段は骨組みを渡した ComfyUI(ピンクの表示)で、段のいちばん左が渡した見本です。ChatGPT には、どのポーズもプロンプトの先頭に見本の1文を足しています。作り直したポーズは、崩れた画像と、どう直したかも一緒に載せました。

warrior II戦士のポーズ2

ポーズの言葉:doing warrior II yoga pose with her legs wide apart, front knee bent and both arms stretched straight out to the sides

戦士のポーズ2の見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った戦士のポーズ2(1枚目)
ChatGPT
ChatGPT で作った戦士のポーズ2(2枚目)
ChatGPT
戦士のポーズ2の見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った戦士のポーズ2(1枚目)
ComfyUI
ComfyUI で作った戦士のポーズ2(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing warrior II yoga pose with her legs wide apart, front knee bent and both arms stretched straight out to the sides, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

まずは肩慣らし。脚を大きく開いて両腕を横に伸ばす戦士のポーズは、4枚とも見本どおりです。ChatGPT の2枚は、顔も背景もほぼ同じで、間違い探しのような2枚になりました。

standing forward bend立ったまま前屈

ポーズの言葉:doing a standing forward bend yoga pose, folding her upper body down over straight legs and holding her shins

立ったまま前屈の見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った立ったまま前屈(1枚目)
ChatGPT
ChatGPT で作った立ったまま前屈(2枚目)
ChatGPT
立ったまま前屈の見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った立ったまま前屈(1枚目)
ComfyUI
ComfyUI で作った立ったまま前屈(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing a standing forward bend yoga pose, folding her upper body down over straight legs and holding her shins, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, vertical 2:3 format

ChatGPT は、すねを持つ手の位置まで人形どおり。問題は ComfyUI で、1枚目は足首のあたりで手の指と足の指がからまり、正直ちょっと気持ち悪い。2枚目も、片腕にだけ網目の袖が出ています。これでも、作った中ではましな2枚です。

骨組みでは、頭が2つになった

骨組みのまま、手元の Mac で2枚、Comfy Cloud で16枚作りました。出てきたのはこんな画像です。

崩れたComfyUI・骨組みで出た「立ったまま前屈」(プロンプトは上と同じ)

頭が2つ出た立ったまま前屈
頭が2つ
脚を高く上げた別のポーズになった立ったまま前屈
別のポーズ
服に穴のあいた模様が出た立ったまま前屈
服が網に
レギンスに柄が出て、頭が床に付いた立ったまま前屈
柄が出る

・・・頭が2つある。前屈を頼んだのに、片脚を天井に向けて振り上げている子までいます。骨組みの画像では、頭が腰より下にあり、腕と脚の線が重なります。どちらが前でどちらが後ろかを、AI が読み違えているんだと思います。

輪郭に替えたら、手が3本になった

そこで、骨組みの代わりに、人形の画像から輪郭(Canny)を取り出して渡しました。このあと書く「両手で支えて両足を浮かせる」で効いた方法です。12枚作って、いちばんましだったのがこの2枚。

輪郭でも崩れた人形の輪郭(Canny)を渡して作った「立ったまま前屈」

腰のあたりに3本目の手が出た立ったまま前屈
輪郭
左手がひざの高さで右ひじをつかみ、頭のまわりに細い線が残った立ったまま前屈
輪郭

形は人形にぐっと近づきました。ところが1枚目は、腰のあたりに3本目の手が生えています。2枚目は、人形の頭の輪郭が頭のまわりに細い線で残ったうえに、手もおかしい。奥側の左手が、すねではなくひざの高さで、手前の右ひじの外側をつかんでいます。肩からその手につながる腕は見えず、人の体としてはありえない位置です。骨組みと輪郭で合わせて30枚作っても崩れの無い1枚は出ていません。12ポーズの中で ComfyUI がいちばん苦戦したのが、この前屈です。

garland pose合掌でしゃがむ

ポーズの言葉:doing garland yoga pose, squatting deeply with her knees wide apart and palms pressed together in front of her chest

合掌でしゃがむの見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った合掌でしゃがむ(1枚目)
ChatGPT
ChatGPT で作った合掌でしゃがむ(2枚目)
ChatGPT
合掌でしゃがむの見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った合掌でしゃがむ(1枚目)
ComfyUI
ComfyUI で作った合掌でしゃがむ(2枚目)
ComfyUI
ChatGPT の2枚のプロンプト(言い換えて通したもの)
Use the gray mannequin in the attached image only as a reference for the yoga pose and camera angle, and match the pose exactly. Instructional photo for a beginner yoga class: a 20-year-old Japanese female yoga instructor demonstrating the garland pose (Malasana), a deep yoga squat with her heels on the mat, knees apart and palms pressed together at her chest on a gray yoga mat, wearing a modest fitted black yoga tank top and black full-length yoga leggings, barefoot, calm focused expression, black hair in a high ponytail, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body is visible from head to toe, square format
ComfyUI の2枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing garland yoga pose, squatting deeply with her knees wide apart and palms pressed together in front of her chest, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

合掌してしゃがむだけのポーズなのに、ChatGPT(Codex)の安全審査に2回止められました。止められた理由は表示されないので推測ですが、脚を開いてしゃがむ姿勢と、スポーツブラの組み合わせが引っかかったんだと思います。ChatGPT は、ちょっとでもエロっぽく見えそうだと判断すると、すぐ安全装置が働きます。そういうときは、あきらめずに「エロじゃないですよ」とプロンプトで伝わるように書き直すのが、うまいやり方。今回は、ヨガ教室の見本写真という設定にして通しました。

止められたプロンプトを、ヨガ教室の見本写真に書き直した

2回とも止められたプロンプト
Use the gray mannequin in the attached image as the pose reference and match its pose and camera angle exactly. Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing garland yoga pose, squatting deeply with her knees wide apart and palms pressed together in front of her chest, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

この記事は ChatGPT と ComfyUI の比べっこなので、ComfyUI に逃げずに言い換えで粘りました。直したのは次の3か所です。

  • 写真の目的を「初心者向けのヨガ教室の見本写真」と書く
  • 女性を「ヨガのインストラクター」にする
  • スポーツブラを、控えめなヨガのタンクトップにする

ポーズにも Malasana のような正式な名前を添えたら、止められた4ポーズとも通りました(通したプロンプトは、上の見比べの枠にあります)。ChatGPT の2枚だけ服がタンクトップなのは、このためです。ComfyUI は止められることもなく、見本どおりに深くしゃがんでいます。

half lotus tree pose足をももに乗せる木のポーズ

ポーズの言葉:doing a standing half lotus tree pose, balancing on one leg with the other foot resting on the opposite thigh and palms pressed together in front of her chest

木のポーズ(足をももに乗せる)の見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った木のポーズ(足をももに乗せる)(1枚目)
ChatGPT
ChatGPT で作った木のポーズ(足をももに乗せる)(2枚目)
ChatGPT
木のポーズ(足をももに乗せる)の見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った木のポーズ(足をももに乗せる)(1枚目)
ComfyUI
ComfyUI で作った木のポーズ(足をももに乗せる)(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing a standing half lotus tree pose, balancing on one leg with the other foot resting on the opposite thigh and palms pressed together in front of her chest, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, vertical 2:3 format

片足をもう片方のももに乗せて、胸の前で合掌する木のポーズは、4枚とも見本どおりです。乗せた足のかかとの位置まで合っています。ComfyUI の2枚は、床がヘリンボーンになったり、天井にスポットライトが付いたり、部屋は毎回勝手に模様替えされました。

king dancer pose片足を頭の後ろまで上げる

ポーズの言葉:doing king dancer yoga pose, balancing on one straight leg and pulling the other foot up behind her head with both hands

片足を頭の後ろまで上げるの見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った片足を頭の後ろまで上げる(1枚目)
ChatGPT
ChatGPT で作った片足を頭の後ろまで上げる(2枚目)
ChatGPT
片足を頭の後ろまで上げるの見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った片足を頭の後ろまで上げる(1枚目)
ComfyUI
ComfyUI で作った片足を頭の後ろまで上げる(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing king dancer yoga pose, balancing on one straight leg and pulling the other foot up behind her head with both hands, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, vertical 2:3 format

片足を後ろから頭の上まで引き上げる、かなり難しいポーズです。ChatGPT は2枚とも、足を両手でつかむ形まで見本どおりでした。ComfyUI の1枚目は、作り直しています。

作り直す前「片足を頭の後ろまで上げる」の作り直す前(左)と、作り直した1枚(右)

脚のつながりがおかしい、作り直す前の片足を頭の後ろまで上げるポーズ
作り直す前
作り直した片足を頭の後ろまで上げるポーズ
作り直した

最初の1枚(左)は、持ち上げた脚と立っている脚のつながりがおかしく、腰から下がねじれていました。Comfy Cloud で作り直したら、1回で見本どおりの1枚(右)が出ています。

tiger pose四つんばいで片足を頭へ上げる

ポーズの言葉:on her hands and one knee with straight arms, chest lifted and looking up, the other leg kicked up high behind her toward her head

四つんばいで片足を頭へ上げるの見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った四つんばいで片足を頭へ上げる(1枚目)
ChatGPT
ChatGPT で作った四つんばいで片足を頭へ上げる(2枚目)
ChatGPT
四つんばいで片足を頭へ上げるの見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った四つんばいで片足を頭へ上げる(1枚目)
ComfyUI
ComfyUI で作った四つんばいで片足を頭へ上げる(2枚目)
ComfyUI
ChatGPT の2枚のプロンプト(言い換えて通したもの)
Use the gray mannequin in the attached image only as a reference for the yoga pose and camera angle, and match the pose exactly. Instructional photo for a beginner yoga class: a 20-year-old Japanese female yoga instructor demonstrating a kneeling yoga backbend variation, supporting herself on both straight arms and one knee, chest lifted and gazing upward, the other leg raised high behind her on a gray yoga mat, wearing a modest fitted black yoga tank top and black full-length yoga leggings, barefoot, calm focused expression, black hair in a high ponytail, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body is visible from head to toe, square format
ComfyUI の2枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, on her hands and one knee with straight arms, chest lifted and looking up, the other leg kicked up high behind her toward her head, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

四つんばいから片足を頭のほうへ蹴り上げるポーズで、ヨガではタイガーのポーズと呼ばれる形に近いものです。これも ChatGPT に2回止められました。

2回とも止められたプロンプト
Use the gray mannequin in the attached image as the pose reference and match its pose and camera angle exactly. Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, on her hands and one knee with straight arms, chest lifted and looking up, the other leg kicked up high behind her toward her head, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

合掌のしゃがみと同じ3か所を直し、ポーズの言葉も「ひざをついて後ろに反るヨガのポーズ」と言い直して通しています。通ってしまえば、ChatGPT は上げた足の向きまで見本どおり。ComfyUI もこのポーズは作り直し無しの1回で決まり、Comfy Cloud で1枚23秒でした。

lotus poseあぐらで瞑想

ポーズの言葉:sitting cross-legged in lotus pose meditating, hands resting on her knees with thumb and index finger touching, eyes closed

あぐらで瞑想の見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作ったあぐらで瞑想(1枚目)
ChatGPT
ChatGPT で作ったあぐらで瞑想(2枚目)
ChatGPT
あぐらで瞑想の見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作ったあぐらで瞑想(1枚目)
ComfyUI
ComfyUI で作ったあぐらで瞑想(2枚目)
ComfyUI
ChatGPT の2枚のプロンプト(言い換えて通したもの)
Use the gray mannequin in the attached image only as a reference for the yoga pose and camera angle, and match the pose exactly. Instructional photo for a beginner yoga class: a 20-year-old Japanese female yoga instructor demonstrating the lotus pose (Padmasana) for meditation, sitting cross-legged with each hand resting on a knee in a mudra, eyes gently closed on a gray yoga mat, wearing a modest fitted black yoga tank top and black full-length yoga leggings, barefoot, calm focused expression, black hair in a high ponytail, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body is visible from head to toe, square format
ComfyUI の2枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, sitting cross-legged in lotus pose meditating, hands resting on her knees with thumb and index finger touching, eyes closed, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

あぐらで目を閉じて瞑想するだけ。12ポーズでいちばん穏やかなのに、これも ChatGPT に2回止められました。何が引っかかったのか、正直わかりません。

2回とも止められたプロンプト
Use the gray mannequin in the attached image as the pose reference and match its pose and camera angle exactly. Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, sitting cross-legged in lotus pose meditating, hands resting on her knees with thumb and index finger touching, eyes closed, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, square format

言い換えて通した ChatGPT の2枚は、足の甲をももに乗せる蓮華座(lotus pose)になっています。ComfyUI の2枚は、ひざは見本どおり大きく開いたものの、足の組み方はふつうのあぐらに近く、プロンプトの lotus pose までは出ていません。骨組みの画像は足先の線が短いので、組み方の細かいところまでは伝わりにくいのだと思います。

seated forward bend座って深く前屈

ポーズの言葉:doing a seated forward bend yoga pose, sitting with her legs straight out in front and folding forward so her face rests on her knees, hands holding her feet

座って深く前屈の見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った座って深く前屈(1枚目)
ChatGPT
ChatGPT で作った座って深く前屈(2枚目)
ChatGPT
座って深く前屈の見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った座って深く前屈(1枚目)
ComfyUI
ComfyUI で作った座って深く前屈(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing a seated forward bend yoga pose, sitting with her legs straight out in front and folding forward so her face rests on her knees, hands holding her feet, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, horizontal 3:2 format

脚を前に伸ばして、顔をひざにつける前屈です。ChatGPT は、手で足先をつかむところまで見本どおりでした。ComfyUI の1枚目は作り直しています。

作り直す前「座って深く前屈」の作り直す前(左)と、作り直した1枚(右)

足元に紫の謎の物体が写った、作り直す前の座って深く前屈
作り直す前
作り直した座って深く前屈
作り直した

最初の1枚(左)は、ポーズは合っているのに、足元に紫の網のような謎の物体が転がり、レギンスには読めない文字まで入っていました。・・・何これ。6枚作り直して、物が写り込んでいない1枚(右)を選んでいます。

wide-angle seated forward bend開脚で前に倒れる

ポーズの言葉:sitting on the floor with her legs spread wide apart, leaning forward and reaching both hands toward one foot

開脚で前に倒れるの見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った開脚で前に倒れる(1枚目)
ChatGPT
ChatGPT で作った開脚で前に倒れる(2枚目)
ChatGPT
開脚で前に倒れるの見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った開脚で前に倒れる(1枚目)
ComfyUI
ComfyUI で作った開脚で前に倒れる(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, sitting on the floor with her legs spread wide apart, leaning forward and reaching both hands toward one foot, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, horizontal 3:2 format

脚を大きく開いて、片方の足に両手を伸ばすポーズです。ChatGPT は、手前の足の裏がこちらを向く角度まで見本どおり。ComfyUI の2枚目は作り直しました。

作り直す前「開脚で前に倒れる」の作り直す前(左)と、作り直した1枚(右)

右脚の形がおかしい、作り直す前の開脚で前に倒れるポーズ
作り直す前
作り直した開脚で前に倒れるポーズ
作り直した

最初の1枚(左)は右脚の形がおかしく、足首には黒いリボンが巻かれていました。6枚作り直して、脚の形が自然な1枚(右)にしています。

front splits前後開脚で両腕を上げる

ポーズの言葉:doing front splits on the floor with both arms raised overhead and her back arched

前後開脚で両腕を上げるの見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った前後開脚で両腕を上げる(1枚目)
ChatGPT
ChatGPT で作った前後開脚で両腕を上げる(2枚目)
ChatGPT
前後開脚で両腕を上げるの見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った前後開脚で両腕を上げる(1枚目)
ComfyUI
ComfyUI で作った前後開脚で両腕を上げる(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing front splits on the floor with both arms raised overhead and her back arched, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, horizontal 3:2 format

前後に開脚して、両腕を上げて背中を反らすポーズです。ChatGPT は、頭を後ろに倒して大きく反るところまで見本どおりでした。ComfyUI は開脚と腕は合っているものの、背中の反りが浅く、顔は前を向いたまま。崩れてはいないので作り直していませんが、見本との差がいちばん見えやすいポーズです。

bridge pose橋のポーズ(足首をつかむ)

ポーズの言葉:doing bridge pose, lying on her back with her hips lifted high and her hands holding her ankles

橋のポーズ(足首をつかむ)の見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った橋のポーズ(足首をつかむ)(1枚目)
ChatGPT
ChatGPT で作った橋のポーズ(足首をつかむ)(2枚目)
ChatGPT
橋のポーズ(足首をつかむ)の見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った橋のポーズ(足首をつかむ)(1枚目)
ComfyUI
ComfyUI で作った橋のポーズ(足首をつかむ)(2枚目)
ComfyUI
この4枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing bridge pose, lying on her back with her hips lifted high and her hands holding her ankles, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, horizontal 3:2 format

あお向けで腰を高く持ち上げ、両手で足首をつかむ橋のポーズです。ChatGPT は、足首をつかむ手まで見本どおり。ComfyUI の2枚目は、壁に「BDG-OCHOICE」という読めない文字が出ました。ComfyUI のこのモデルは、背景や服にこういう謎の文字をときどき書きます。1枚目は作り直しています。

作り直す前「橋のポーズ」の作り直す前(左)と、作り直した1枚(右)

棒をつかんで脚を上げた、作り直す前の橋のポーズ
作り直す前
作り直した橋のポーズ
作り直した

最初の1枚(左)は、橋どころか、あお向けで脚を上げて黒い棒をつかんでいました。完全に別の運動です。6枚作り直して、見本どおりの1枚(右)を選びました。

arm balance両手で支えて両足を浮かせる

ポーズの言葉:doing an arm balance yoga pose, supporting her whole body on both hands with both legs lifted off the floor, one leg extended to the side and the other bent upward

両手で支えて両足を浮かせるの見本の人形(PoseMy.Art)
見本の人形
ChatGPT で作った両手で支えて両足を浮かせる(1枚目)
ChatGPT
ChatGPT で作った両手で支えて両足を浮かせる(2枚目)
ChatGPT
両手で支えて両足を浮かせるの見本の骨組み(OpenPose)
見本の骨組み
ComfyUI で作った両手で支えて両足を浮かせる(1枚目)
ComfyUI
ComfyUI で作った両手で支えて両足を浮かせる(2枚目)
ComfyUI
ChatGPT の2枚のプロンプト(言い換えて通したもの)
Use the gray mannequin in the attached image only as a reference for the yoga pose and camera angle, and match the pose exactly. Instructional photo for a beginner yoga class: a 20-year-old Japanese female yoga instructor demonstrating an advanced arm balance yoga pose, holding her body up on both hands with both legs lifted off the mat, one leg extended to the side and the other bent upward on a gray yoga mat, wearing a modest fitted black yoga tank top and black full-length yoga leggings, barefoot, calm focused expression, black hair in a high ponytail, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body is visible from head to toe, horizontal 3:2 format
ComfyUI の2枚のプロンプト
Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing an arm balance yoga pose, supporting her whole body on both hands with both legs lifted off the floor, one leg extended to the side and the other bent upward, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, horizontal 3:2 format

両手だけで体を支えて、片脚を横に伸ばし、もう片脚を上に曲げる、12ポーズでいちばんの難関です。これも ChatGPT に2回止められました。

2回とも止められたプロンプト
Use the gray mannequin in the attached image as the pose reference and match its pose and camera angle exactly. Photorealistic full-body photograph of a beautiful 20-year-old Japanese woman, stylish Tokyo fashion model look, defined eyes, glossy pink lips, sleek dark brown hair in a high ponytail, wearing a fitted black sports bra and black high-waisted yoga leggings, barefoot, doing an arm balance yoga pose, supporting her whole body on both hands with both legs lifted off the floor, one leg extended to the side and the other bent upward, in a bright minimalist yoga studio with white walls and a light wooden floor, soft natural window light, her whole body fills the frame from head to toe, horizontal 3:2 format

言い換えて通すと、ChatGPT は2枚とも見本どおり。腕で体を支える角度まで、人形そっくりです。

ComfyUI の2枚(見比べの下の段)は、骨組みで作った中でいちばんましなものを選んでいます。ぱっと見はそれらしいものの、腰が宙に浮いたまま、上に曲げた脚がどこから生えているのかよく分かりません。ここから、いろいろ手を変えました。

骨組みのままでは、脚が増えた

最初に出たのは、この2枚です。

崩れたComfyUI・骨組みで最初に出た2枚(プロンプトは上と同じ)

脚が3本あるように見える、両手で支えて両足を浮かせるポーズ
最初
後ろに別の人の脚が写った、両手で支えて両足を浮かせるポーズ
最初

1枚目は脚が3本あるように見え、2枚目は後ろに別の人の脚が写り込んでいます。骨組みのまま6枚作り直したのが、上の見比べの2枚です。

次に、ControlNet を軽い版(lite)から通常版に替えて、強く効かせてみました。

崩れた骨組みのまま、ControlNet を通常版(強さ1.0)に替えた2枚

通常版の ControlNet で作った、両手で支えて両足を浮かせるポーズ(1枚目)
通常版
通常版の ControlNet で作った、両手で支えて両足を浮かせるポーズ(2枚目)
通常版

・・・悪化しました。レギンスに柄が入り、部屋に物が増え、ポーズもかえって崩れています。

輪郭を弱めに渡したら、やっと出た

そこで骨組みをやめて、人形の画像から輪郭(Canny)を取り出して渡しました。輪郭なら、どの手足が前にあるかも線の重なりで伝わります。まずは強さ1.0で。

崩れた人形の輪郭(Canny)を、強さ1.0で渡した2枚

輪郭を強く渡して、人形の継ぎ目が服の模様になったポーズ(1枚目)
輪郭・強
輪郭を強く渡して、人形の継ぎ目が服の模様になったポーズ(2枚目)
輪郭・強

ポーズは一気に人形に寄りました。ただ、人形の関節の継ぎ目まで忠実に拾ってしまい、腕カバーや網目の靴下、靴底のような模様になっています。そこで強さを0.75に下げ、生成の後半3割は輪郭を効かせない(細かいところは AI にまかせる)設定にしました。

直して効いた人形の輪郭(Canny)を、強さ0.75・後半の3割は効かせずに渡した2枚

輪郭を弱めて渡して、見本どおりになった両手で支えて両足を浮かせるポーズ(1枚目)
輪郭・弱
輪郭を弱めて渡して、見本どおりになった両手で支えて両足を浮かせるポーズ(2枚目)
輪郭・弱

やっと出た! 両手で支える角度も、横に伸ばした脚も、上に曲げた脚も見本どおりです。手首のサポーターのような小物は残ったものの、体の形は崩れていません。骨組みで崩れるポーズは、人形の輪郭を弱めに渡すと直ることがあります。ただ、同じ方法を前屈に使うと、手が3本になりました。

ComfyUI は、Mac では1枚に20分以上かかった

最初は、ComfyUI を手元の Mac(M4 Pro・メモリ24GB)で動かしていました。ところが ControlNet を足すと、1枚作るのに速いときで約20分、遅いときは100分ほどかかります。モデルの本体と文字を読む部品だけで約19GBをメモリに載せていて、ControlNet まで足すと24GBのメモリが足りなくなっていたのが原因です。12ポーズ×2枚に作り直しまで入れたら、何日かかるかわかりません。

そこで、外部の GPU で ComfyUI を動かせる Comfy Cloud(Creator プラン・月35ドル)に移しました。手元と同じモデル・同じ ControlNet を Cloud に入れて、同じ設定で作っています。1枚あたり3〜24秒で、使ったクレジットは1枚あたり約1.5です。Cloud に移したおかげで、作り直しの候補を68枚も作れました。手元の Mac のままなら、両手で支えるポーズの試行錯誤だけで半日以上かかっていたはずです。

よくある質問

PoseMy.Art は無料で使えますか?

無料で、ブラウザで動きます。人形の関節を動かしてポーズを作り、ふつうの画像のほか、骨組み(OpenPose)・輪郭(Canny)・奥行き(Depth)の画像も書き出せます。この記事では、ふつうの画像と骨組みの画像を書き出し、輪郭は人形の画像から ComfyUI で取り出しました。

ChatGPT のアプリでも、人形の画像を渡せば同じようにできますか?

この記事では、Codex から ChatGPT の画像生成(Images 2.5)を使い、人形の画像を参照画像として渡しました。ChatGPT のアプリでも画像を添付して頼めますが、アプリでの出方は試していません。安全審査で止められたときは、ヨガ教室の見本写真として書き直すと、4ポーズとも通りました。

ComfyUI で骨組みが効かないときは、どうすればいいですか?

人形の画像から輪郭(Canny)を取り出して、ControlNet に渡します。強さ1.0だと人形の継ぎ目まで服の模様になったので、強さを0.75に下げ、生成の後半3割は効かせない設定にしました。それでも、立ったまま前屈のように体を折りたたむポーズは崩れが残っています。

ComfyUI は Mac でも動きますか?

動きますが、M4 Pro・メモリ24GB の Mac では、ControlNet を足すと1枚に約20分〜100分かかりました。何枚も作り直すなら、Comfy Cloud のような外部の GPU で動かすほうが現実的です。

やりたいことから選ぶ

やりたいこと 使うもの 理由
複雑なポーズを、見本どおりに出したい ChatGPT+人形の画像 12ポーズすべてで、手足の位置まで見本どおりになった
しゃがむ・あぐら・四つんばいを ChatGPT で作りたい ヨガ教室の見本写真として書き直す 止められた4ポーズとも、この書き方で通った
言い換えても ChatGPT に止められる画像を作りたい ComfyUI+骨組み ComfyUI は安全審査で止められない。ただし崩れやすく、作り直しが要る
ComfyUI で、骨組みを渡しても手足が崩れる 人形の輪郭(Canny)を強さ0.75で渡す 両手で支えるポーズは、輪郭に替えて直った
体を折りたたむポーズ(前屈など)を作りたい ChatGPT+人形の画像 ComfyUI は骨組みでも輪郭でも崩れが残った
Mac で ComfyUI が遅すぎる Comfy Cloud 1枚20分以上かかっていたのが、3〜24秒になった

Related

やってみたの記事

すべて見る →