ComfyUI: Style & Composition Transfer | Stable Diffusion | German

ComfyUI: Style & Composition Transfer | Stable Diffusion | German | English Subtitles

Рет қаралды 1,249

Ай бұрын

In this video I show the different variants for a style and / or composition transfer with the IPAdapter.
Important Links:
ComfyUI: github.com/comfyanonymous/Com...
IPAdapter plus: github.com/cubiq/ComfyUI_IPAd...
Prompt Injection Discussions: github.com/cubiq/prompt_injec...
Latent Vision: • Advanced Style transfe...
Workflow: NA
Installed Custom Nodes:
Manager: github.com/ltdrdata/ComfyUI-M...
Impact Pack: github.com/ltdrdata/ComfyUI-I...
Stability AI: github.com/Stability-AI/stabi...
Auxiliary Preprocessors: github.com/Fannovel16/comfyui...
ComfyUI Frame Interpolation: github.com/Fannovel16/ComfyUI...
CLIPSeg: github.com/biegert/ComfyUI-CL...
ComfyUI Noise: github.com/BlenderNeko/ComfyU...
Derfuu: github.com/Derfuu/Derfuu_Comf...
Davemane42's Custom Node: github.com/Davemane42/ComfyUI...
WAS Node Suite: github.com/WASasquatch/was-no...
Quality of Life: github.com/omar92/ComfyUI-Qua...
ComfyUI-post-processing-nodes: github.com/EllangoK/ComfyUI-p...
Masquerade Nodes: github.com/BadCafeCode/masque...
TinyTerra: github.com/TinyTerra/ComfyUI_...
Comfyroll: github.com/RockOfFire/ComfyUI...
IPAdapter plus: github.com/cubiq/ComfyUI_IPAd...
ComfyUI InstantID: github.com/cubiq/ComfyUI_Inst...
Face Analysis for ComfyUI: github.com/cubiq/ComfyUI_Face...
ComfyUI Advanced Controlnet: github.com/Kosinkadink/ComfyU...
AnimateDiff Evolved: github.com/Kosinkadink/ComfyU...
ComfyUI-VideoHelperSuite: github.com/Kosinkadink/ComfyU...
ComfyUI-Logic: github.com/theUpsider/ComfyUI...
rgthree's ComfyUI Nodes: github.com/rgthree/rgthree-comfy
NNLatent Upscale: github.com/Ttl/ComfyUi_NNLate...
ComfyUI Inpaint Nodes: github.com/Acly/comfyui-inpai...
ComfyUI Essentials: github.com/cubiq/ComfyUI_esse...
Crystools: github.com/crystian/ComfyUI-C...
Image2Prompt: github.com/zhongpei/Comfyui_i...
SUPIR: github.com/kijai/ComfyUI-SUPIR
YANC: github.com/ALatentPlace/Comfy...
ICLight: github.com/kijai/ComfyUI-IC-L...
KJNodes: github.com/kijai/ComfyUI-KJNodes
0:00 Intro
1:16 Normal IPAdapter
8:42 Style and Composition SDXL
10:25 Precise Style Transfer
11:36 Mad Scientist
Buy me a coffee: www.buymeacoffee.com/alatentp...
Twitter: / a_latent_place
Instagram: / a_latent_place
Discord: / discord

Пікірлер: 20

@pixelcounter506 Ай бұрын

Very informative. Thank you very much for going deeper into IPA and all these interesting alternatives! Quite overwhelming in respect of RL.^^

@jaredbeiswenger3766 Ай бұрын

Appreciate these examples.

@nkofr Ай бұрын

Nice! very handfull custom node, I was thinking about doing the same :) cheers & danke schön

@garkeiner7116 Ай бұрын

Sehr interessant, Danke ..

@RuinDweller 22 күн бұрын

"Error when executing KSampler: Expected query, key, and value to have the same dtype, but got query.dtype: struct c10::Half key.dtype: float and value.dtype: float instead." :( It worked ONE TIME. After that I got that message every time, although I didn't change ANYTHING.

@AbsolutelyForward Ай бұрын

Sehr cool! Und hoch spannend, dass die erwähnten 12 Stable Diffusion Layer erst jetzt adressiert werden - oder hab ich was verpennt 😅?

@ALatentPlace Ай бұрын

Inzwischen ist es schon ein paar Monate bekannt, aber es tut sich noch so manches in dem Bereich. Und im KI Bereich kann man schon mit einem Augenblinzeln Dinge verpennen. :D

@denisquarte7177 Ай бұрын

@@ALatentPlace Im Bereich eines neuen Models könnte sich ruhig noch mehr tun. Immerhin scheinen einige Leute an einem besseren VAE zu arbeiten (16ch anstatt 4, die jungs von 'Würschten' aka Cascade z.B.). Leider sind viele Werkzeuge wie Gligen, InstanceDiffusion, IC Light etc. immer noch auf (trainings)stand von sd1.5 und omost damit auch nur spielzeug, das viel zu viel Inpainting erfordert um nützlich zu sein. Comfy gibt jetzt zumindest Vollgas da er nach dem sd3 Debakel seinen Hut bei stability genommen hat. Dem Interface hat es gut getan und ich hoffe er ist damit auch finanziell erfolgreich. Dann profitieren wir nämlich alle.

@denisquarte7177 Ай бұрын

@@ALatentPlace ach ja, und eine sehr gute entscheidung abstand von irgendwelchen "all in one nodes" zu nehmen, das überfrachtet visuell und überfordert anfänger.

@AbsolutelyForward Ай бұрын

@@denisquarte7177 Kommt SD3 nicht auch mit 16 chanel (?) daher? Ich habe noch nicht verstanden was der Unterschied zwischen 16ch und 4ch konkret bedeutet bzw. wo der Vorteil liegt? Kannst du hierzu ins Detail gehen?

@AbsolutelyForward Ай бұрын

@@ALatentPlace oupsi - na dann, bin ich ja mal gespannt ob man den restlichen 10 Layern + der IP-Mad node auch noch was verrücktes machen kann oder ist das quatschi, weil nur Layer 3+6 relevant für den IPadapter sind?

@weaze5583 Ай бұрын

Sind die "layerweights for ipams" gleich bei 1.5 und XL ? Ne oder ? Mist, fällt mir ja früh auf.

@ALatentPlace Ай бұрын

Nein, die Layer sind bei 1.5 und SDXL unterschiedlich. Für 1.5 kannst Du mal die Precise Style Transfer Node verwenden. Matteo schrieb dazu in unserem Discord: SDXL: Start with a weight of 1.0, you may need to lower it up to 0.7. For the style_boost try 2.0 and move from 1.5 to 3.0 SD 1.5: Start with a weight of 1.0 and try a range of 0.8-1.5. Start with a style_boost of 0 and move from -1 to +1.

@DieterStoll-b8i Ай бұрын

Ist es immer noch nicht möglich, die IPAdapter Models ausserhalb der ComfyUI-Instanz zu speichern und extra_model_paths.yaml zu nutzen?

@ALatentPlace Ай бұрын

Doch, das geht schon seit längerem.

@DieterStoll-b8i Ай бұрын

@@ALatentPlace Obwohl alles aktualisiert, heisst es bei mir "IPAdaper Models not found". Beim Start steht im Terminal: "Adding extra search path ipadapter D:/SD-models/ipadapter/" und dort sind die Models gespeichert.

@ALatentPlace Ай бұрын

Haben die Files auch die richtigen Namen?

@DieterStoll-b8i 28 күн бұрын

@@ALatentPlace Hab' alles von der "Matteo-Seite" heruntergeladen und gemacht, was er vorgeschlagen hat.