An sowas habe ich mich schon mal versucht, war aber nur ein POC bisher. Ich weiß nicht, ist es möglich den Link zum Reddit mal zu posten? Kann sein, dass YT das filtert.

@@ALatentPlace Ich habe mittlerweile noch weiter Ansätze bzw. Ideen von mir weiterverfolgt, es dauert bei mir aber immer ziemlich, weil mir die Nodes nicht ganz so flott aus dem Ärmel schiessen wie dir ;-)

Das habe ich mal versucht, funktionierte nicht so gut. :D Da braucht man wahrscheinlich auch ein Model, welches für SD Prompts trainiert wurde. Das wäre schon nice.

Would be interesting. Do you have a use case?

Yes, the second model is still not working for me, too.

Is your ComfyUI up to date?

@@ALatentPlace yes

0.0 seconds (IMPORT FAILED): F:\ComfyUI\ComfyUI\custom_nodes\Comfyui_image2prompt

Do you have the complete error message from the console?

@@ALatentPlace File "F:\ComfyUI\ComfyUI odes.py", line 1893, in load_custom_node module_spec.loader.exec_module(module) File "", line 940, in exec_module File "", line 241, in _call_with_frames_removed File "F:\ComfyUI\ComfyUI\custom_nodes\Comfyui_image2prompt\__init__.py", line 1, in from .image2text import Image2Text, LoadImage2TextModel File "F:\ComfyUI\ComfyUI\custom_nodes\Comfyui_image2prompt\image2text.py", line 1, in from .moondream_model import MoondreamModel File "F:\ComfyUI\ComfyUI\custom_nodes\Comfyui_image2prompt\moondream_model.py", line 18, in from accelerate import init_empty_weights, load_checkpoint_and_dispatch ModuleNotFoundError: No module named 'accelerate'

Ist das die komplette error message?

​@@ALatentPlace nee, das wäre die komplette message: Error occurred when executing LoadImage2TextModel: Make sure `_init_weights` is implemented for File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\execution.py", line 152, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\execution.py", line 82, in get_output_data return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\execution.py", line 75, in map_node_over_list results.append(getattr(obj, func)(**slice_dict(input_data_all, i))) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\custom_nodes\Comfyui_image2prompt\image2text.py", line 29, in get_model return (MoondreamModel(device=device,low_memory=low_memory),) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\custom_nodes\Comfyui_image2prompt\moondream_model.py", line 1177, in __init__ self.model_path, self.vision_encoder, self.text_model = self.load_model(device=device, dtype=dtype) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\custom_nodes\Comfyui_image2prompt\moondream_model.py", line 1196, in load_model text_model = TextModel(model_path).to(device=device, dtype=dtype) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\custom_nodes\Comfyui_image2prompt\moondream_model.py", line 1084, in __init__ self.model = PhiForCausalLM(phi_config) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\custom_nodes\Comfyui_image2prompt\moondream_model.py", line 1012, in __init__ self.transformer = PhiModel(config) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\ComfyUI\custom_nodes\Comfyui_image2prompt\moondream_model.py", line 954, in __init__ self.post_init() File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\python_embeded\lib\site-packages\transformers\modeling_utils.py", line 1043, in post_init self.init_weights() File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\python_embeded\lib\site-packages\transformers\modeling_utils.py", line 1507, in init_weights self.apply(self._init_weights) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\python_embeded\lib\site-packages\torch n\modules\module.py", line 897, in apply module.apply(fn) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\python_embeded\lib\site-packages\torch n\modules\module.py", line 897, in apply module.apply(fn) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\python_embeded\lib\site-packages\torch n\modules\module.py", line 898, in apply fn(self) File "C:\StableDiffusion\COMFYUI\ComfyUI_windows_portable\python_embeded\lib\site-packages\transformers\modeling_utils.py", line 1170, in _init_weights raise NotImplementedError(f"Make sure `_init_weights` is implemented for {self.__class__}")

Ich habe den BLIP analyzer noch als node verfügbar. Liegt es vielleicht daran? Sollte ich den bzw. die WAS node suite löschen?

Kommando zurück: Ich habe eben die ComfyUI dependencies geupdated. Jetzt klappt es. Danke dir! :-)

Aah, daran lag es. Gut das es gefixt ist. :)

Das kann man bei diesem Model auch versuchen. Mein Versuch lief zwar nicht so gut, aber eventuell klappt mit dem richtigen Query. Ich schaue mich auch nach einfachen Möglichkeiten für LLMs um, bisher noch nicht zufriedenstellend fündig geworden.

@@ALatentPlace ich habs mal probiert bekam jeh nach Bild 1 keyword oder 5, nicht perfekt aber naja was will man machen vom Rest ist es bombe danke

Ja, deckt sich mit meinen Erfahrungen.

Ah, das klingt einleuchtend. Danke für die Aufklärung. :)

Yeah, already thought about it. But I did not came to a conclusion yet.