ComfyUI-llama-cpp

在 ComfyUI 中基于 llama.cpp 框架原生运行 LLM & VLM 模型。
[📃English]

预览

安装步骤

安装节点:

cd ComfyUI/custom_nodes
git clone https://github.com/lihaoyun6/ComfyUI-llama-cpp.git
python -m pip install -r ComfyUI-llama-cpp/requirements.txt

模型路径:

• 请将下载的 .gguf 模型放置在 ComfyUI/models/LLM 目录中.

  在使用VLM模型进行图像推理之前, 请确保已经下载并选择了主模型对应的mmproj权重文件.

致谢

• llama-cpp-python @JamePeng
• ComfyUI-llama-cpp @kijai
• ComfyUI @comfyanonymous