Model
Trends
.ai
Model
Trends
.ai
những mô hình AI mã nguồn mở tốt nhất

Node Load ControlNet Model trong ComfyUI

Load ControlNet Model đọc một file ControlNet (hoặc T2I-Adapter / ControlNet Union) từ models/controlnet và xuất ra một đối tượng CONTROL_NET để dùng với Apply ControlNet.
Gói node: ComfyUI core
Danh mục: ControlNet và dẫn hướng

Load ControlNet Model làm gì

ControlNets là các mạng phụ giúp điều khiển mô hình diffusion bằng một hình ảnh hướng dẫn: bản đồ cạnh, bản đồ độ sâu, khung xương pose, bản đồ normal hoặc chính bức ảnh đó (Tile). Load ControlNet Model tải một file như vậy và phải khớp với dòng mô hình gốc: ControlNets SD 1.5 cho các checkpoint SD 1.5, ControlNets SDXL (ví dụ controlnet-union-sdxl-1.0, diffusers_xl_canny) cho SDXL và Pony, ControlNets Flux (Shakker, InstantX, Union Pro) cho Flux.
Các mô hình Union và Promax gom nhiều loại điều khiển trong một file và chuyển chế độ qua một node đi kèm (SetUnionControlNetType) hoặc qua bộ tiền xử lý bạn cung cấp. T2I-Adapters cũng tải qua node này, nhẹ hơn nhưng yếu hơn. Phiên bản DiffControlNetLoader nhận đầu vào MODEL cho diff-ControlNets, loại này hiếm hiện nay.

Đầu vào

Tên
Kiểu
Ý nghĩa
control_net_name
COMBO
Một file từ models/controlnet.

Đầu ra

Tên
Kiểu
Ý nghĩa
CONTROL_NET
CONTROL_NET
Mạng đã tải; kết nối với Apply ControlNet.
AD
Bỏ qua cài đặt: workflow ComfyUI cài sẵn trên đám mây
BitVector chạy các workflow ComfyUI làm sẵn trên GPU của họ. Không cài đặt, không thiếu node, không ô đỏ. Mở trên điện thoại hay laptop và tạo ảnh trong một phút.

Cách dùng Load ControlNet Model

  1. Tải một ControlNet phù hợp với dòng mô hình của bạn vào models/controlnet.
  2. Thêm Load ControlNet Model và chọn file.
  3. Kết nối CONTROL_NET với Apply ControlNet cùng với hình ảnh hướng dẫn đã được tiền xử lý.
  4. Với mô hình Union, thêm SetUnionControlNetType và chọn canny, depth, openpose, v.v.

Cài đặt và mẹo

  • Tên file cho biết dòng mô hình: "xl" hoặc "sdxl" cho SDXL, "v11p_sd15" cho SD 1.5, "flux" cho Flux.
  • Phiên bản fp16 (700 MB cho SD 1.5, 2.5 GB cho SDXL) đủ dùng để tạo ảnh.
  • Một ControlNet đã tải có thể dùng trong nhiều node Apply ControlNet với các hình ảnh khác nhau.
  • Gói ControlNet Aux cung cấp các bộ tiền xử lý (Canny, Depth Anything, DWPose) để tạo ảnh hướng dẫn.

Khắc phục sự cố Load ControlNet Model

Lỗi: không khớp loại mô hình ControlNet / không khớp kích thước

Vì sao xảy ra
ControlNet SD 1.5 dùng với checkpoint SDXL hoặc ngược lại.

Cách sửa
Tải ControlNet đúng dòng mô hình và chọn lại ở đây.

ControlNet không có hiệu ứng nhìn thấy được

Vì sao xảy ra
Mô hình Union chưa đặt loại, strength bằng 0, hoặc ảnh hướng dẫn bị đen do tiền xử lý lỗi.

Cách sửa
Xem trước ảnh hướng dẫn, đặt strength từ 0.6 đến 1.0 và thêm SetUnionControlNetType cho file union.

Danh sách thả xuống trống

Vì sao xảy ra
Không có file trong models/controlnet, hoặc file nằm trong thư mục con với định dạng không hỗ trợ.

Cách sửa
Đặt file .safetensors hoặc .pth trực tiếp trong models/controlnet rồi nhấn R.

AD
Chạy workflow này từ điện thoại của bạn
Mọi workflow trên trang này đều được cài sẵn trên BitVector cùng mô hình và node tùy chỉnh. Chọn một cái, nhập prompt, xong. Không cần cài đặt, không phải tải gì.

Câu hỏi về Load ControlNet Model

Tôi có thể tải thư mục ControlNet của diffusers không?

Chỉ các phiên bản một file thôi. Bạn phải chuyển đổi hoặc tải bản .safetensors.

ControlNets có hoạt động với LoRAs không?

Có; ControlNets tác động lên conditioning, LoRAs chỉnh sửa mô hình. Chúng kết hợp với nhau thoải mái.

Node liên quan

Apply ControlNet
ComfyUI core
Apply ControlNet gắn một ảnh hướng dẫn và một ControlNet đã tải vào CONDITIONING dương và âm với độ mạnh và phần trăm bắt đầu/kết thúc, để bộ lấy mẫu theo dõi các cạnh, độ sâu hoặc tư thế từ ảnh hướng dẫn.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple) mở một file model .safetensors hoặc .ckpt và cung cấp ba phần mà mọi workflow đều cần: MODEL diffusion, bộ mã hóa văn bản CLIP và VAE.
Load Image
ComfyUI core
Load Image đọc một bức ảnh từ thư mục input của ComfyUI (hoặc từ file bạn tải lên) và xuất ra một tensor IMAGE cùng với một MASK lấy từ kênh alpha, điểm bắt đầu cho các đồ thị img2img, inpainting, ControlNet và IP-Adapter.
Ultimate SD Upscale
ComfyUI_UltimateSDUpscale
Ultimate SD Upscale phóng to hình ảnh bằng mô hình ESRGAN, rồi sau đó lấy mẫu lại từng ô qua mô hình diffusion với prompt của bạn ở mức denoise thấp, thêm chi tiết thật ở mức 2x-4x mà không bị hết VRAM.
AD
Mệt vì sửa node? Để đám mây lo
BitVector giữ hàng trăm workflow ComfyUI luôn được cài đặt, cập nhật và kiểm thử trên GPU đám mây tốc độ cao. Không Python, không lỗi CUDA, không giới hạn VRAM. Dùng được trên mọi trình duyệt.

Thêm node ComfyUI

CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode biến một đoạn văn bản thành CONDITIONING bằng cách dùng bộ mã hóa văn bản của mô hình. Một node giữ prompt tích cực, node kia giữ prompt tiêu cực.
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager là tiện ích mở rộng giúp cài đặt, cập nhật và sửa các gói node tùy chỉnh và mô hình ngay trong giao diện, giải quyết các node bị thiếu trong workflow nhập vào và lưu lại cấu hình của bạn.
KSampler
ComfyUI core
KSampler chạy vòng lặp khử nhiễu: nó lấy model, prompt và latent rồi tạo ra latent ảnh hoàn chỉnh, được điều khiển bởi seed, steps, cfg, sampler, scheduler và denoise.
Save Image
ComfyUI core
Save Image ghi tensor IMAGE thành file PNG trong ComfyUI/output, với toàn bộ quy trình làm việc được nhúng trong metadata của file để bạn có thể kéo ảnh đó trở lại ComfyUI và phục hồi lại đồ thị.
VAE Decode
ComfyUI core
VAE Decode chuyển LATENT đã lấy mẫu thành ảnh PIXEL bằng VAE; VAE Decode (Tiled) làm điều tương tự theo từng ô cho ảnh rất lớn.
Empty Latent Image
ComfyUI core
Empty Latent Image tạo ra khung trống latent (chiều rộng, chiều cao, batch_size) mà việc lấy mẫu từ văn bản sang hình ảnh bắt đầu từ đó; kích thước phải là bội số của 8 và phù hợp với dòng model.