.ai

model AI sumber terbuka terbaik

Cari

ControlNet diterangkan: pose, kedalaman, tepi dan imej rujukan untuk SD 1.5, SDXL dan Flux

Q: Hasil nampak jejak dan rata

Kekuatan 1.0 dengan peratus tamat 1.0. Kekuatan 0.7, tamat 0.7; biar model selesaikan sendiri.

Q: Rangka hilang tangan atau anggota

Prapemproses kesan kurang tepat pada foto yang sibuk. Guna DWPose dengan tangan dihidupkan, potong sumber, atau sunting rangka dalam nod editor OpenPose.

Q: Habis memori dengan dua unit

Setiap ControlNet sehingga 2.5 GB. Guna model Union untuk kedua-dua jenis, atau ControlNet fp8; lihat panduan VRAM.

Topik: Prompting

Oleh Captain

Diterbitkan 2026-02-18

Gambaran keseluruhan

Prompt beritahu apa nak dilukis; ControlNet beritahu di mana. Ia rangkaian sampingan, dilatih ikut keluarga, yang baca imej kawalan (pose figura kayu, peta kedalaman, lukisan tepi, coretan, peta segmentasi) dan arahkan denoiser supaya hasilnya ikut struktur itu. Prompt masih tentukan subjek, gaya dan cahaya; imej kawalan betulkan komposisi. Ini cara orang dapat pose sama untuk sepuluh watak, tukar render 3D jadi foto, atau kekalkan bentuk produk tepat.

Dua langkah sentiasa berlaku. Mula-mula prapemproses tukar foto sumber jadi imej kawalan (OpenPose lukis rangka, MiDaS atau Depth Anything anggarkan kedalaman, Canny cari tepi, Lineart jejak garisan). Lepas tu model ControlNet untuk keluarga kamu guna imej itu masa penjanaan. Guna foto mentah terus bukan peta prapemproses adalah kesilapan nombor satu pemula; nombor dua guna ControlNet

pada

dan model 2025 ubah landskap: Black Forest Labs hantar Flux Depth dan Flux Canny sebagai model penuh dan

LoRA

, Union ControlNets tutup beberapa jenis dalam satu fail untuk SDXL dan Flux, dan editor arahan (

Qwen Image

Edit, Kontext) urus banyak kerja "kekalkan ini, ubah itu" tanpa imej kawalan. Katalog di laman ini tag ControlNet bawah "lain" ikut keluarga; halaman model namakan jenis kawalan.

Rujukan

Nama	Jenis	Apakah ia
OpenPose	control type	Titik utama badan, tangan dan muka sebagai figura kayu. Pemindahan pose, koreografi, watak konsisten. Lemah pada tangan kecuali model tangan dihidupkan.
Depth (MiDaS, Zoe, Depth Anything)	control type	Peta kedalaman kelabu. Kekalkan susun atur ruang dan kamera sambil bagi kebebasan ubah gaya. Kawalan paling mudah untuk foto ke ilustrasi.
Canny / Lineart / SoftEdge (HED)	control type	Lukisan tepi. Canny ketat dan tajam, Lineart untuk lukisan, SoftEdge longgar. Bentuk produk, seni bina, logo.
Scribble	control type	Coretan kasar yang kamu lukis sendiri jadi komposisi. Kekuatan rendah (0.5-0.7) atau hasil nampak macam coretan.
Tile	control type	Panduan untuk naik taraf atau laluan detail supaya setia pada input resolusi rendah. Enjin di belakang kebanyakan aliran kerja "naik taraf terbaik".
IP-Adapter / Redux / reference	image conditioning	Bukan ControlNet: sediakan gaya atau muka imej bukan strukturnya. Gabungkan dengan ControlNet untuk dapat kedua-duanya.
Strength / weight	0.4-1.0	Betapa kuat struktur dikuatkuasakan. 0.8 untuk pose dan kedalaman, 0.5-0.7 untuk tepi dan coretan.
Start / end percent	0.0-1.0	Bahagian denoising yang kawalan guna. Tamat pada 0.6-0.8 bagi model selesaikan detail bebas dan hilangkan rupa "jejak".
Family files	SD 1.5 : lllyasviel control_v11 \| SDXL : diffusers / xinsir Union \| Flux : Flux Depth/Canny, Shakker Union, InstantX	Setiap keluarga perlukan ControlNet sendiri; saiz 0.7-2.5 GB. Fail Union gabungkan beberapa jenis.

Kawalan pose dan kedalaman dalam pelayar

BitVector Prism termasuk kawalan pose dan kedalaman untuk model SDXL dan Flux: muat naik rujukan, pilih kawalan, taip prompt. Tiada prapemproses nak pasang.

Cuba BitVector

Langkah demi langkah

Pilih jenis kawalan ikut kerja: pose untuk orang, kedalaman untuk pemandangan dan ubah gaya, Canny atau Lineart untuk bentuk keras, coretan untuk idea, tile untuk naik taraf.
Muat turun ControlNet untuk keluarga checkpoint kamu ke models/controlnet (
ComfyUI
) atau models/ControlNet (A1111,
Forge
). Fail Union jimat ruang cakera kalau guna beberapa jenis.
Muatkan imej sumber dan jalankan prapemproses yang sepadan (ComfyUI: nod controlnet_aux; A1111: sambungan ControlNet buat terus). Pratonton imej kawalan; betulkan kalau rangka hilang anggota.
ComfyUI: Guna ControlNet (Advanced) antara CLIP Text Encode dan KSampler, sambungkan imej kawalan dan model ControlNet, kekuatan 0.8, mula 0, tamat 0.8.
A1111 / Forge: aktifkan unit ControlNet 0, pilih prapemproses dan model jenis sama, berat 0.8, tamat langkah kawalan 0.8, pixel perfect hidupkan.
Tulis prompt untuk apa kamu nak tengok, bukan untuk pose (pose diurus). Jana empat seed.
Turunkan kekuatan atau peratus tamat kalau imej nampak jejak atau rata; naikkan kalau struktur lari. Tambah unit kedua (pose + kedalaman) untuk komposisi degil.
Di awan,
PirateDiffusion
guna ControlNet bila kamu balas imej sumber dengan /render dan bendera kawalan;
BitVector
ada pose dan kedalaman dalam alat imejnya.

Contoh

Pemindahan pose dalam ComfyUI (SDXL)

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

Foto ke cat air dengan kedalaman (A1111 / Forge)

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

Petua

Kedalaman lebih baik dari Canny untuk foto ke ilustrasi sebab biar tekstur bebas; Canny lebih baik dari kedalaman untuk logo dan produk sebab kekalkan tepi tepat.
Peratus tamat adalah tetapan yang ramai orang tak sentuh dan yang betulkan rupa plastik, jejak.
Ubah saiz imej kawalan ikut saiz penjanaan dengan nisbah aspek sama; bentuk tak sepadan potong rangka.
OpenPose dari foto diri sendiri cara paling cepat dapat perpustakaan pose konsisten untuk watak.
Untuk Flux, LoRA Depth dan Canny dari Black Forest Labs lebih ringan dari model kawalan penuh dan cukup baik untuk kebanyakan kerja.
Editor arahan (Qwen Image Edit, Kontext) sering ganti laluan ControlNet untuk suntingan "adegan sama, subjek lain"; lihat panduan Qwen Image Edit.

Penyelesaian masalah

ControlNet tak buat apa-apa

Mengapa ia berlaku

Keluarga tak sepadan (ControlNet SD 1.5 pada SDXL), atau foto mentah diberi bukan peta prapemproses.

Cara membaikinya

Padankan keluarga; jalankan prapemproses dan pratonton outputnya.

Hasil nampak jejak dan rata

Mengapa ia berlaku

Kekuatan 1.0 dengan peratus tamat 1.0.

Cara membaikinya

Kekuatan 0.7, tamat 0.7; biar model selesaikan sendiri.

Rangka hilang tangan atau anggota

Mengapa ia berlaku

Prapemproses kesan kurang tepat pada foto yang sibuk.

Cara membaikinya

Guna DWPose dengan tangan dihidupkan, potong sumber, atau sunting rangka dalam nod editor OpenPose.

Habis memori dengan dua unit

Mengapa ia berlaku

Setiap ControlNet sehingga 2.5 GB.

Cara membaikinya

Guna model Union untuk kedua-dua jenis, atau ControlNet fp8; lihat panduan

VRAM

ControlNet Flux hasilkan hingar

Mengapa ia berlaku

Nod penyediaan salah atau

CFG

lebih 1 pada model panduan-distilasi.

Cara membaikinya

Guna nod yang halaman model nyatakan dan CFG 1 ikut panduan halaman.

ControlNet dengan balas foto

Di PirateDiffusion kamu balas mana-mana imej dalam Telegram dengan /render dan bendera kawalan dan ControlNet betul untuk model digunakan di server. Render tanpa had dengan harga tetap.

Cuba PirateDiffusion

Soalan

Adakah ControlNet LoRA?

Tidak. Ia rangkaian berasingan yang baca imej; LoRA ubah berat model dari teks. "LoRA" Depth dan Canny Flux adalah pengecualian: model kawalan dihantar dalam bentuk LoRA.