.ai

de beste open source AI-modellen

Zoeken

ControlNet uitgelegd: pose, diepte, randen en referentiebeelden voor SD 1.5, SDXL en Flux

Q: Resultaat ziet er overgetraceerd en vlak uit

Sterkte 1.0 met eindpercentage 1.0. Sterkte 0.7, eind 0.7; laat het model zelf de details afmaken.

Q: Skelet mist handen of een ledemaat

Preprocessor werkte slecht op een rommelige foto. Gebruik DWPose met handen aan, crop de bron, of bewerk het skelet in een OpenPose editor node.

Q: Geheugen tekort met twee units

Elke ControlNet is tot 2.5 GB. Gebruik een Union-model voor beide types, of fp8 ControlNets; zie de VRAM-gids.

Onderwerp: Prompten

Door Captain

Gepubliceerd op 2026-02-18

Hoe ControlNet een model een pose, een dieptekaart, een randtekening of een krabbel laat volgen in plaats van de compositie te raden op basis van de prompt: de meest gebruikte controletype en wanneer je ze gebruikt, de preprocessorstap, instellingen voor sterkte en eindpercentage, de familie-specifieke bestanden en de Flux-tijdperk alternatieven (Flux Depth, Canny, Kontext).

Overzicht

Een prompt zegt wat je moet tekenen; ControlNet zegt waar. Het is een zijnetwerk, per familie getraind, dat een controlebeeld leest (een stokfiguur pose, een dieptekaart, een randtekening, een krabbel, een segmentatiekaart) en de denoiser stuurt zodat het resultaat bij die structuur past. De prompt bepaalt nog steeds onderwerp, stijl en licht; het controlebeeld bepaalt de compositie. Zo krijg je dezelfde pose bij tien personages, verander je een 3D-render in een foto, of behoud je de exacte vorm van een product.

Er gebeuren altijd twee stappen. Eerst zet een preprocessor je bronfoto om in het controlebeeld (OpenPose tekent het skelet, MiDaS of Depth Anything schat de diepte in, Canny vindt randen, Lineart tekent contouren). Daarna gebruikt het ControlNet-model voor jouw familie dat beeld tijdens het genereren. De ruwe foto gebruiken in plaats van de voorbewerkte kaart is de nummer één beginnersfout; de tweede is een

SD 1.5

ControlNet gebruiken op een

SDXL

checkpoint

Flux

en de modellen van 2025 veranderden het landschap: Black Forest Labs levert Flux Depth en Flux Canny als volledige modellen en

LoRAs

, Union ControlNets combineren meerdere types in één bestand voor SDXL en Flux, en instructie-editors (

Qwen Image

Edit, Kontext) doen veel "dit houden, dat veranderen" taken zonder controlebeeld. De catalogus op deze site tagt ControlNets onder "overig" met hun familie; de modelpagina noemt het controletype.

Naslag

Naam	Type	Wat het is
OpenPose	control type	Lichaam, hand en gezicht sleutelpunten als een stokfiguur. Pose-overdracht, choreografie, consistente personages. Zwak op handen tenzij het handmodel aanstaat.
Depth (MiDaS, Zoe, Depth Anything)	control type	Grijze dieptekaart. Houdt ruimtelijke indeling en camera vast terwijl volledige restyling mogelijk is. De meest vergevingsgezinde controle voor foto naar illustratie.
Canny / Lineart / SoftEdge (HED)	control type	Randtekeningen. Canny is streng en scherp, Lineart voor tekeningen, SoftEdge losser. Productvormen, architectuur, logo's.
Scribble	control type	Ruwe streken die je zelf tekent worden een compositie. Lage sterkte (0.5-0.7) anders lijkt het resultaat op de krabbel.
Tile	control type	Stuurt een opschaling of detailronde om trouw te blijven aan de lage-resolutie input. De motor achter de meeste "ultieme opschaling" workflows.
IP-Adapter / Redux / reference	image conditioning	Geen ControlNet: conditioneert op stijl of gezicht van een afbeelding in plaats van structuur. Combineer met een ControlNet om beide te krijgen.
Strength / weight	0.4-1.0	Hoe sterk de structuur wordt afgedwongen. 0.8 voor pose en diepte, 0.5-0.7 voor randen en krabbel.
Start / end percent	0.0-1.0	Welk deel van het denoisen de controle toepast. Eindigen bij 0.6-0.8 laat het model details vrij afmaken en voorkomt het "overgetraceerde" uiterlijk.
Family files	SD 1.5 : lllyasviel control_v11 \| SDXL : diffusers / xinsir Union \| Flux : Flux Depth/Canny, Shakker Union, InstantX	Elke familie heeft zijn eigen ControlNet nodig; grootte 0.7-2.5 GB. Union-bestanden bundelen meerdere types.

Pose- en dieptecontrole in de browser

BitVector Prism heeft pose- en dieptecontrole voor zijn SDXL- en Flux-modellen: upload een referentie, kies de controle, typ de prompt. Geen preprocessors om te installeren.

BitVector proberen

Stap voor stap

Kies het controletype voor de klus: pose voor mensen, diepte voor scènes en restyling, Canny of Lineart voor harde vormen, krabbel voor ideeën, tile voor opschaling.
Download de ControlNet voor de familie van je checkpoint in models/controlnet (
ComfyUI
) of models/ControlNet (A1111,
Forge
). Union-bestanden besparen schijfruimte als je meerdere types gebruikt.
Laad je bronafbeelding en start de bijpassende preprocessor (ComfyUI: de controlnet_aux nodes; A1111: de ControlNet extensie doet het inline). Bekijk het controlebeeld; corrigeer het als het skelet een ledemaat mist.
ComfyUI: Pas ControlNet (Advanced) toe tussen CLIP Text Encode en KSampler, verbind het controlebeeld en het ControlNet-model, sterkte 0.8, start 0, eind 0.8.
A1111 / Forge: zet ControlNet unit 0 aan, kies preprocessor en model van hetzelfde type, gewicht 0.8, eindcontrole stap 0.8, pixel perfect aan.
Schrijf de prompt voor wat je wilt zien, niet voor de pose (de pose wordt geregeld). Genereer vier seeds.
Verlaag sterkte of eindpercentage als het beeld er overgetraceerd of vlak uitziet; verhoog ze als de structuur afwijkt. Stapel een tweede unit (pose + diepte) voor lastige composities.
In de cloud past
PirateDiffusion
ControlNet toe als je reageert op een bronafbeelding met /render en een controlevlag;
BitVector
biedt pose en diepte in zijn beeldtools.

Voorbeelden

Pose-overdracht in ComfyUI (SDXL)

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

Foto naar aquarel met diepte (A1111 / Forge)

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

Tips

Diepte is beter dan Canny voor foto naar illustratie omdat het textuur vrijlaat; Canny is beter dan diepte voor logo's en producten omdat het randen precies houdt.
Eindpercentage is de instelling die de meeste mensen nooit aanpassen en die het plastic, overgetraceerde uiterlijk oplost.
Verklein het controlebeeld naar de generatiegrootte met dezelfde beeldverhouding; niet-overeenkomende vormen knippen het skelet af.
OpenPose van een foto van jezelf is de snelste manier om een consistente posebibliotheek voor een personage te krijgen.
Voor Flux zijn de Depth en Canny LoRAs van Black Forest Labs lichter dan de volledige controlmodellen en goed genoeg voor de meeste taken.
Instructie-editors (Qwen Image Edit, Kontext) vervangen vaak een ControlNet-pas voor "dezelfde scène, ander onderwerp" bewerkingen; zie de Qwen Image Edit gids.

boven 1 op een guidance-distilled model.

Zo los je het op

Gebruik de node die de modelpagina aangeeft en CFG 1 met guidance volgens de pagina.

ControlNet door te reageren op een foto

Bij PirateDiffusion reageer je op een afbeelding in Telegram met /render en een controlevlag en de juiste ControlNet wordt server-side toegepast. Onbeperkt renders voor een vaste prijs.

PirateDiffusion proberen

Vragen

Is ControlNet een LoRA?

Nee. Het is een apart netwerk dat een afbeelding leest; een LoRA verandert de modelgewichten via tekst. Flux’s Depth en Canny "LoRAs" zijn een uitzondering: controlmodellen geleverd als LoRA.