.ai

de bästa AI-modellerna med öppen källkod

Sök

ControlNet förklarat: pose, djup, kanter och referensbilder för SD 1.5, SDXL och Flux

Q: Resultatet ser spårat och platt ut

Styrka 1.0 med slutprocent 1.0. Styrka 0.7, slut 0.7; låt modellen avsluta själv.

Q: Skelettet saknar händer eller en lem

Förbehandlaren upptäckte dåligt på ett rörigt foto. Använd DWPose med händer på, beskära källan eller redigera skelettet i en OpenPose-editor nod.

Q: Slut på minne med två enheter

Varje ControlNet är upp till 2.5 GB. Använd en Union-modell för båda typerna, eller fp8 ControlNets; se VRAM-guiden.

Ämne: Promptning

Av Captain

Publicerad 2026-02-18

Översikt

En prompt säger vad som ska ritas; ControlNet säger var. Det är ett sidonätverk, tränat per familj, som läser en kontrollbild (en pinnefigurpose, en djupkarta, en kantteckning, ett klotter, en segmenteringskarta) och styr brusreduceraren så att resultatet matchar den strukturen. Prompten bestämmer fortfarande motiv, stil och ljus; kontrollbilden fixar kompositionen. Det är så folk får samma pose på tio karaktärer, förvandlar en 3D-rendering till ett foto eller behåller en produkts exakta form.

Två steg händer alltid. Först gör en förbehandlare om ditt källfoto till kontrollbilden (OpenPose ritar skelettet, MiDaS eller Depth Anything uppskattar djup, Canny hittar kanter, Lineart spårar konturer). Sedan använder ControlNet-modellen för din familj den bilden under genereringen. Att mata in råfotot istället för den förbehandlade kartan är det vanligaste nybörjarfelet; det andra är att använda en

SD 1.5

ControlNet på en SDXL-checkpoint.

Flux

och modellerna från 2025 ändrade landskapet: Black Forest Labs levererar Flux Depth och Flux Canny som fulla modeller och

LoRAs

, Union ControlNets täcker flera typer i en fil för

SDXL

och Flux, och instruktionredigerare (

Qwen Image

Edit, Kontext) hanterar många "behåll detta, ändra det"-jobb utan kontrollbild. Katalogen på den här sidan taggar ControlNets under "other" med deras familj; modellens sida namnger kontrolltypen.

Referens

Namn	Typ	Vad det är
OpenPose	control type	Kropps-, hand- och ansiktspunkter som en pinnefigur. Poseöverföring, koreografi, konsekventa karaktärer. Svagt på händer om inte handmodellen är på.
Depth (MiDaS, Zoe, Depth Anything)	control type	Grå djupkarta. Behåller rumslayout och kamera samtidigt som full omstylning tillåts. Den mest förlåtande kontrollen för foto till illustration.
Canny / Lineart / SoftEdge (HED)	control type	Kantteckningar. Canny är strikt och skarp, Lineart för teckningar, SoftEdge lös. Produktformer, arkitektur, logotyper.
Scribble	control type	Grova streck du ritar själv blir en komposition. Låg styrka (0.5-0.7) annars ser resultatet ut som klottret.
Tile	control type	Vägledare för en uppskalning eller detaljpass för att hålla sig trogen lågupplöst input. Motorn bakom de flesta "ultimata uppskalnings"-arbetsflöden.
IP-Adapter / Redux / reference	image conditioning	Inte en ControlNet: konditionerar på en bilds stil eller ansikte istället för dess struktur. Kombinera med en ControlNet för att få båda.
Strength / weight	0.4-1.0	Hur hårt strukturen tvingas igenom. 0.8 för pose och djup, 0.5-0.7 för kanter och klotter.
Start / end percent	0.0-1.0	Vilken del av brusreduceringen kontrollen gäller för. Att sluta vid 0.6-0.8 låter modellen avsluta detaljer fritt och tar bort det "spårade" utseendet.
Family files	SD 1.5 : lllyasviel control_v11 \| SDXL : diffusers / xinsir Union \| Flux : Flux Depth/Canny, Shakker Union, InstantX	Varje familj behöver sin egen ControlNet; storlekar 0.7-2.5 GB. Union-filer samlar flera typer.

Pose- och djupkontroll i webbläsaren

BitVector Prism inkluderar pose- och djupkontroll för sina SDXL- och Flux-modeller: ladda upp en referens, välj kontroll, skriv prompten. Inga förbehandlare att installera.

Prova BitVector

Steg för steg

Välj kontrolltypen för jobbet: pose för människor, djup för scener och omstylning, Canny eller Lineart för hårda former, klotter för idéer, tile för uppskalning.
Ladda ner ControlNet för din checkpoint-familj till models/controlnet (
ComfyUI
) eller models/ControlNet (A1111,
Forge
). Union-filer sparar plats om du använder flera typer.
Ladda din källbild och kör rätt förbehandlare (ComfyUI: controlnet_aux-noderna; A1111: ControlNet-extensionen gör det inline). Förhandsgranska kontrollbilden; fixa den om skelettet missade en lem.
ComfyUI: Applicera ControlNet (Advanced) mellan CLIP Text Encode och KSampler, koppla kontrollbilden och ControlNet-modellen, styrka 0.8, start 0, slut 0.8.
A1111 / Forge: aktivera ControlNet enhet 0, välj förbehandlare och modell av samma typ, vikt 0.8, avslutande kontrollsteg 0.8, pixel perfect på.
Skriv prompten för vad du vill se, inte för posen (posen hanteras). Generera fyra seeds.
Sänk styrkan eller slutprocenten om bilden ser spårad eller platt ut; höj dem om strukturen glider. Lägg till en andra enhet (pose + djup) för envisa kompositioner.
I molnet applicerar
PirateDiffusion
ControlNet när du svarar på en källbild med /render och en kontrollflagga;
BitVector
erbjuder pose och djup i sina bildverktyg.

Exempel

Poseöverföring i ComfyUI (SDXL)

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

Foto till akvarell med djup (A1111 / Forge)

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

Tips

Djup slår Canny för foto-till-illustration eftersom det lämnar texturen fri; Canny slår djup för logotyper och produkter eftersom det håller kanterna exakta.
Slutprocent är inställningen som de flesta aldrig rör och den som fixar det plastiga, spårade utseendet.
Ändra storlek på kontrollbilden till genereringsstorleken med samma bildförhållande; felaktiga former beskär skelettet.
OpenPose från ett foto på dig själv är det snabbaste sättet att få ett konsekvent posebibliotek för en karaktär.
För Flux är Depth och Canny LoRAs från Black Forest Labs lättare än fulla kontrollmodeller och tillräckligt bra för de flesta jobb.
Instruktionsredigerare (Qwen Image Edit, Kontext) ersätter ofta en ControlNet-pass för "samma scen, annat motiv"-redigeringar; se Qwen Image Edit-guiden.

över 1 på en guidance-distillerad modell.

Så löser du det

Använd noden som modellens sida anger och CFG 1 med guidance enligt sidan.

ControlNet genom att svara på ett foto

På PirateDiffusion svarar du på vilken bild som helst i Telegram med /render och en kontrollflagga och rätt ControlNet för modellen appliceras server-side. Obegränsade renderingar till fast pris.

Prova PirateDiffusion

Frågor

Är ControlNet en LoRA?

Nej. Det är ett separat nätverk som läser en bild; en LoRA ändrar modellens vikter från text. Fluxs Depth och Canny "LoRAs" är ett undantag: kontrollmodeller levererade som LoRA.