.ai

die besten Open-Source-KI-Modelle

Suchen

ControlNet erklärt: Pose, Tiefe, Kanten und Referenzbilder für SD 1.5, SDXL und Flux

Q: Ergebnis sieht nachgezeichnet und flach aus

Stärke 1.0 mit End-Prozent 1.0. Stärke 0.7, Ende 0.7; das Modell selbst Details fertigstellen lassen.

Q: Speicher voll bei zwei Einheiten

Jedes ControlNet ist bis zu 2,5 GB groß. Union-Modell für beide Typen verwenden oder fp8-ControlNets nutzen; siehe VRAM-Guide.

Thema: Prompting

Von Captain

Veröffentlicht am 2026-02-18

Überblick

Ein Prompt sagt, was gezeichnet werden soll; ControlNet sagt, wo. Es ist ein Neben-Netzwerk, das pro Familie trainiert wird, das ein Kontrollbild liest (eine Strichmännchen-Pose, eine Tiefenkarte, eine Kantenskizze, eine Kritzelei, eine Segmentierungskarte) und den Denoiser steuert, damit das Ergebnis dieser Struktur entspricht. Der Prompt entscheidet weiterhin über Motiv, Stil und Licht; das Kontrollbild legt die Komposition fest. So bekommen Leute dieselbe Pose bei zehn Charakteren, machen aus einem 3D-Render ein Foto oder behalten die genaue Form eines Produkts.

Es passieren immer zwei Schritte. Zuerst wandelt ein Vorverarbeiter dein Ausgangsfoto in das Kontrollbild um (OpenPose zeichnet das Skelett, MiDaS oder Depth Anything schätzen die Tiefe, Canny findet Kanten, Lineart zeichnet Umrisse). Dann nutzt das ControlNet-Modell deiner Familie dieses Bild während der Generierung. Das rohe Foto statt der vorverarbeiteten Karte zu verwenden ist der häufigste Anfängerfehler; der zweite ist, ein

SD 1.5

ControlNet mit einem SDXL-Checkpoint zu verwenden.

Flux

und die Modelle von 2025 haben die Lage verändert: Black Forest Labs liefert Flux Depth und Flux Canny als komplette Modelle und

LoRAs

, Union ControlNets fassen mehrere Typen in einer Datei für

SDXL

und Flux zusammen, und Instruktions-Editoren (

Qwen Image

Edit, Kontext) erledigen viele "das hier behalten, das da ändern"-Aufgaben ohne Kontrollbild. Der Katalog auf dieser Seite kennzeichnet ControlNets unter "andere" mit ihrer Familie; die Modellseite nennt den Kontrolltyp.

Referenz

Name	Typ	Bedeutung
OpenPose	control type	Körper-, Hand- und Gesichtspunkte als Strichmännchen. Pose-Übertragung, Choreografie, konsistente Charaktere. Schwach bei Händen, außer das Handmodell ist aktiv.
Depth (MiDaS, Zoe, Depth Anything)	control type	Graustufige Tiefenkarte. Behält räumliche Anordnung und Kamera bei, erlaubt aber komplettes Umstyling. Die nachsichtigste Kontrolle für Foto zu Illustration.
Canny / Lineart / SoftEdge (HED)	control type	Kantenskizzen. Canny ist streng und scharf, Lineart für Zeichnungen, SoftEdge locker. Produktformen, Architektur, Logos.
Scribble	control type	Grobe Striche, die du selbst zeichnest, werden zur Komposition. Niedrige Stärke (0.5-0.7), sonst sieht das Ergebnis wie die Kritzelei aus.
Tile	control type	Leitet einen Upscale- oder Detaildurchlauf an, um dem niedrigauflösenden Input treu zu bleiben. Die Technik hinter den meisten "ultimativen Upscale"-Workflows.
IP-Adapter / Redux / reference	image conditioning	Kein ControlNet: konditioniert auf Stil oder Gesicht eines Bildes statt auf Struktur. Kombiniere mit ControlNet, um beides zu bekommen.
Strength / weight	0.4-1.0	Wie stark die Struktur durchgesetzt wird. 0.8 für Pose und Tiefe, 0.5-0.7 für Kanten und Kritzeleien.
Start / end percent	0.0-1.0	Auf welchen Teil des Denoisings sich die Kontrolle bezieht. Ein Ende bei 0.6-0.8 lässt das Modell Details frei fertigstellen und entfernt den "nachgezeichneten" Look.
Family files	SD 1.5 : lllyasviel control_v11 \| SDXL : diffusers / xinsir Union \| Flux : Flux Depth/Canny, Shakker Union, InstantX	Jede Familie braucht ihr eigenes ControlNet; Größen 0.7-2.5 GB. Union-Dateien bündeln mehrere Typen.

Pose- und Tiefenkontrolle im Browser

BitVector Prism bietet Pose- und Tiefenkontrolle für seine SDXL- und Flux-Modelle: Referenz hochladen, Kontrolle wählen, Prompt tippen. Keine Vorverarbeiter nötig.

BitVector ausprobieren

Schritt für Schritt

Such dir den Kontrolltyp passend zur Aufgabe aus: Pose für Menschen, Tiefe für Szenen und Umstyling, Canny oder Lineart für harte Formen, Kritzelei für Ideen, Tile fürs
Upscaling
.
Lade das ControlNet für die Familie deines Checkpoints in models/controlnet (
ComfyUI
) oder models/ControlNet (A1111,
Forge
). Union-Dateien sparen Speicher, wenn du mehrere Typen nutzt.
Lade dein Ausgangsbild und starte den passenden Vorverarbeiter (ComfyUI: die controlnet_aux-Knoten; A1111: die ControlNet-Erweiterung macht das inline). Schau dir das Kontrollbild an; korrigiere es, falls das Skelett ein Gliedmaß verpasst hat.
ComfyUI: Setze ControlNet (Advanced) zwischen CLIP Text Encode und KSampler ein, verbinde das Kontrollbild und das ControlNet-Modell, Stärke 0.8, Start 0, Ende 0.8.
A1111 / Forge: aktiviere ControlNet Einheit 0, wähle Vorverarbeiter und Modell vom gleichen Typ, Gewicht 0.8, Endkontrollschritt 0.8, Pixel Perfect an.
Schreib den Prompt für das, was du sehen willst, nicht für die Pose (die Pose wird gesteuert). Erzeuge vier Seeds.
Senke Stärke oder End-Prozent, wenn das Bild nachgezeichnet oder flach aussieht; erhöhe sie, wenn die Struktur abdriftet. Staple eine zweite Einheit (Pose + Tiefe) für hartnäckige Kompositionen.
In der Cloud wendet
PirateDiffusion
ControlNet an, wenn du auf ein Quellbild mit /render und einem Kontroll-Flag antwortest;
BitVector
bietet Pose und Tiefe in seinen Bildwerkzeugen an.

Beispiele

Pose-Übertragung in ComfyUI (SDXL)

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

Foto zu Aquarell mit Tiefe (A1111 / Forge)

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

Tipps

Tiefe schlägt Canny bei Foto-zu-Illustration, weil sie Textur freilässt; Canny schlägt Tiefe bei Logos und Produkten, weil es Kanten exakt hält.
End-Prozent ist die Einstellung, die die meisten nie anfassen und die den plastischen, nachgezeichneten Look behebt.
Skaliere das Kontrollbild auf die Generierungsgröße mit demselben Seitenverhältnis; unpassende Formen schneiden das Skelett ab.
OpenPose von einem Foto von dir selbst ist der schnellste Weg, eine konsistente Posen-Bibliothek für einen Charakter zu bekommen.
Für Flux sind die Depth- und Canny-LoRAs von Black Forest Labs leichter als die kompletten Kontrollmodelle und für die meisten Aufgaben gut genug.
Instruktions-Editoren (Qwen Image Edit, Kontext) ersetzen oft einen ControlNet-Durchlauf für "gleiche Szene, anderes Motiv"-Bearbeitungen; siehe den Qwen Image Edit Guide.

über 1 bei einem guidance-distilled Modell.

So behebst du es

Den Knoten verwenden, den die Modellseite angibt, und CFG 1 mit Guidance laut Seite einstellen.

ControlNet per Antwort auf ein Foto

Bei PirateDiffusion antwortest du auf ein Bild in Telegram mit /render und einem Kontroll-Flag, und das passende ControlNet wird serverseitig angewendet. Unbegrenzte Render zu Festpreis.

PirateDiffusion ausprobieren

Fragen

Ist ControlNet ein LoRA?

Nein. Es ist ein separates Netzwerk, das ein Bild liest; ein LoRA ändert die Modellgewichte über Text. Flux’ Depth und Canny "LoRAs" sind eine Ausnahme: Kontrollmodelle, die als LoRA ausgeliefert werden.