.ai

de bästa AI-modellerna med öppen källkod

Sök

Hur generativa AI-bildmodeller fungerar: diffusion, latenter och textkodare förklarade enkelt

Q: Vad är skillnaden mellan en checkpoint och en modell?

En checkpoint är den sparade filen för en modell (brusreducerare, ofta med kodare och VAE inkluderade). Folk använder orden omväxlande.

Q: Lång prompt ignoreras delvis

CLIP-tokenbegränsning på SD 1.5 och SDXL. Sätt viktiga ord först, eller byt till en Flux-, Qwen- eller Z-Image-modell med LLM-kodare.

Q: Minnet tar slut först i slutet

VAE-dekodningssteget i full storlek. Använd tiled VAE decode, eller en mindre utgångsstorlek följt av en förstoring.

Ämne: Modeller

Av Quartermaster

Publicerad 2025-08-28

Översikt

Varje nuvarande bildmodell är en brusreducerare. Under träning visas den miljontals bilder med ökande mängder slumpmässigt brus tillagt, tillsammans med bildens bildtext, och den lär sig att förutsäga vilket brus som lagts till. Vid generering körs processen baklänges: börja från rent brus, fråga modellen vilket brus som finns där givet din prompt, ta bort lite av det, upprepa tjugo eller trettio gånger, och en bild som matchar bildtexten dyker upp. Det är hela tricket; "diffusion" är namnet på den här gradvisa processen att lägga till och ta bort brus.

Att jobba med fullstora pixlar skulle vara alldeles för långsamt, så sedan Stable Diffusion 1.x sker brusreduceringen i ett komprimerat utrymme som kallas latent. Ett separat litet nätverk, VAE, pressar en 1024x1024-bild till ett 128x128 rutnät av siffror och expanderar tillbaka i slutet. Brusreduceraren (en U-Net i

och

, en transformer i

och videomodellerna) ser aldrig pixlar. Det är därför bildstorlekar måste vara multiplar av 8 eller 16, och varför VAE-dekodningssteget i slutet kan ta slut på minne på egen hand.

Prompten går in via en textkodare som omvandlar ord till en lista med siffror som brusreduceraren kan använda som villkor. SD 1.5 använder en CLIP-kodare med en gräns på 77 tokens, SDXL använder två, Flux lägger till en stor T5-språkmodell, och modellerna för 2025 och 2026 (

Qwen Image

FLUX.2

, Z-Image,

Wan 2.2

) använder fulla LLM:er som kodare. Den enda förändringen förklarar mest av skillnaden i hur prompts skrivs: tagglistor för CLIP-baserade modeller, naturliga meningar för LLM-baserade. En

LoRA

är slutligen en liten uppsättning korrigeringar till brusreducerarens vikter (och ibland kodaren) som styr vad den ritar; den lägger inte till ny kunskap från ingenstans, utan omväger det basmodellen redan lärt sig.

Referens

Namn	Typ	Vad det är
Denoiser (U-Net / DiT)	component	Huvudnätverket. Förutspår bruset i en latent givet prompten och steget. U-Net i SD 1.5 och SDXL; diffusion transformer (DiT / MMDiT) i Flux, FLUX.2, Qwen, Z-Image, Wan , LTX , H3.
VAE	component	Komprimerar bilder till latenter och tillbaka. En felaktig eller saknad VAE ger urvattnade eller lila bilder. Flux och nyare familjer levererar sina egna 16-kanals VAE:er.
Text encoder	component	CLIP-L, CLIP-G, T5-XXL eller en LLM (Qwen2.5-VL, Mistral, Gemma). Bestämmer hur prompten förstås och hur lång den kan vara.
Scheduler / sampler	setting	Schemat för hur mycket brus som ska tas bort vid varje steg och den numeriska metoden som används. Ändrar textur och konvergenshastighet, inte innehåll.
Steps	setting	Hur många brusreduceringsiterationer. Destillerade modeller (Turbo, Lightning, Schnell, Klein) tränas för att behöva 1 till 8.
CFG / guidance	setting	Classifier-free guidance: hur mycket prompt-betingad förutsägelse skjuts bort från den obetingade. För högt värde bränner färger; vägledningsdestillerade modeller ( Flux dev ) använder ett enda vägledningsvärde istället.
Latent size	setting	Bildstorlek delat med 8 (SD) eller 16 (Flux, Wan). Modeller ritar bäst nära den upplösning de tränades på.
Flow matching	training method	Ersättningen från 2024+ för klassiska diffusionsbrusscheman (Flux, SD3, Wan, Z-Image). Samma idé, rakare väg från brus till bild, färre steg behövs.

Se teorin i praktiken, ingen installation

BitVector Prism låter dig växla mellan SDXL, Flux och Qwen-modeller i en webbapp, så du kan köra samma prompt genom tre arkitekturer och se skillnaderna som beskrivs här på en minut.

Prova BitVector

Steg för steg

Brus in: samplern skapar ett latent rutnät av slumpmässiga tal från seed. Byt seed och allt efter ändras.
Prompt in: textkodaren omvandlar dina ord till inbäddningar. På CLIP-modeller klipps eller slängs allt efter 77 tokens bort; på LLM-baserade modeller funkar ett stycke fint.
Varje steg: brusreduceraren körs två gånger på SD och SDXL (med och utan prompt); skillnaden, skalad med
CFG
, pekar latenten mot prompten. Flux dev körs en gång med ett inbakat vägledningsvärde.
Samplern subtraherar det förutsagda bruset enligt schemat (Karras, exponential, simple, beta). Efter sista steget är latenten en ren bild i komprimerad form.
Dekodning: VAE expanderar latenten till pixlar. Tiled VAE decode finns eftersom detta steg ensam kan överskrida minnet på ett 8 GB kort vid stora storlekar.
Valfria andra pass: hires-fix lägger till lite brus igen och brusreducerar i större storlek;
img2img
startar från en befintlig bild istället för rent brus; inpainting begränsar ändringen till en mask.
Videomodeller lägger till en tidsaxel till latenten (en 5-sekundersklipp är en 3D latent) och är annars samma loop, vilket är varför de behöver tio gånger minnet.

Exempel

Samma prompt genom tre arkitekturer

SD 1.5 (CLIP, 77 tokens): "portrait of an old sailor, grey beard, wool cap, harbour background, film photo"

SDXL (two CLIPs): same words, 1024x1024, CFG 6, 28 steps

Flux dev (CLIP-L + T5): "A weathered old sailor with a grey beard and a navy wool cap stands at a harbour railing at dusk; shallow depth of field, Kodak Portra look." guidance 3.5, 24 steps

ComfyUI-noder kopplade till komponenterna

Load Checkpoint -> MODEL (denoiser), CLIP (text encoder), VAE

CLIP Text Encode (prompt) -> KSampler (sampler, steps, CFG, seed) -> VAE Decode -> Save Image

Tips

En modell kan inte rita något som inte fanns i dess träningsdata. Det är därför anime-finetunes kan tusentals karaktärer medan fotomodeller inte kan, och varför det finns en LoRA för nästan varje lucka.
Finetunes (DreamShaper, Juggernaut,
Illustrious
, Pony) är samma arkitektur som basen med olika vikter; en LoRA för basen funkar oftast på finetunen, men en LoRA för en väldigt annorlunda finetune (Pony) funkar ofta inte.
Destillerade modeller byter flexibilitet mot snabbhet. SDXL Lightning på 4 steg funkar för utkast; fullmodellen på 28 steg är bättre för slutresultat.
Textkodaren är ofta den största filen. Flux med T5-XXL fp16 behöver 9 GB bara för kodaren, därför finns fp8 och GGUF-versioner.
Vägledningsdestillering (Flux dev) och CFG är inte samma sak. Att använda CFG 7 på Flux dev ger brända bilder; använd inställningarna på modellens sida.
Allt här körs på molnpartnerna exakt som lokalt; skillnaden är bara vem som äger GPU:n.

Använd tiled VAE decode, eller en mindre utgångsstorlek följt av en förstoring.

Alla arkitekturer på en GPU-kluster

PirateDiffusion hostar SD 1.5, SDXL, Flux, FLUX.2, Qwen, Z-Image och videomodeller sida vid sida på Telegram, med obegränsad generering till fast pris. Ingen VRAM-matte, inga VAE-filer att leta efter.

Prova PirateDiffusion

Frågor

Kopierar modellen bilder från sin träningsdata?

Den lagrar vikter, inte bilder, och kan inte hämta en träningsbild. Nära dubbletter av mycket frekventa träningsbilder kan dyka upp (berömda målningar, logotyper), vilket är en anledning att undvika att prompta för dem.

Varför behöver nya modeller mer minne om idén är densamma?

Större brusreducerare (12 miljarder parametrar för Flux mot 0.9 för SD 1.5), större textkodare och större latenter. Kvantiserade fp8- och GGUF-versioner sänker dem igen.

Vad är skillnaden mellan en checkpoint och en modell?

checkpoint

är den sparade filen för en modell (brusreducerare, ofta med kodare och VAE inkluderade). Folk använder orden omväxlande.

Varför ger samma seed en annan bild på en annan dator?

Olika GPU, precision (fp16 vs bf16) eller sampler-implementering; bruset är samma men beräkningarna skiljer sig lite. Samma maskin, samma inställningar, samma bild.