ComfyUI의 AnimateDiff Loader (Evolved) 노드

Q: 프레임들이 서로 관련 없는 그림, 모션 없음

로더가 샘플러 경로에 없거나 배치 크기가 1임. 로더 MODEL을 KSampler에 연결하고 Empty Latent Image batch_size를 16 이상으로 설정해.

Q: 오류: 모션 모듈과 모델이 호환되지 않음 (SD1.5 vs SDXL)

SD 1.5 모션 모듈을 SDXL 체크포인트와 쓰거나 그 반대. SDXL에는 mm_sdxl_v10_beta 사용, SD 1.5 체크포인트에는 sd15 모듈 사용.

Q: 프레임 간 깜빡임과 색상 변화

높은 cfg, 너무 상세한 프롬프트, 긴 클립에 컨텍스트 겹침 없음. cfg 6-7, overlap 4 이상, Tile ControlNet 추가하거나 vid2vid에서 노이즈 감소 낮춤.

Q: 32프레임에서 메모리 부족

모든 프레임을 한꺼번에 샘플링해서 VRAM 사용량이 배치 크기에 비례. Context Options(16 프레임 윈도우) 사용, 해상도 낮추거나 --lowvram으로 시작.

AnimateDiff Loader는 SD 1.5나 SDXL 모델에 모션 모듈을 추가해서, 여러 개의 잠재 벡터를 일관된 애니메이션 프레임으로 렌더링해 줘. Stable Diffusion으로 텍스트에서 짧은 클립을 만드는 전통적인 방법이야.

노드 팩: ComfyUI-AnimateDiff-Evolved

카테고리: 비디오와 애니메이션

AnimateDiff Loader (Evolved)이(가) 하는 일

AnimateDiff는 UNet에 시간적 어텐션 레이어(모션 모듈, 예를 들어 mm_sd_v15_v2, v3_sd15_mm 또는 AnimateLCM)를 삽입해. Kosinkadink의 ComfyUI-AnimateDiff-Evolved 팩은 이를 AnimateDiff Loader (Gen1)와 최신 Gen2 노드(Use Evolved Sampling, Apply AnimateDiff Model, Context Options)로 제공해. 샘플러는 잠재 벡터 배치(16-32 프레임)를 시퀀스로 처리하고, Context Options는 16프레임 창을 긴 클립에 걸쳐 슬라이딩해.

Motion LoRA는 팬과 줌을 추가하고, AnimateLCM이나 LCM 샘플러는 렌더 시간을 몇 단계로 줄여줘. 프레임은 IMAGE 배치로 나오고, VideoHelperSuite의 Video Combine이 이를 MP4나 GIF로 변환해. Wan, Hunyuan, LTX가 나오면서 AnimateDiff는 스타일리시한 SD 1.5 애니메이션과 ControlNet을 이용한 비디오-투-비디오에 여전히 인기야.

입력

이름	타입	의미
model	MODEL	SD 1.5 (또는 SDXL 베타 모듈이 있는 SDXL) 체크포인트 모델.
model_name	COMBO	models/animatediff_models 폴더에 있는 모션 모듈.
beta_schedule	COMBO	대부분 모듈에 sqrt_linear (AnimateDiff); AnimateLCM에는 lcm 변형.
context_options	CONTEXT_OPTIONS	16프레임 이상일 때 선택 가능한 슬라이딩 윈도우 설정.
motion_lora	MOTION_LORA	선택 사항인 카메라 모션 LoRA.

출력

이름	타입	의미
MODEL	MODEL	모션 레이어가 추가된 모델; KSampler에 연결해.

설치는 건너뛰세요: 클라우드에 미리 설치된 ComfyUI 워크플로

BitVector는 완성된 ComfyUI 워크플로를 자체 GPU에서 실행합니다. 설치 없음, 누락 노드 없음, 빨간 박스 없음. 휴대폰이나 노트북에서 열고 1분 안에 생성하세요.

BitVector 사용해 보기

AnimateDiff Loader (Evolved) 사용법

Manager에서 ComfyUI-AnimateDiff-Evolved와 ComfyUI-VideoHelperSuite 설치; models/animatediff_models에 mm_sd_v15_v2.ckpt 또는 v3_sd15_mm.ckpt 다운로드.
SD 1.5 체크포인트 불러오고 MODEL을 AnimateDiff Loader에 연결.
Empty Latent Image의 batch_size를 512x512 또는 512x768에서 16(프레임)으로 설정.
20-25 스텝, cfg 7로 샘플링하고 VAE Decode로 디코딩.
IMAGE 배치를 Video Combine에 연결(프레임 속도 8-12, 형식 video/h264-mp4).

설정과 팁

Context Options의 Looped Uniform에서 context_length 16, overlap 4 설정하면 32-64 프레임 클립 처리 가능.
Prompt scheduling(FizzNodes BatchPromptSchedule)으로 시간에 따라 프롬프트 변경 가능.
비디오 프레임에 Tile 또는 Lineart ControlNet을 함께 써서 비디오-투-비디오 작업 가능.
AnimateLCM과 LCM 샘플러, 6-8 스텝 조합은 훨씬 빠른 렌더링.
해상도는 512-768로 유지; SD 1.5 모션 모듈은 256-512에서 훈련됨.