ผสมโมเดล ทำเองได้ง่ายมากๆด้วย Stable Diffusion WebUI จุดที่ยากไม่ใช่วิธีผสม แต่เป็นสูตรผสม ทำอย่างไรให้ออกมาดี
การผสมโมเดลส่วนใหญ่ก็ลองผิดลองถูกกันทั้งนั้น ไม่มีสูตรตายตัว ขอแค่มีพื้นที่เหลือหลายสิบ GB ก็พอ
อ่านนี่ก่อน > วิธีติดตั้งโมเดล Stable Diffusion ใน Google Colab
ขั้นตอน 1 เตรียมก่อนผสมโมเดล
1. vae-ft-mse-840000
2. โมเดลที่ใช้ผสม
ผมจะบอกสูตรที่เพิ่งลองครั้งล่าสุด ให้โหลดโมเดลมา 3 ตัวดังนี้
- LOFI (โหลดเวอร์ชั่น V2pre)
- NeverEnding Dream (โหลดเวอร์ชั่น no vae)
- basil_mix
ขั้นตอน 2 เก็บ VAE ในโฟลเดอร์
นำไฟล์ vae-ft-mse-840000 มาใส่ไว้ในโฟลเดอร์ VAE
โดยหลักการแล้ว ไฟล์นี้จะช่วยทำให้ภาพมีมีสีสด ดูมีชีวิตชีวา
ขั้นตอน 3 ผสมโมเดลใน Stable Diffusion WebUI
ผสมมี 2 แบบ
- ผสมเพื่อนำไปผสมต่อ
- ผสมครั้งเดียวจบ แล้วนำไปแจก
มาดูแบบแรกกันก่อนนะ
ผสมเพื่อนำไปผสมต่อ
1. เลือกโมเดลที่จะใช้ผสม ในช่อง A และ B
- ช่อง A ใส่ LOFI
- ช่อง B ใส่ Basil mix
2. กำหนด Weight เป็นการเลือกใส่ส่วนผสมโมเดลตัวไหน ลงไปมากกว่ากัน
ค่า Weight มีตั้งแต่ 0 จนถึง 1 ในกรณีที่ใส่ 0.5 แสดงว่าใส่ส่วนผสมลงไปเท่าไหร่
แต่ผมใส่ 0.3 ก็จะได้ค่าออกมาเป็น
LOFI (0.7) + Basil Mix (0.3)
เท่ากับว่าใส่ส่วนผสมของ LOFI มากกว่า
3. เลือก safetensors และกด Merge
รอไม่กี่นาที ก็ผมโมเดลเสร็จแล้ว
ผสมครั้งสุดท้าย
1. เริ่มต้น ทำเหมือนกันเลย เลือกโมเดลมาใส่ A และ B
A = NeverEnding Dream
B = LOFI + Basil Mix (ตัวที่ผสมเสร็จรอบแรก)
2. ตั้งชื่อโมเดล ผมตั้งชื่อ MagDoll
3. กำหนด Weight
รอบนี้ใช้ 0.3 เหมือนกัน ค่าที่ได้จะออกมาเป็น
NeverEnding Dream (0.7) + LOFI + Basil Mix (0.3)
แสดงว่า โมเดลสูตรนี้จะให้น้ำหนักไปที่ NeverEnding Dream
4. เลือก Safetensors
5. เลือก Save as float16
ถ้าเลือก Save as float16 ไฟล์จะถูกย่อลง
– ข้อดี ได้ไฟล์เล็ก ประมาณ 2GB
– ข้อเสีย นำโมเดลตัวนี้ไปผสมไม่ได้ ทำให้คุณภาพต่ำ
6. Bake in VAE เลือกตัว 840000 (ที่ให้โหลดมาในตอนแรก)
7. กด Merge
รอสักพัก ก็ผสมเสร็จแล้ว
สำหรับโมเดลที่ได้ จะอยู่ในโฟลเดอร์ Stable Diffusion WebUI > Models > Stable Diffusion
นามสกุล .safetensor สามารถเอาไปอัพโหลดขึ้น Civitai ให้คนอื่นได้ใช้ต่อ
ตัวอย่างการใช้งาน Model สูตรนี้
โมเดลสูตรนี้ ทำให้นางแบบตาโม แบบอนิเมะ ดูมีความเป็นการ์ตูน+สมจริง
Prompts :
(MASTERPIECE:1.2),(CGI ART:1.3),(REALISTIC:1.4),4K, 16 year old girl in living room, blonde hair bob, ((overalls)), posing for the camera, sitting, sun set ,((mountain Background))
Negative Prompts :
paintings, sketches,(worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, double navel, mutad arms, hused arms
ชุดแรกให้ภาพที่มีแสงสีสวยแบบสมจริง
Prompts :
(MASTERPIECE:1.2),(CGI ART:1.3),(REALISTIC:1.4),4K, 16 year old girl , blonde hair bob, ((High School Uniform)), ((Portrait)), sun set ,((classroom Background))
Negative Prompts :
(worst quality, low quality:1.4)
แบบที่สอง เหมือนภาพการ์ตูน 3 มิติ แต่สีดูซีดกว่า จุดที่ต่างกันคือการใช้ Negative Prompts
ข้อแนะนำ
สำหรับคนที่มีพื้นเหลือเยอะ ลองผสมหลายสูตร หลายโมเดลก็ได้ ไม่จำเป็นต้องตามใคร เอาที่แบบตัวเองชอบ
ส่วนตัวยังไม่ถูกใจสูตรนี้เท่าไหร่ จะลองเปลี่ยนโมเดลแล้วผสมใหม่อีกรอบ
