MiniCPM-o 4.5: AI ที่มองเห็น ฟัง และพูดได้พร้อมกัน

1. MiniCPM-o 4.5 คืออะไร?

MiniCPM-o 4.5 เป็นโมเดล Multimodal AI ที่รวมความสามารถหลายด้านไว้ในระบบเดียว ได้แก่

👁️ Vision — มองเห็นภาพและวิดีโอ
👂 Audio — รับฟังเสียง
🧠 Language — วิเคราะห์และให้เหตุผล
🗣️ Speech — สร้างเสียงพูด
🔄 Full-Duplex — รับ Input และสร้าง Output พร้อมกัน
⚡ Streaming — ทำงานต่อเนื่องแบบ Real-time

คำว่า Omni จึงมีความสำคัญ เพราะโมเดลไม่ได้ออกแบบมาให้ทำงานเฉพาะ Text หรือ Image แต่สามารถประมวลผลหลาย Modalities ภายใน Workflow เดียวกัน

จุดน่าสนใจคือ MiniCPM-o 4.5 มีขนาดประมาณ 9B Parameters ซึ่งเล็กกว่าโมเดล Multimodal ขนาดใหญ่หลายตัว ทำให้แนวคิดการนำไปใช้งานบน Hardware ระดับ Consumer มีความน่าสนใจมากขึ้น (LearnOpenCV)

2. ปัญหาของ AI แบบเดิม

AI Multimodal ส่วนใหญ่ทำงานในลักษณะ Turn-Based Interaction

ตัวอย่างเช่น

User
  ↓
ส่งภาพ/วิดีโอ
  ↓
AI ประมวลผล
  ↓
AI ตอบ
  ↓
User ถามใหม่

ระบบลักษณะนี้เหมาะกับ Chatbot แต่ไม่เหมาะกับสถานการณ์ที่ข้อมูลเปลี่ยนแปลงตลอดเวลา

เช่น

การถ่ายทอดสดกีฬา
กล้อง Surveillance
หุ่นยนต์
ผู้ช่วย AI แบบ Real-time
ระบบช่วยเหลือผู้พิการ
AI Tutor
ระบบตรวจสอบโรงงาน

เพราะโลกจริงไม่ได้หยุดรอ AI

ระหว่างที่ AI กำลังตอบ เหตุการณ์ใหม่อาจเกิดขึ้นแล้ว

ดังนั้น AI ยุคใหม่ต้องสามารถทำสิ่งนี้ได้

ดู → ฟัง → คิด → พูด
 ↑              ↓
 └──── ทำพร้อมกัน ────┘

นี่คือแนวคิด Full-Duplex AI

3. Full-Duplex AI คืออะไร?

Full-Duplex หมายถึง AI สามารถ รับข้อมูลและสร้างผลลัพธ์อย่างต่อเนื่องในเวลาเดียวกัน

แทนที่จะทำงานแบบ

Listen
  ↓
Think
  ↓
Speak
  ↓
Stop

ระบบจะทำงานลักษณะ

Video ────────→
Audio ────────→
                AI
Output ←───────
Speech ←───────

AI สามารถรับ Video และ Audio ใหม่เข้ามาในขณะที่กำลังพูดอยู่

นี่ทำให้ Interaction มีลักษณะใกล้เคียงกับมนุษย์มากขึ้น

เช่น

“ลูกบอลกำลังจะ—โอ้! ยิงเข้าแล้ว!”

แทนที่จะต้องรอให้วิดีโอจบก่อนแล้วค่อยวิเคราะห์

4. Architecture ของ MiniCPM-o 4.5

หนึ่งในจุดสำคัญของ MiniCPM-o 4.5 คือ Architecture ที่เชื่อม Vision, Audio, Language และ Speech เข้าด้วยกัน

สามารถมองภาพรวมได้เป็น 4 ส่วน

┌───────────────────────┐
│     Vision Encoder    │
│       SigLIP2 ViT     │
└───────────┬───────────┘
            │
            ↓
┌───────────────────────┐
│     Audio Encoder     │
│     Whisper Medium    │
└───────────┬───────────┘
            │
            ↓
┌───────────────────────┐
│       LLM Backbone    │
│        Qwen3-8B       │
└───────────┬───────────┘
            │
            ↓
┌───────────────────────┐
│     Speech Decoder    │
│ Speech Tokens → Audio │
└───────────────────────┘

ทั้งระบบใช้ Hidden States และ Token-level Representation เพื่อเชื่อมข้อมูลจากแต่ละ Modalities เข้าด้วยกัน (LearnOpenCV)

5. Vision Encoder

ส่วน Vision ใช้แนวคิดจาก SigLIP2-based Vision Transformer

หน้าที่คือรับภาพจาก Video แล้วแปลงภาพให้กลายเป็น Token ที่ LLM สามารถนำไปประมวลผลได้

กระบวนการโดยย่อ

Video Frame
     ↓
Image Slicing
     ↓
Vision Transformer
     ↓
1024 Visual Tokens
     ↓
Resampler
     ↓
64 Tokens

จุดที่น่าสนใจคือมีการ Compression ของ Visual Tokens สูงมาก

จากประมาณ

1024 Tokens → 64 Tokens

หรือประมาณ 16× Token Compression

ข้อดีคือช่วยลด Computational Cost และทำให้การประมวลผล Video Streaming มีความเป็นไปได้มากขึ้น (LearnOpenCV)

6. Audio Encoder

ด้านเสียงใช้ Whisper Medium

Audio ที่เข้ามาจะถูกประมวลผลแบบ Streaming

โดยระบบสร้างประมาณ

50 Audio Feature Tokens ต่อวินาที

จากนั้นลดจำนวน Token ผ่าน MLP Projector เหลือประมาณ

10 Audio Tokens ต่อวินาที

ทำให้ข้อมูลเสียงมีขนาดเล็กพอสำหรับส่งต่อไปยัง LLM อย่างต่อเนื่อง (LearnOpenCV)

7. LLM Backbone

หัวใจของระบบคือ Qwen3-8B

หน้าที่ของ LLM ไม่ใช่เพียงการสร้าง Text แต่ต้องทำ Multimodal Reasoning จากข้อมูลที่มาจาก

Vision
  +
Audio
  ↓
Multimodal Tokens
  ↓
Qwen3-8B
  ↓
Reasoning
  ↓
Text + Speech Representation

จึงสามารถเข้าใจความสัมพันธ์ระหว่าง

สิ่งที่เห็น + สิ่งที่ได้ยิน + บริบทก่อนหน้า

ได้พร้อมกัน

8. Speech Decoder

หลังจาก LLM ประมวลผล ระบบต้องแปลงผลลัพธ์ให้กลายเป็นเสียงพูด

Pipeline คือ

LLM Hidden States
       ↓
Speech Token Decoder
       ↓
Speech Tokens
       ↓
Flow-Matching Decoder
       ↓
Audio Waveform

ระบบยังรองรับการใช้ Reference Audio เพื่อควบคุมลักษณะเสียง และรองรับ Voice Cloning ในตัว (LearnOpenCV)

ดังนั้น AI ไม่ได้เพียง “ตอบข้อความ”

แต่สามารถ

ฟัง → คิด → พูด

ออกมาเป็นเสียงได้

9. Omni-Flow: หัวใจของ Real-Time Interaction

เทคนิคสำคัญของ MiniCPM-o 4.5 คือ Omni-Flow

แนวคิดคือการนำข้อมูล

Video
Audio
Output

มาอยู่บน Timeline เดียวกัน

ระบบแบ่งการประมวลผลออกเป็นช่วงประมาณ 1 วินาที

ในแต่ละช่วง AI จะทำ 3 เรื่อง

รับ Video และ Audio ใหม่
ตัดสินใจว่าจะพูดหรือเงียบ
สร้าง Output จากสิ่งที่เพิ่งเห็นและได้ยิน

ตัวอย่าง

0s ───── 1s ───── 2s ───── 3s

ดู       ดู        ดู        ดู
ฟัง      ฟัง       ฟัง       ฟัง
│        │         │         │
เงียบ    พูด       เงียบ     พูด

นี่เป็นความแตกต่างสำคัญระหว่าง AI แบบ Traditional กับ Full-Duplex AI

10. AI ต้องตัดสินใจด้วยว่าจะ “พูดหรือไม่พูด”

เรื่องนี้สำคัญมาก

AI ที่พูดทุกวินาทีจะน่ารำคาญมาก

ตัวอย่างเช่น หากกำลังดูฟุตบอล

AI:
"ผู้เล่นกำลังวิ่ง"

AI:
"ผู้เล่นยังวิ่งอยู่"

AI:
"ผู้เล่นยังคงวิ่ง"

AI:
"ผู้เล่นกำลังจะ..."

ไม่ใช่ประสบการณ์ที่ดี

MiniCPM-o 4.5 จึงแยกการตัดสินใจออกเป็นสองขั้น

Step 1
Listen หรือ Speak?

       ↓

Step 2
ถ้า Speak → จะพูดอะไร?

ทำให้โมเดลสามารถเลือก เงียบเมื่อไม่มีเหตุการณ์สำคัญ และพูดเมื่อมีสิ่งที่ควรกล่าวถึง (LearnOpenCV)

11. TAIL: ทำให้เสียงไม่หลุดจากเหตุการณ์

อีกปัญหาหนึ่งของ Real-Time AI คือ

AI คิดเร็วกว่า AI พูด

สมมติว่า AI สร้าง Text ได้เร็วมาก

Text Generation
████████████████████
เร็วมาก

แต่ Speech ต้องใช้เวลา

Speech
████████
ช้ากว่า

ผลคือเสียงอาจตามหลังเหตุการณ์จริง

MiniCPM-o 4.5 จึงใช้เทคนิคที่เรียกว่า

TAIL — Time-Aligned Interleaving

แนวคิดคือระบบติดตามว่าเสียงพูดกำลัง Lag จาก Real-Time มากแค่ไหน

ถ้าเสียงเริ่มตามหลังมาก

→ ลดจำนวน Text Tokens ที่สร้าง

ถ้าเสียงตามทัน

→ สามารถสร้างต่อได้

จึงเป็นการควบคุม Balance ระหว่าง

Generation Speed ↔ Speech Playback ↔ Real-Time Context

(LearnOpenCV)

12. การ Training

MiniCPM-o 4.5 ไม่ได้ฝึกทุกอย่างพร้อมกันตั้งแต่ต้น แต่ใช้แนวทางแบบ Staged Training

สามารถสรุปได้ 4 ขั้นตอน

Stage 1 — Speech Pretraining

เริ่มจากฝึก Audio Module โดยตรึง Vision และ Language Backbone ไว้

เป้าหมายคือทำให้ระบบสามารถแปลงเสียงเข้าสู่ Representation ที่ LLM เข้าใจได้

Stage 2 — Joint Pretraining

ปลดล็อก Components และฝึก

Vision + Audio + Text

ร่วมกัน

Stage 3 — Supervised Fine-Tuning

ใช้ Instruction Data เพื่อเพิ่มความสามารถในการทำงานตามคำสั่ง

รวมถึงข้อมูลที่มี Resolution และ Frame Rate หลากหลาย

Stage 4 — Reinforcement Learning

ใช้ GRPO เพื่อปรับปรุง Reasoning และ Accuracy

รวมถึงลดการตอบยาวเกินความจำเป็น (LearnOpenCV)

13. Benchmark

บทความ LearnOpenCV ระบุชัดเจนว่าตัวเลข Benchmark ที่นำเสนอเป็น ผลที่ผู้พัฒนาโมเดลรายงานเอง ไม่ใช่ผลการ Reproduce โดย LearnOpenCV (LearnOpenCV)

ตัวอย่าง OpenCompass ใน Instruct Mode:

Model	OpenCompass
Gemini 2.5 Flash	78.5
InternVL 3.5 8B	75.8
Qwen3-VL 8B	76.5
Qwen3-Omni 30B-A3B	75.7
MiniCPM-o 4.5 9B	77.6

สิ่งที่น่าสนใจจึงไม่ใช่แค่คะแนน Benchmark

แต่คือการได้ความสามารถด้าน Vision + Audio + Speech + Full-Duplex ในโมเดลขนาดประมาณ 9B

14. ทดลองจริงกับวิดีโอ

LearnOpenCV ทดลอง MiniCPM-o 4.5 ในหลายสถานการณ์

14.1 Live Sports Commentary

ใช้วิดีโอฟุตบอลและให้ AI ทำหน้าที่เป็นผู้บรรยาย

ผลที่ได้คือ AI ไม่ได้พูดทุกวินาที แต่สามารถเงียบในช่วงที่ไม่มีเหตุการณ์สำคัญ และพูดเมื่อมีเหตุการณ์ที่ควรกล่าวถึง

นี่เป็นตัวอย่างที่ชัดเจนของ Proactive AI

15. วิเคราะห์พฤติกรรมจาก Surveillance Video

อีกการทดลองหนึ่งใช้วิดีโอจากบริบท Retail Surveillance

AI สามารถบรรยายพฤติกรรม เช่น

คนเข้าใกล้สินค้า
หยิบสินค้าหลายชิ้น
เคลื่อนไหวอย่างรวดเร็ว
นำสินค้าไปซ่อน
ทำพฤติกรรมซ้ำหลายครั้ง

จุดน่าสนใจคือ AI ไม่ได้ดูเพียง Frame เดียว แต่ติดตาม Pattern ของเหตุการณ์ต่อเนื่อง

อย่างไรก็ตาม การใช้งานจริงด้าน Surveillance หรือการกล่าวหาบุคคลควรมี Human Verification เสมอ เพราะ Model Output ไม่ควรถูกใช้เป็นหลักฐานตัดสินบุคคลโดยอัตโนมัติ

16. Cooking Video + Real-Time Q&A

การทดลองอีกแบบคือ Video ทำอาหาร

AI ต้อง

ดูวิดีโอ
ฟังเสียง
บรรยายสิ่งที่เกิดขึ้น
รับคำถามระหว่างทาง
ตอบคำถาม
กลับไปติดตาม Video ต่อ

ตัวอย่างคำถาม

“What fruit is being scooped into the bowl?”

AI ตอบ

“Avocado.”

อีกคำถาม

“What is being toasted in the pan?”

AI ตอบ

“Bread.”

ผลการทดลองแสดงให้เห็นว่าโมเดลสามารถรับ Interruptions ระหว่างการบรรยาย และกลับไปติดตาม Context ของวิดีโอต่อได้ (LearnOpenCV)

17. Voice Cloning

อีกความสามารถที่น่าสนใจคือ Voice Cloning

ระบบสามารถใช้ Reference Audio เพื่อกำหนดลักษณะเสียงที่ต้องการ

แนวคิดคือ

Reference Voice
       ↓
Speech Conditioning
       ↓
MiniCPM-o 4.5
       ↓
Generated Speech

จากการทดลองของ LearnOpenCV เสียงที่ Clone มีความคงที่ตลอดการทดลอง โดยไม่เปลี่ยนกลับไปเป็นเสียง Default (LearnOpenCV)

แน่นอนว่าในระบบจริงควรใช้ Voice Cloning อย่างมีสิทธิ์และได้รับความยินยอมจากเจ้าของเสียง

18. MiniCPM-o 4.5 ต่างจาก VLM ทั่วไปอย่างไร?

สามารถมองความแตกต่างง่าย ๆ ได้ดังนี้

ความสามารถ	VLM ทั่วไป	MiniCPM-o 4.5
Image Understanding	✅	✅
Video Understanding	✅	✅
Audio Understanding	บางโมเดล	✅
Text Reasoning	✅	✅
Speech Output	บางระบบ	✅
Streaming	จำกัด	✅
Full-Duplex	จำกัดมาก	✅
Proactive Response	จำกัด	✅
Voice Cloning	ต้องใช้ระบบอื่น	รองรับ

ดังนั้นจุดขายไม่ได้อยู่ที่ “เข้าใจภาพได้ดีเพียงอย่างเดียว”

แต่อยู่ที่การทำให้หลาย Modalities ทำงาน พร้อมกันและต่อเนื่อง

19. MiniCPM-o 4.5 กับ AI Agent

แนวคิดนี้น่าสนใจมากเมื่อเชื่อมเข้ากับ AI Agent

Traditional AI Agent:

User
 ↓
LLM
 ↓
Tool
 ↓
Result
 ↓
LLM
 ↓
Answer

แต่ถ้าเพิ่ม Omni Model

Camera ──┐
         │
Microphone ──→ Omni AI ──→ Agent Brain
         │                    │
Video ───┘                    ↓
                           Tools
                              ↓
                           Actions
                              ↓
                         Voice Response

AI Agent จึงสามารถ

มองสภาพแวดล้อม
ฟังคำสั่ง
วิเคราะห์สถานการณ์
เรียก Tool
ตัดสินใจ
พูดตอบ
ทำงานต่อเนื่อง

นี่เป็นพื้นฐานสำคัญของ Embodied AI และ Robotics

20. Use Cases ที่น่าสนใจ

MiniCPM-o 4.5 สามารถนำแนวคิดไปต่อยอดได้หลายด้าน

🤖 Robotics

Robot สามารถมองเห็นสิ่งแวดล้อม ฟังคำสั่ง และตอบกลับด้วยเสียง

🏠 Smart Home

กล้องตรวจจับเหตุการณ์และ AI สามารถแจ้งเตือนด้วยเสียงเมื่อพบสิ่งผิดปกติ

🎓 AI Tutor

AI สามารถดูสิ่งที่นักเรียนกำลังทำ ฟังคำถาม และอธิบายกลับแบบ Real-Time

🏭 Industrial Inspection

กล้องตรวจสอบกระบวนการผลิต พร้อมบรรยายหรือแจ้งเตือนเหตุการณ์ผิดปกติ

🛒 Retail

วิเคราะห์พฤติกรรมในพื้นที่ขายสินค้าแบบ Streaming

⚽ Sports

สร้างผู้บรรยายการแข่งขันแบบ Real-Time

♿ Accessibility

ช่วยผู้พิการทางสายตาโดยอธิบายสิ่งที่กล้องมองเห็นผ่านเสียง

21. จุดแข็ง

จุดเด่นสำคัญของ MiniCPM-o 4.5 ได้แก่

1. Multimodal จริง

ไม่ได้แค่ Image + Text แต่รวม Vision, Audio และ Speech

2. Full-Duplex

สามารถรับข้อมูลและตอบสนองพร้อมกัน

3. Streaming

เหมาะกับข้อมูลที่เข้ามาต่อเนื่อง เช่น Video และ Audio

4. โมเดลขนาด 9B

เล็กกว่าโมเดล Omni ขนาดใหญ่มาก ทำให้มีศักยภาพสำหรับ Local Deployment

5. Open Source

เปิดให้ชุมชนนักพัฒนาและนักวิจัยนำไปทดลองต่อยอด

6. Voice Cloning

รองรับการสร้างเสียงโดยใช้ Reference Audio

22. ข้อจำกัด

แม้ MiniCPM-o 4.5 จะน่าสนใจมาก แต่ก็ยังมีข้อจำกัด

1. Speech ยังมีความผิดพลาด

บทความระบุว่าสามารถเกิดการออกเสียงผิดหรือการผสมภาษาได้ โดยเฉพาะ Session ที่ยาว

2. Proactive Behavior ยังไม่สมบูรณ์

AI สามารถพูดเมื่อเกิดเหตุการณ์สำคัญ แต่ความสามารถในการริเริ่มการสนทนาแบบมนุษย์ยังมีข้อจำกัด

3. Real-Time มี Trade-off

การทำให้ AI ตอบเร็ว ไม่ได้หมายความว่าจะได้ Accuracy สูงที่สุดเสมอไป

4. Resource Requirement

แม้โมเดลจะมีขนาด 9B แต่ Multimodal + Vision + Audio + TTS พร้อมกันยังต้องใช้ GPU และ Memory พอสมควร

5. ความเสี่ยงจากการตีความภาพ

ในงาน Surveillance หรือ Safety-Critical Application ต้องมี Human-in-the-Loop

23. ทำไม MiniCPM-o 4.5 จึงสำคัญ?

ความสำคัญของ MiniCPM-o 4.5 ไม่ได้อยู่ที่การเป็นโมเดล 9B อีกหนึ่งตัว

แต่เป็นการเปลี่ยนแนวคิดจาก

AI ที่รอให้เราถาม

ไปสู่

AI ที่รับรู้โลกอย่างต่อเนื่องและตอบสนองตามเหตุการณ์

นี่คือการเปลี่ยนจาก

Chat AI

ไปสู่

Real-Time Interactive AI

และในอนาคต แนวคิดนี้สามารถเชื่อมต่อกับ

Multimodal Model
        +
AI Agent
        +
RAG
        +
Tools
        +
Memory
        +
Robotics

จนกลายเป็นระบบ AI ที่สามารถ Perceive → Reason → Act → Communicate ได้อย่างต่อเนื่อง

24. มองไปข้างหน้า: จาก Omni Model สู่ Embodied AI

หากมองภาพใหญ่ MiniCPM-o 4.5 เป็นอีกหนึ่งก้าวของการพัฒนา AI จาก

Generation 1

Text AI

Text → Text

Generation 2

Multimodal AI

Image + Text → Text

Generation 3

Omni AI

Vision
Audio
Text
Speech
   ↓
Unified Model

Generation 4

Agentic Omni AI

Vision
Audio
Text
Speech
   ↓
Reasoning
   ↓
Memory
   ↓
Tools
   ↓
Actions

Generation 5

Embodied AI

Sense
  ↓
Understand
  ↓
Reason
  ↓
Plan
  ↓
Act
  ↓
Observe
  ↺

ในขั้นสุดท้าย AI จะไม่ได้เป็นเพียง Chatbot อีกต่อไป แต่จะกลายเป็นระบบที่สามารถรับรู้และโต้ตอบกับโลกจริงอย่างต่อเนื่อง

สรุป

MiniCPM-o 4.5 คือโมเดล Multimodal AI ขนาด 9B ที่พยายามแก้ปัญหาสำคัญของ AI แบบดั้งเดิม นั่นคือการทำงานแบบ Turn-Based

หัวใจสำคัญประกอบด้วย

Vision Encoder
      +
Audio Encoder
      +
Qwen3-8B
      +
Speech Decoder
      +
Omni-Flow
      +
TAIL
      ↓
Full-Duplex Omni AI

จุดเด่นที่สุดคือความสามารถในการ

เห็น + ฟัง + คิด + พูด พร้อมกัน

และทำงานแบบ Streaming

จากการทดลองของ LearnOpenCV โมเดลสามารถทำงานด้าน Sports Commentary, Behavioral Narration, Cooking Video Q&A และ Voice Cloning ได้ในลักษณะ Real-Time (LearnOpenCV)

สิ่งที่น่าสนใจกว่านั้นคือแนวคิดนี้สามารถต่อยอดไปสู่ AI Agent, Robotics, Embodied AI, Smart Camera, AI Tutor และ Real-Time Assistant ได้อย่างกว้างขวาง

ดังนั้น MiniCPM-o 4.5 จึงไม่ได้เป็นเพียง “โมเดลที่มองเห็นและพูดได้”

แต่มันสะท้อนทิศทางสำคัญของ AI รุ่นใหม่:

จาก AI ที่ตอบคำถาม → สู่ AI ที่รับรู้โลกและโต้ตอบกับเราแบบ Real-Time

แหล่งข้อมูล

บทความต้นฉบับที่ใช้เป็นแหล่งอ้างอิงหลัก: LearnOpenCV — MiniCPM-o 4.5: A 9B Model That Can See, Hear, and Speak at the Same Time (LearnOpenCV)

ค..ตนดูระบบคอม