บทบาทสำคัญในยุค AI (RAG)
ในปัจจุบัน Retrieval Model มักถูกนำไปใช้เป็นส่วนประกอบสำคัญในระบบ RAG (Retrieval-Augmented Generation) ซึ่งทำหน้าที่เป็น "ห้องสมุด" คอยค้นหาข้อมูลที่ถูกต้องและเป็นปัจจุบันจากเอกสารภายนอก แล้วส่งต่อให้ Large Language Model (LLM) นำไปเรียบเรียงเป็นคำตอบ เพื่อลดปัญหาการตอบมั่ว (Hallucination)
ประเภทหลักของ Retrieval Models
- Classical / Traditional Models (แบบดั้งเดิม)
- Boolean Model ค้นหาแบบตรงตัว (Exact match) โดยใช้ตรรกะทางคณิตศาสตร์ เช่น AND, OR, NOT แต่ไม่มีการจัดอันดับความสำคัญ (Ranking)
- Vector Space Model แทนเอกสารและคำค้นเป็นเวกเตอร์ในปริภูมิ (Vector space) คำนวณความเหมือนกันด้วยค่า Cosine similarity หรือน้ำหนักคำอย่าง TF-IDF
- Probabilistic Model จัดลำดับเอกสารโดยคำนวณความน่าจะเป็นที่เอกสารนั้นจะตรงกับคำค้น (เช่น โมเดลยอดนิยมอย่าง BM25 / Okapi)
- Neural / Semantic Models (แบบโครงข่ายประสาทเทียมและความหมาย)
- Dense Retrieval / Embedding-based แปลงทั้งคำค้นและเอกสารเป็นเวกเตอร์ความหมายด้วย Deep Learning models (เช่น Bi-encoders หรือ RepLLaMA) เพื่อค้นหาความหมายที่ตรงกันแม้ใช้คำต่างกัน
- Rerankers โมเดลขั้นสูง (เช่น Cross-encoders) ที่นำผลลัพธ์แรกมาประมวลผลอย่างละเอียดอีกครั้งเพื่อจัดอันดับความเกี่ยวข้องให้แม่นยำยิ่งขึ้น
- Generative Retrieval (แบบสร้างรหัส/ดัชนี)
- โมเดลที่ให้ Deep Learning (เช่น Transformer) จดจำและสร้างรหัสหรือตัวระบุเอกสาร (Identifiers) ขึ้นมาโดยตรง แทนการค้นหาจากฐานข้อมูลแบบดั้งเดิม
ความคิดเห็น
แสดงความคิดเห็น