ค..ตนดูระบบคอม

 บทนำ ในสถาปัตยกรรม AI ยุคใหม่ โดยเฉพาะระบบที่ขับเคลื่อนด้วย LLM (Large Language Models) หนึ่งในองค์ประกอบที่เป็น “โครงสร้างพื้นฐาน” มากที่สุดคือ Embedding หรือการแปลงข้อมูลให้อยู่ในรูปเวกเตอร์เชิงความหมาย หากตัดส่วนนี้ออกไป ระบบจะไม่ได้แค่ “แย่ลง” แต่จะ สูญเสียความสามารถหลักไปโดยสิ้นเชิง บทความนี้จะขยายให้เห็นอย่างเป็นระบบว่า หากไม่มี embedding จะเกิดอะไรขึ้นใน 3 มิติสำคัญ: การค้นหา (Search), ระบบ RAG, และความเข้าใจของ AI Embedding AI คืออะไร ขอย้อนอธิบายความหมายของคำว่า Embedding AI ก่อนเพื่อเสริมความเข้าใจในบทความ  Embedding AI  (หรือ Embeddings ในบริบทของ AI/Machine Learning) คือ เทคนิคการแปลงข้อมูลประเภทต่างๆ เช่น ข้อความ (Text), รูปภาพ (Image), เสียง (Audio) หรือวีดีโอ ให้กลายเป็น ชุดตัวเลขทศนิยม (Vectors) ที่สามารถแทนความหมายของข้อมูลนั้นๆ ได้  ง่ายๆ คือ แปลงข้อมูลจาก Input เป็นข้อมูล Vector เพื่อใช้ในการคำนวณของ AI  โดยที่ตัวเลขเหล่านั้นไม่ได้แทนคำตรงๆ แต่เก็บ "ความสัมพันธ์เชิงความหมาย" (Semantic Meaning) ไว้ในพื้นที่เวกเตอร์ต่อเนื่อง (Continuous Vector...

  บทนำ: Memory คือ Infrastructure หลักของ AI สมัยใหม่ Memory เป็นหนึ่งในองค์ประกอบที่สำคัญที่สุดของระบบ AI สมัยใหม่ โดยเฉพาะในระบบ conversational AI เช่น ChatGPT ซึ่งต้องสามารถจัดเก็บและเรียกใช้ข้อมูลผู้ใช้เพื่อเพิ่มความแม่นยำและความต่อเนื่องของการโต้ตอบ ในระบบ AI แบบ stateless แบบดั้งเดิม ทุก interaction เป็นอิสระจากกัน ทำให้ไม่สามารถใช้ข้อมูลก่อนหน้าเพื่อปรับปรุง performance ได้ แต่ memory-enabled AI สามารถสร้าง persistent state ซึ่งช่วยให้ระบบสามารถเรียนรู้และปรับตัว Memory ทำหน้าที่เป็น external knowledge layer ที่ช่วย augment model inference โดยไม่ต้อง retrain neural network ซึ่งช่วยลด computational cost และเพิ่ม scalability จากมุมมองของ engineering, memory system เป็น subsystem ที่ประกอบด้วย data ingestion pipeline, encoding mechanism, storage layer และ retrieval algorithm ซึ่งทำงานร่วมกันเพื่อให้ AI สามารถเข้าถึงข้อมูลได้ใน latency ต่ำ สถาปัตยกรรม Memory System Memory system สามารถแบ่งออกเป็น 4 layer หลัก: 1. Data Ingestion Layer Data ingestion layer มีหน้าที่รับ inp...