กลไก Deterministic Transaction Replay และ Global Timestamp Order Alignment ควบคม Streaming Broker ด้วย Log-Based MySQL สำหรับระบบ Streaming

 

การจำลองกลไก Deterministic Transaction Replay และ Global Timestamp Order Alignment ที่ใช้ใน Streaming Broker ระดับสูง โดยย้ายการทำงานมาควบคุมแบบอัตโนมัติภายใน MySQL Database ผ่าน 3 ส่วนหลัก

  • การไหลของข้อมูล Data Flow
  • การแก้ปัญหาของระบบ
  • ข้อพึงระวังและการดูแลรักษา

การไหลของข้อมูล

  1. ผู้ใช้รันคำสั่ง
  2. บันทึกทุกคำสั่งลงตารางระบบ 
  3. การทำงาน 
  4. การล้างข้อมูลเก่า
  5. การจัดเรียงเวลาสากล
  6. ส่งคิวรีตามลำดับ
  7. การป้องกันข้อมูลสลับกัน

ปัญหา/การแก้ปัญหา 

  1. แก้ปัญหาความไม่แน่นอน (Deterministic Guarantee) ระบบใช้การเก็บ Log จากโครงสร้าง SQL จริง และเวลาดึงข้อมูลไป Replay
  2. ระบบหน้าต่างเวลาและการจัดแถว (Order Alignment) ตัว Event Scheduler จะคอยกวาดข้อมูลย้อนหลังทุกๆ 1 นาที ช่วยจัดแถวข้อมูลดิบที่กระจัดกระจายให้มาอยู่ในตารางที่พร้อมใช้งาน
  3. ป้องกันข้อมูลซ้ำและสูญหาย (Exactly-Once Semantics) ทำหน้าที่เหมือน "ตัวคั่นหนังสือ" เมื่อสคริปต์ภายนอกหรือ Broker ดึงข้อมูลไปแล้ว จะต้องมาบันทึกจุดล่าสุดไว้ หากระบบล่ม กลไกนี้จะส่งข้อมูลต่อจากจุดเดิมทันที ไม่ต้องเริ่มนับหนึ่งใหม่

การดูแลรักษา

  • ตรวจสอบดิสก์ (Disk Space) เป็นระยะ แม้เราจะสร้างระบบลบประวัติที่เก่ากว่า 7 วัน
  • การเปิด-ปิดระบบ หากในอนาคตต้องการหยุดระบบชั่วคราว สามารถสั่งเปิด/ปิดได้

ข้อแนะนำ

  1. ปรับปรุงระดับการล็อกเพื่อลดคอขวด (Concurrency Tuning) 
  2. การเขียนข้อมูลเข้าตลอดเวลา หากคุณใช้คำสั่งล้างข้อมูลเก่าแบบเป็นก้อนใหญ่ๆ (Bulk Delete) ทำให้ระบบช้าลง

ความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

อะไรคือ NPU (Neural Processing Unit) มีความสำคัญอย่างไร แนวคิดมาจากไหน

Micro SaaS "ขนาดพอดีคำ" สร้างธุรกิจเริ่มต้นอย่างง่ายด่าย จากไอเดียสู่สร้างรายได้ โดยใช้ AI Agent ตอบสนองความต้องการซอฟต์แวร์ที่เล็ก ง่าย และทรงพลัง

TomCat สำหรับติดตั้ง แก้ไข คอนฟิก ใช้งาน JSP