บทความ

Apache Hive ระบบคลังข้อมูลแบบกระจาย (Distributed Data Warehouse) เพื่อช่วยในการอ่าน เขียน และจัดการชุดข้อมูลขนาดใหญ่ระดับเพตะไบต์ (Petabytes) ที่สร้างขึ้นบน Apache Hadoop

รูปภาพ
Apache Hive คือ ระบบคลังข้อมูลแบบกระจาย (Distributed Data Warehouse) ที่สร้างขึ้นบน Apache Hadoop เพื่อช่วยในการอ่าน เขียน และจัดการชุดข้อมูลขนาดใหญ่ระดับเพตะไบต์ (Petabytes) โดยใช้ภาษาที่คล้ายกับ SQL เรียกว่า HiveQL คุณสมบัติหลัก HiveQL : แปลงคำสั่ง SQL ให้กลายเป็นงานประมวลผลบน Hadoop (เช่น Tez, MapReduce หรือ Apache Spark) เพื่อลดความซับซ้อนในการเขียน Java API Hive Metastore (HMS) : ส่วนกลางสำหรับจัดเก็บข้อมูลโครงสร้าง (Metadata) เช่น ตาราง คอลัมน์ และพาร์ติชัน   HiveServer2 (HS2) : รองรับการเชื่อมต่อพร้อมกันหลายผู้ใช้งาน ผ่าน JDBC และ ODBC รองรับหลากหลายรูปแบบไฟล์ : ทำงานร่วมกับไฟล์อย่าง ORC, Parquet, CSV และ TSV ได้ ความสามารถระดับองค์กร : รองรับระบบความปลอดภัย เช่น Kerberos, Apache Ranger และการทำธุรกรรมแบบ ACID โครงสร้างการทำงานภายใน (Architecture) การทำงานของ Hive ประกอบด้วย 3 ส่วนหลักที่ทำงานร่วมกัน: Hive Metadata (Metastore) ทำหน้าที่เก็บ "โครงสร้างของตาราง" (เช่น ชื่อตาราง มีคอลัมน์อะไรบ้าง ข้อมูลเก็บอยู่ที่โฟลเดอร์ไหนบน Hadoop) ส่วนใหญ่นิยมเก็บข้อมูลตรงนี้ไว้ใน Re...

SaaS Control Plane: ศูนย์กลางควบคุม Users, Usage, Billing, Workers และ Cost

  เมื่อ SaaS เติบโตขึ้น ระบบไม่ได้มีเพียงหน้าเว็บไซต์ API และฐานข้อมูลอีกต่อไป เริ่มมีผู้ใช้หลายประเภท หลายองค์กร มี Subscription หลายรูปแบบ มี Worker ทำงานเบื้องหลัง และมีต้นทุนจาก Cloud หรือ AI ที่เพิ่มขึ้นตามการใช้งาน คำถามใหม่จึงเกิดขึ้นว่า “เราจะมองเห็นและควบคุมทุกส่วนของ SaaS จากที่เดียวได้อย่างไร?” คำตอบหนึ่งคือการสร้างสิ่งที่เรียกว่า SaaS Control Plane SaaS Control Plane คืออะไร? ลองนึกถึง SaaS เป็นเหมือนเมือง Application คือพื้นที่ที่ผู้ใช้งานเข้าไปใช้บริการ Database คือคลังข้อมูล Worker คือทีมที่ทำงานเบื้องหลัง Billing คือระบบเศรษฐกิจของเมือง แต่เมื่อเมืองเริ่มใหญ่ขึ้น เราต้องมีศูนย์กลางที่สามารถมองเห็นว่า มีใครกำลังใช้งานอยู่? ใครมีสิทธิ์เข้าถึงอะไร? ใครใช้ทรัพยากรมากเกินไป? Worker ตัวไหนกำลังทำงาน? รายได้และต้นทุนเป็นอย่างไร? Control Plane คือชั้นสำหรับบริหารและควบคุมระบบทั้งหมด โดยไม่ได้ทำหน้าที่แทน Application โดยตรง                  SaaS Control Plane         ┌──────────────┼────...