MinIO คืออะไร? ทำความรู้จัก Object Storage สำหรับ Data Engineering และ AI

บทนำ

ปัจจุบันในยุคที่ระบบซอฟต์แวร์ต้องจัดการข้อมูลจำนวนมาก ทั้งเอกสาร รูปภาพ วิดีโอ Dataset, Log และไฟล์สำหรับให้ AI นำไปใช้ Database เพียงอย่างเดียวอาจไม่เพียงพอ ดังนั้น จะต้องมีวิธีเก็บข้อมูลที่แตกต่างกันออกไป และหนึ่งในเทคโนโลยีที่ถูกนำมาใช้เป็น Storage Layer  MinIO จึงได้ถูกพัฒนาขึ้นโดย

MinIO เป็นระบบ Object Storage ที่ออกแบบมาเพื่อจัดเก็บข้อมูลในรูปแบบ Object และรองรับ S3-compatible API ทำให้สามารถนำไปใช้งานร่วมกับเครื่องมือและระบบที่รองรับ Amazon S3 ได้

บทความนี้จะอธิบายว่า MinIO คืออะไร ทำงานอย่างไร เหมาะกับงานประเภทไหน และสามารถนำไปใช้กับ Data Engineering, Data Lake, AI และ RAG ได้อย่างไร

MinIO Object Storage พัฒนาโดย MinIO Inc. (ก่อตั้งในปี 2014 โดย Garima Kapoor, Anand Babu "AB" Periasamy และ Harshavardhana) และเผยแพร่เป็นซอฟต์แวร์โอเพนซอร์ส [Minio for Github][minio websize]

• ผู้ก่อตั้ง / ทีมพัฒนาหลัก: Garima Kapoor, Anand Babu Periasamy, Harshavardhana
• บริษัท: MinIO Inc.ประเภท: High-performance, S3-compatible Object Storage (Cloud-native / Kubernetes-native)
• ไลเซนส์: GNU AGPL v3.0

แนวคิดหลักและหลักการทำงานของ MinIO Object Storage ถูกออกแบบมาเพื่อเป็นระบบจัดเก็บข้อมูลที่มีความเร็วสูง รองรับข้อมูลขนาดมหาศาล (Exascale) และทำงานร่วมกับ Cloud-native ได้อย่างไร้รอยต่อ โดยมีหัวใจสำคัญดังนี้

MinIO คืออะไร?

MinIO คือ ระบบ Object Storage สำหรับจัดเก็บข้อมูลเป็น “Object” โดยออกแบบให้ทำงานผ่าน S3-compatible API จึงสามารถใช้แทนหรือทำงานร่วมกับระบบที่รองรับ Amazon S3 ได้ เพื่อใช้ระบบจัดเก็บข้อมูลแบบออบเจ็กต์ (Object Storage) โอเพนซอร์ส ที่มีความเร็วสูง และออกแบบมาให้ใช้เก็บข้อมูล

เปรียบเทียบประเภท Storage พื้นฐาน

• Object Storage (MinIO): เก็บเป็นก้อน (Object) พร้อม Metadata เหมาะกับไฟล์มีเดีย, Backup, AI 
• DatasetBlock Storage: แบ่งข้อมูลเป็นบล็อกความเร็วสูง ใกล้ฮาร์ดแวร์ เหมาะกับ Database 
• OSFile Storage: จัดเก็บแบบลำดับชั้น (Folder/File) แบบ NAS/NFS ทั่วไป

ความสามารถของ MinIO

ความสามารถของ MinIO ก็คือ Object Storage ที่สามารถนำข้อมูลที่เป็นแบบไม่มีโครงสร้างหรือ Unstructued ไปเก็บไว้ในตระกร้า Bucket ซึ่งมีแนวคิด Concept เหมือน S3 ของ AWS และมันยัง AWS S3 Compatibility อีกด้วย ซึ่งนี้ทำให้ผู้ใช้โยกย้ายจาก AWS S3 มาเป็น MinIO ได้โดยไม่ต้องเขียน Code ใหม่ 

องค์ประกอบหลักของ MinIOMinIO 

• Server Binary (minio) ทำหน้าที่หลักที่ Run of Service รันเป็นเซอร์วิส จัดการคำขอ อ่าน/เขียนข้อมูลลงดิสก์
• Bucket และ Object สำหรับ Bucket โฟลเดอร์ระดับบนสุดสำหรับแบ่งกลุ่มข้อมูล 
• Objecj เป็นหน่วยข้อมูลที่เก็บจริง ประกอบด้วย Data, Key (ชื่อไฟล์), และ Metadata
• S3 API Layer เป็นอินเทอร์เฟซรองรับคำสั่งมาตรฐาน Amazon S3 (PUT, GET, DELETE)
• Management Tools:MinIO Client (mc) เป็นเครื่องมือจัดการผ่าน Command Line สำหรับก๊อปปี้ ซิงค์ และตั้งค่าConsole: หน้าเว็บสำหรับดูสถานะและจัดการ Object Browser

วิธีการติดตั้ง 

Installation document / การติดตั้ง