DuckDB: SQL Analytics บนเครื่อง - วิเคราะห์ข้อมูล 10 ล้านแถว (2026)

byBoonyadol Morruchai (Senior Full-stack Developer) •07:57

0

DuckDB: รัน SQL วิเคราะห์ข้อมูล 10 ล้านแถวบนเครื่องตัวเองได้เลย ไม่ต้องมี server ใช้คู่กับ Python ได้ทันที เป็น tool ที่ Data Engineer

ผมเคยเจอสถานการณ์ที่น่าปวดหัวสุดๆ ในโปรเจกต์ Data Warehouse ของบริษัทเมื่อปี 2026 เรามีข้อมูลลูกค้าจำนวนมหาศาล ประมาณ 10 ล้านแถว ข้อมูลนี้มาจากหลายแหล่ง เช่น ระบบ CRM, ระบบ Sales, และระบบ Marketing แต่ปัญหาคือการ query ข้อมูลเหล่านี้ทำเวลานานมาก ต้องใช้ Apache Spark หรือ Presto ซึ่งเป็นระบบ distributed processing ที่ซับซ้อนและต้องใช้ทรัพยากรเยอะมาก ทีมงานต้องเสียเวลาในการ setup และ maintain ระบบเหล่านี้ แถมยังต้องมานั่ง worry เรื่อง scalability ด้วย การ query ข้อมูลขนาดใหญ่แบบนี้ใช้เวลานานเกินไปจนกระทั่งเราไม่สามารถตอบคำถามทางธุรกิจได้ทันเวลา

ปัญหาหลักคือการ dependency กับ infrastructure ที่ซับซ้อน ทำให้การวิเคราะห์ข้อมูลช้า และทำให้ Data Engineer ต้องเสียเวลาไปกับการจัดการ infrastructure มากกว่าการ focus ไปที่การวิเคราะห์ข้อมูลจริงๆ บทความนี้จะช่วยแก้ปัญหาเหล่านี้ได้ด้วย DuckDB ซึ่งเป็น database engine ที่ lightweight และทำงานได้บนเครื่องเดียว โดยใช้ SQL ที่คุ้นเคย ทำให้เราสามารถ query ข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว และไม่ต้องกังวลเรื่อง scalability สำหรับ Data Engineer ที่ต้องการความเร็วและ convenience ในการวิเคราะห์ข้อมูล ผมคิดว่า DuckDB คือตัวเลือกที่น่าสนใจมากๆ

Introduction to DuckDB

Woman presenting a graph to an audience — Photo by Vitaly Gariev on Unsplash

DuckDB คือ database engine ที่ออกแบบมาสำหรับการวิเคราะห์ข้อมูลแบบ SQL โดยเฉพาะ มันทำงานได้บนเครื่องเดียว และใช้ CPU เพียงอย่างเดียว ไม่ต้องมี server หรือ cluster ใดๆ DuckDB เหมาะสำหรับการทำงานกับข้อมูลขนาดใหญ่ (big data) ที่เราไม่ต้องการให้มันกระจายไปบนหลายเครื่อง เพราะมันจะช่วยลดความซับซ้อนในการ setup และ maintenance ลงได้อย่างมาก DuckDB ถูกพัฒนาโดย Uber และได้รับความนิยมอย่างรวดเร็วเนื่องจากความเร็วและประสิทธิภาพที่เหนือกว่า database engine อื่นๆ DuckDB version ที่ผมใช้ในบทความนี้คือ 20.11.1

Setting up DuckDB

ติดตั้ง DuckDB: เราสามารถติดตั้ง DuckDB ได้ง่ายๆ ผ่าน pip:
```
      pip install duckdb
      
```

Import DuckDB ใน Python:


      import duckdb

      # เชื่อมต่อกับ database
      con = duckdb.connect('my_database.duckdb')

      # ป้อนคำสั่ง SQL
      con.execute('SELECT * FROM my_table')

Querying Large Datasets

Woman working on laptop with charts and graphs. — Photo by Apex Virtual Education on Unsplash

DuckDB สามารถ query ข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว เนื่องจากมันใช้เทคนิคในระดับไฟล์ (file-based) ในการจัดเก็บข้อมูลและ query เราสามารถ import ข้อมูลจาก CSV, Parquet, JSON, หรืออื่นๆ ได้อย่างง่ายดาย DuckDB ยัง support SQL standard functions ทำให้เราสามารถทำ aggregation, filtering, และ grouping ได้อย่างมีประสิทธิภาพ


  -- สมมติว่าเรามีไฟล์ CSV ชื่อ 'customer_data.csv' ที่มีข้อมูลลูกค้า 10 ล้านแถว
  -- เราต้องการหาจำนวนลูกค้าที่มีอายุมากกว่า 30 ปี
  -- เราจะ import ไฟล์ CSV เข้าสู่ DuckDB ก่อน
  -- (ใช้คำสั่ง duckdb.table('customer_data.csv', file_types=['csv']) )

  -- จากนั้นเราสามารถ query ข้อมูลได้ดังนี้
  SELECT COUNT(*)
  FROM customer_data
  WHERE age > 30;

Output ที่ควรได้คือจำนวนลูกค้าที่มีอายุมากกว่า 30 ปี ซึ่งในกรณีนี้อาจเป็น 5 ล้านคน (ตัวเลขนี้เป็นเพียงตัวอย่าง)

Error ที่มักเจอและวิธีแก้: หนึ่งใน error ที่พบบ่อยคือ syntax error ในคำสั่ง SQL ตรวจสอบ syntax ของคำสั่ง SQL ให้ถูกต้อง และตรวจสอบว่าชนิดข้อมูลของ column ที่ใช้ในการ query ตรงกับชนิดข้อมูลที่เก็บไว้ใน database อีกหนึ่งปัญหาคือปัญหาเรื่อง memory ถ้าข้อมูลมีขนาดใหญ่มากเกินไป อาจทำให้ memory ไม่พอ ลองลดจำนวน column ที่เลือก หรือเพิ่ม memory allocation ให้กับ DuckDB

Performance Tips

เพื่อให้การ query ข้อมูลใน DuckDB เป็นไปอย่างรวดเร็ว เราสามารถใช้ performance tips เหล่านี้ได้:

ใช้ indexes: สร้าง indexes บน column ที่ใช้ในการ query บ่อยๆ เพื่อให้ DuckDB สามารถค้นหาข้อมูลได้เร็วขึ้น
ใช้ partitioning: แบ่งข้อมูลออกเป็นส่วนๆ (partition) ตามเกณฑ์ที่เหมาะสม เช่น ตามช่วงเวลา หรือตาม geographical location
ใช้ materialized views: สร้าง materialized views เพื่อเก็บผลลัพธ์ของ query ที่ใช้บ่อยๆ DuckDB จะสามารถ query ข้อมูลจาก materialized views ได้เร็วกว่าการ query ข้อมูลจาก table เดิม
ปรับแต่ง configuration: ปรับแต่ง configuration ของ DuckDB ให้เหมาะสมกับ workload ของเรา เช่น ปรับขนาดของ buffer pool หรือปรับจำนวน threads ที่ใช้ในการ query

สิ่งที่ควรระวัง / ข้อผิดพลาดที่เจอบ่อย

ผมเคยเจอข้อผิดพลาดที่น่าหงุดหงิดหลายอย่างในการใช้ DuckDB ในโปรเจกต์จริง ข้อผิดพลาดที่พบบ่อยที่สุดคือการจัดการ data types ไม่ถูกต้อง DuckDB มี data types ที่หลากหลาย แต่บางครั้งเราอาจไม่ได้ระวังเรื่อง data types เหล่านี้ ทำให้เกิด error เมื่อเราพยายาม query ข้อมูลที่มี data types ไม่ตรงกัน อีกหนึ่งข้อผิดพลาดคือการไม่ optimize query ถ้าเราเขียน query ที่ซับซ้อนมากๆ DuckDB อาจใช้เวลานานในการ query ดังนั้นเราควรพยายามเขียน query ที่กระชับและมีประสิทธิภาพ สุดท้ายคือการไม่ monitor performance ของ DuckDB เราควร monitor performance ของ DuckDB อย่างสม่ำเสมอ เพื่อให้เราสามารถ identify bottlenecks และปรับปรุง performance ได้

Conclusion

DuckDB เป็นเครื่องมือที่ทรงพลังสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่ใน Python มันมีความเร็ว, convenience, และ scalability ที่ยอดเยี่ยม ผมคิดว่า DuckDB เป็นเครื่องมือที่ Data Engineer ควรมีติด toolbox ผมเองก็เริ่มใช้ DuckDB ในโปรเจกต์ต่างๆ มากขึ้นเรื่อยๆ เพราะมันช่วยลดเวลาในการวิเคราะห์ข้อมูลลงได้อย่างมาก

จริงๆ ผมไม่ค่อยชอบวิธีที่ต้อง import CSV ทุกครั้งที่ run query แต่โดยรวมแล้ว ผมคิดว่า DuckDB เป็นเครื่องมือที่คุ้มค่าที่จะลงทุน

Next Step: ลองใช้ DuckDB กับ dataset ของคุณเองดูครับ ผมแนะนำให้เริ่มจาก dataset ขนาดเล็กก่อน เพื่อทำความเข้าใจวิธีการทำงานของ DuckDB เมื่อคุณคุ้นเคยกับการทำงานของ DuckDB แล้ว คุณสามารถลองใช้มันกับ dataset ขนาดใหญ่ได้ อย่าลืมศึกษา performance tips และ best practices เพื่อให้คุณสามารถใช้ DuckDB ได้อย่างมีประสิทธิภาพสูงสุด

คำถาม

คำถาม: DuckDB เหมาะกับโปรเจกต์ขนาดไหน? คำตอบ: DuckDB เหมาะกับโปรเจกต์ที่ต้องการวิเคราะห์ข้อมูลขนาดใหญ่ (big data) ที่ไม่ต้องการให้ข้อมูลกระจายไปบนหลายเครื่อง โดยเฉพาะโปรเจกต์ที่ต้องการความเร็วและ convenience ในการวิเคราะห์ข้อมูล

คำถาม: DuckDB มีข้อจำกัดอะไรบ้าง? คำตอบ: DuckDB เหมาะสำหรับการทำงานกับข้อมูลที่อยู่ในเครื่องเดียวเท่านั้น ถ้าข้อมูลมีขนาดใหญ่มากเกินไป DuckDB อาจไม่สามารถ handle ได้ นอกจากนี้ DuckDB ยังไม่ support distributed processing เช่น Spark หรือ Presto

คำถาม: DuckDB สามารถทำงานร่วมกับ Polars ได้หรือไม่? คำตอบ: DuckDB สามารถทำงานร่วมกับ Polars ได้อย่างราบรื่น Polars เป็น DataFrame library ที่รวดเร็วและมีประสิทธิภาพ เราสามารถใช้ DuckDB เป็น backend สำหรับ Polars ได้ หรือใช้ Polars เป็น frontend สำหรับ DuckDB ได้

DuckDB: SQL Analytics บนเครื่อง (Python) - วิเคราะห์ข้อมูล 10 ล้านแถว!:

Polars vs Pandas: เร็วกว่า 50 เท่า! เลือก Dataframe ปี 2026: