Nim AI Pet บน ESP32-S3 ทำเองได้ใน 30 นาที ทำได้จริงไหม

Nim คือ AI Pet ของผมครับ เป็นแมวสักหลาดสีน้ำเงินเย็บด้ายทอง ปกติอยู่บนจอคอม ผมอยากให้ Nim ออกมาอยู่บน gadget จริงที่แตะแล้วคุยกับ AI ได้มานานแล้ว

ตอนแรกผมตั้งใจจะเขียนเองทั้งหมด แต่กว่าจะได้ hardware ก็นานมาก ต้องรอให้บอร์ดวางขายก่อน แล้วยังต้องรอส่งอีก พอของมาถึง ปรากฏว่ามีคนทำ SDK ไว้แล้ว คือ Hermes Gadget SDK งานที่คิดว่าจะใช้หลายวันเลยเหลือราว 30 นาที

ภาพจริง: Nim ท่า idle บนบอร์ด หน้าจอขึ้นว่า Hold the screen to talk

หน้าตาของระบบ

พูดง่าย ๆ คือ ESP32 เป็นแค่ “ตัว” ของ Nim ส่วน “สมอง” อยู่ที่ Hermes agent ผมแตะจอแล้วพูด บอร์ดส่งเสียงผ่าน Wi‑Fi (หรือ iPhone Hotspot) แบบ WSS ไปที่ Hermes จากนั้นข้อความกับเสียงก็ตอบกลับมาที่บอร์ด ชิปเล็ก ๆ ไม่ต้องรันโมเดลเองเลย

เริ่มจากบอร์ดที่ใช่

ผมใช้ Waveshare ESP32-S3-Touch-AMOLED-1.75C จอ AMOLED กลม 466×466 มีทัช ไมค์ และลำโพงในตัว ด้านในใส่แบต LiPo 3.7V 500mAh ได้

บอร์ดที่ผมใช้ซื้อได้ที่ Electronics Kit Store ครับ

บอร์ด Waveshare ESP32-S3-Touch-AMOLED-1.75C ด้านใน

ภาพจริง: ด้านในเห็นชื่อรุ่น 1.75C ชัด ๆ พร้อมช่องเสียบแบตและ USB-C

ภาพจริง: ตัวเครื่อง ฝาหลัง และแบต LiPo 3.7V 500mAh ที่ยังไม่ได้ใส่

💡 Tip: เช็กชื่อรุ่นให้ชัด รุ่น 1.75C กับรุ่น 1.75 หน้าตาเกือบเหมือนกัน แต่ใช้เฟิร์มแวร์คนละตัว

ผมลง Hermes Gadget SDK v0.3.0 โดยสำรองแฟลชเดิมไว้ก่อน แล้วเช็กว่าบูตได้และแสดงผลได้ ก่อนจะเริ่มแต่งอะไรเพิ่ม

ทำให้ Nim เป็น Nim

เฟิร์มแวร์มาตรฐานมาพร้อม mascot กลาง ๆ ของ SDK ถ้าอยากให้หน้าจอเป็น Nim จริง ๆ ต้องทำ renderer และ asset ของ Nim เพิ่มเอง ผมเริ่มจาก mockup บนจอกลมหลายอารมณ์ก่อน เพื่อดูภาพรวม

ภาพนี้เป็น mockup ไม่ใช่ภาพจากบอร์ดจริง

ตัวที่ลงบอร์ดจริงมี 7 ท่า คือ idle, blink, listening, thinking, speaking 2 เฟรม และ offline ตอนพูด Nim จะโบกมือ ซึ่งยังไม่ใช่ lip‑sync นะครับ

asset เจ็ดท่าที่ใช้ลงบอร์ด (ภาพ asset ไม่ใช่ภาพถ่าย)

💡 Tip: ลองบน simulator ก่อนแฟลชทุกครั้ง แต่อย่าเข้าใจว่าภาพใน simulator คือผลบนบอร์ดจริง

ภาพจาก simulator ไม่ใช่บอร์ดจริง บนบอร์ดจริงขนาดตัว Nim ต่างกันนิดหน่อย

ตอนแฟลช ผมเขียนลงเฉพาะ app partition ค่า Wi‑Fi และการจับคู่ที่ตั้งไว้แล้วเลยไม่หาย ตัว build ใหญ่ราว 1,646 KiB จากพื้นที่ 1,984 KiB ยังเหลือที่ให้เล่นต่ออีกพอสมควร

ต่อเน็ตและจับคู่

ตั้งชื่อบนบอร์ดเป็น Nim แล้ว ตอนนี้หน้า installer ขึ้นว่า Connected to Hermes / Paired ผมเพิ่ม iPhone Hotspot ไว้ใช้ตอนพกออกนอกบ้านด้วย

💡 Tip: ตอนเพิ่ม Wi‑Fi ให้เลือก “Skip to Wi‑Fi” ไม่งั้นเฟิร์มแวร์มาตรฐานจะทับ Nim และอย่ากด OTA –latest ถ้ายังไม่ได้เช็ก ส่วน URL ต้องมีทั้ง wss:// และ /gadget

ลองใช้จริง: สะดุดนิดหน่อย แต่ปรับแล้วใช้ได้

ไมค์กับลำโพงใช้ได้ดีตั้งแต่แรก สั่งด้วยเสียงแล้ว Nim รับได้ เสียงตอบก็ชัด ช่วงแรกมีสะดุดบ้าง บางรอบตอบช้า session จากแชตไม่ขึ้นบนจอ และมีหลุดการเชื่อมต่อระหว่างกดพูดอยู่หลายครั้ง พอปรับแก้กันไปนิดหน่อยก็กลับมาใช้งานได้ครับ

ตรง ๆ ว่าอะไรได้แล้ว อะไรยัง

ที่ได้แล้วคือ Nim 7 ท่ารันบนบอร์ดจริง จับคู่กับ Hermes แล้ว และผมลองสั่งด้วยเสียงแล้ว ไมค์รับเสียงได้ดี ลำโพงก็เสียงดีเกินคาดสำหรับบอร์ดขนาดนี้

ที่ยังต้องดูต่อ คือ ความนิ่งเวลาใช้นาน ๆ ยืนยันว่าต่อ Hotspot อยู่จริงและสลับกลับ Wi‑Fi บ้านได้ และใช้แบตโดยไม่เสียบ USB ได้นานแค่ไหน ตอนนี้ยังต้องแตะจอเพื่อพูด ไม่มี wake word และยังไม่ได้เปิด Bluetooth

สิ่งที่ผมได้จากรอบนี้

พอ AI ออกจากหน้าจอโทรศัพท์มาอยู่บนอุปกรณ์ที่ต้องกดพูด ความรู้สึกว่า “ใช้ได้” ไม่ได้ขึ้นอยู่กับโมเดลอย่างเดียวแล้วครับ ความเร็วในการตอบ สถานะ session ที่มองเห็นได้ และการเชื่อมต่อที่ไม่หลุดตอนกำลังพูด กลายเป็นส่วนหนึ่งของประสบการณ์ทั้งหมด

“มีตัวละครบนจอ” กับ “มี AI gadget ที่พกไปใช้ได้ทุกที่” เป็นคนละ milestone กันครับ แต่สิ่งที่ผมชอบที่สุดคือ เราเก็บตัวตนของ Nim ไว้บนอุปกรณ์จริงได้ โดยไม่ต้องยัด AI ทั้งหมดลงชิปเล็ก ๆ

ถ้าสนใจเรื่อง AI ที่รันบนเครื่องตัวเอง ลองอ่าน Local LLM บน Mac ที่ผมเคยเขียนไว้ได้ครับ

อีกเรื่องคือ บางทีการรอก็ไม่เสียเปล่า ถ้าระหว่างรอมีคนสร้างของพื้นฐานไว้ให้แล้ว รอบหน้าผมจะลองใช้ยาว ๆ ทดสอบแบต และพกออกไปข้างนอกจริง แล้วมาเล่าต่อครับ

อ่านต่อ: Nemotron Bolt สรุปแชตกลุ่ม LINE · รัน Local LLM บน Mac · ทำแอปรองรับ iPhone Duo