การตรวจจับท่าทางมือเพื่อเป็นสัญญาณขอความช่วยเหลือและแจ้งเตือนแบบเรียลไทม์โดยใช้วิธีการระบุพิกัดของมือด้วยมีเดียไปป์

ผู้แต่ง

  • ณรงค์ฤทธิ์ ภิรมย์นก คณะวิทยาศาสตร์และเทคโนโลยี มหาวิทยาลัยสวนดุสิต กรุงเทพฯ

คำสำคัญ:

การรู้จำท่าทางมือ, โครงข่ายประสาทเทียม, มีเดียไปป์

บทคัดย่อ

ปัญหาความไม่ปลอดภัยเป็นปัญหาที่ส่งผลต่อคุณภาพชีวิตของคนในสังคมเป็นอย่างมาก โดยเฉพาะผู้พิการทางการได้ยินที่มีจำนวนมากเป็นอันดับ 2 ของผู้พิการทั้งหมด ซึ่งเกิดขึ้นได้ทั้งทางร่างกายและจิตใจ และปัญหาความรุนแรงภายในครอบครัวที่อาจเกิดขึ้นได้ทั้งภายในบ้าน โรงเรียน หรือที่สาธารณะ ซึ่งเป็นปัญหาสำหรับบุคคลทุกกลุ่ม ทุกช่วงวัย จึงเป็นที่มาของการพัฒนาระบบการตรวจจับท่าทางมือเพื่อเป็นสัญญาณขอความช่วยเหลือและแจ้งเตือนแบบเรียลไทม์โดยการใช้วิธีการระบุพิกัดตำแหน่งด้วย MediaPipe โดยช่วยให้พวกเขาสามารถขอความช่วยเหลือในกรณีเกิดเหตุฉุกเฉินได้โดยไม่ต้องพูดหรือส่งเสียงออกมา โดยมีวัตถุประสงค์เพื่อ 1) เพื่อตรวจจับท่าทางมือที่เป็นสัญญาณขอความช่วยเหลือและแจ้งเตือน 2) เพื่อศึกษาประสิทธิภาพของการตรวจจับท่าทางมือขอความช่วยเหลือ โดยจะใช้ MediaPipe framework โดยได้รับการฝึกฝนจากข้อมูล 30,000 ภาพ และทดสอบโดยการรับข้อมูลจากกล้องวิดีโอมาทำการตรวจจับท่าทางมือขอความช่วยเหลือ จำนวน 6 ท่าทาง จำนวนท่าทางละ 100 ภาพ รวมเป็น 600 ภาพ โดยการกำหนดค่าพิกัดของฝ่ามือและนิ้วมือลงในโปรแกรมภาษา Python เมื่อตรวจพบท่าทางมือขอความช่วยเหลือจะส่งการแจ้งเตือนไปยังผู้ดูแล จากผลการทดสอบ พบว่า ค่าความถูกต้องของท่าทางมือ 1-6 ของชุดข้อมูลอยู่ในช่วง 95-99% ความแม่นยำประมาณ 97%

References

กรมส่งเสริมและพัฒนาคุณภาพชีวิตคนพิการ. (2565). รายงานข้อมูลสถานการณ์ด้านคนพิการในประเทศไทย. ค้นเมื่อ 16 กันยายน 2566. https://dep.go.th/images/uploads/files/Data_situa-mar66.xlsx.

ภัทรณัฎฐ์ ศรีบุญเรือง, พันธกรณ์ ทะนันชัย, คเชนทร์เทพ แขกระโทก, วุฒิชัย วิจิตรกุลสวัสดิ์ และปราโมทย์ อนันต์วราพงษ์.(2565). โปรแกรมแปลภาษามือเป็นข้อความและเสียงพูดโดยการใช้วิธีการระบุพิกัดตำแหน่งด้วย MediaPipe. วารสารวิชาการเทคโนโลยีอุตสาหกรรม มหาวิทยาลัยราชภัฏสวนสุนันทา. 10(2): 66-76.

ณัฏยา เปลี่ยนวงษ์ และธนภัทร ฆังคะจิตร. (2565). ระบบแปลคำศัพท์ภาษามือไทยโดยการเรียนรู้เชิงลึกบนข้อมูลบางส่วน. วารสารบัณฑิตวิทยาลัย. 2: 119-132.

พิศณุ คูมีชัย. (2564). ระบบรู้จำท่าทางมือทางทหารด้วยการประมวลผลภาพดิจิทัล. วารสารวิทยาศาสตร์ เทคโนโลยี และนวัตกรรม. 2(5): 28-36.

ราษฎร์ บุญญา. (2551). ภาษามือ: ภาษาของคนหูหนวก. วารสารวิทยาลัยราชสุดาเพื่อการวิจัยและพัฒนาคนพิการ. 1: 77-94.

Google Inc. (2023a). MediaPipe Framework. Accessed 12 Aug. 2023. https://developers.google.com/mediapipe/framework.

Google Inc. (2023b). Hand landmarks detection guide. Accessed 10 Sep. 2023. https://developers.google.com/mediapipe/solutions/vision/hand_landmarker.

Indriani M.H. and Ali S.A. (2021). Applying hand gesture recognition for user guide application using MediaPipe. Proceedings of the 2nd International Seminar of Science and Applied Technology (ISSAT 2021). 207: 101–108.

OpenCV. (2023). About OpenCV. Accessed 12 Aug. 2023. https://opencv.org.

ScienceDirect. (2019). Confusion matrix. Accessed 16 Sep. 2023.

https://www.sciencedirect.com/topics/engineering/confusion-matrix

Sundar B. and Bagyammal T. (2022). American sign language recognition for alphabets using MediaPipe

and LSTM. 4th International Conference on Innovative Data Communication Technology and Application, Procedia Computer Science. 215: 642–651.

The Canadian Women’s Foundation. (2020). Signal for help responder. Accessed 16 Sep. 2023. https://canadianwomen.org/signal-for-help.

Valentin B. and Fan Z. (2019). On-device, Real-time hand tracking with MediaPipe. Accessed 16 Sep. 2023. https://ai.googleblog.com/2019/08/on-device-realtime-hand-tracking-with.html.

เผยแพร่แล้ว

26-04-2024