การเปรียบเทียบประสิทธิภาพของตัวแบบสำหรับการวิเคราะห์ความคิดเห็นจากบทวิจารณ์เกม

บทคัดย่อ

การศึกษาวิจัยนี้มีวัตถุประสงค์เพื่อเข้าใจความคิดเห็นของผู้เล่นที่มีต่อเกมและต้องการเปรียบเทียบให้เห็นลักษณะของตัวแบบที่ใช้ในการจำแนกประเภทโดยเป็นข้อมูลภาษาไทยในกรณีถ้ามีทรัพยากรที่จำกัด จากการประเมินประสิทธิภาพของตัวแบบ Machine learning ได้แก่ วิธีการ Naïve bayes และ Support vector machine ในส่วนของตัวแบบ Convolutional neural network model ได้แก่ 1D-CNN ซึ่งนำมาเปรียบเทียบกับตัวแบบ Transformer ได้แก่ เทคนิค BERT Multilingual และ WangchanBERTa ในการวิเคราะห์ความคิดเห็นเกี่ยวกับเกมซึ่งใช้ชุดข้อมูลที่เป็นการแสดงความคิดเห็นที่ใช้ภาษาไทยเป็นหลัก ในงานวิจัยได้ใช้เทคนิค Bag of words, TF-IDF และ Word2Vec ในการสกัดคุณลักษณะพิเศษจากข้อความสำหรับตัวแบบ Machine learning ในขณะที่ตัวแบบ Transformer ใช้การ Embedding ที่ผ่านการ pre-trained มาก่อน จากผลการทดลองแสดงให้เห็นว่า WangchanBERTa เป็นตัวแบบที่มีประสิทธิภาพดีที่สุด โดยมีค่าความถูกต้องสูงถึง 82.16% ค่า Precision ที่ 87.06% ค่า Recall ที่ 86.18% และ ค่า F1-score ที่ 86.62% ในขณะที่วิธีการ Support vector machine ที่ใช้ เทคนิค BoW เป็นตัวแบบที่แสดงผลลัพธ์ที่ดีที่สุดในกลุ่มของตัวแบบ Machine learning ด้วยค่าความถูกต้องที่ 81.26% ส่วนผลการทดลองในกลุ่มของเทคนิคการแปลงข้อความแสดงให้เห็นว่าการสกัดคุณลักษณะพิเศษจากข้อความมีความสำคัญต่อตัวแบบ Machine learning โดยจากการศึกษาพบว่าการสกัดคุณลักษณะพิเศษจากข้อความที่สนใจเฉพาะคำ เช่นเทคนิค BoW และ TF-IDF สามารถสกัดคุณลักษณะพิเศษจากข้อความได้ดีกว่าการสนใจบริบทของคำ เช่นเทคนิค Word2Vec เมื่อวิเคราะห์ถึงผลการทดลองจะเห็นว่าค่าความถูกต้องของวิธีการที่ดีที่สุดของทั้ง 2 ประเภทตัวแบบห่างกันเพียงประมาณ 1% โดยตัวแบบ Machine learning ได้ค่าความถูกต้องที่ใกล้เคียงกันกับตัวแบบ Transformer แต่ใช้ทรัพยากรน้อยกว่าจึงเหมาะสำหรับสถานการณ์ที่มีข้อจำกัดด้านทรัพยากร