การหาผลเฉลยของปัญหาเส้นทางที่สั้นที่สุดในโครงข่ายสื่อสารด้วยวิธี Q-learning
Article Sidebar
Main Article Content
บทคัดย่อ
บทความนี้นำเสนอการประยุกต์ใช้วิธี Q-learning เพื่อแก้ปัญหาเส้นทางที่สั้นที่สุดในโครงข่ายสื่อสาร ซึ่งมีการใช้งานทั้งในการสื่อสารแบบมีสายและการสื่อสารแบบไร้สาย เพื่อลดต้นทุนในการสื่อสาร เช่น กำลังส่งหรือการหน่วงเวลา บทความนี้ได้เปรียบเทียบวิธี Q-learning กับวิธีแก้ปัญหาระยะทางที่สั้นที่สุดที่มีอยู่แล้ว ได้แก่ วิธีของไดก์สตรา วิธีของเบลล์แมน-ฟอร์ด และวิธีของฟลอยด์-วอร์แชล การดำเนินการเริ่มจากการศึกษาวิธีการแก้ปัญหาเส้นทางที่สั้นที่สุดทั้งสามวิธีข้างต้นเพื่อทราบถึงข้อดีและข้อเสียของแต่ละวิธี ในการนำเสนอการประยุกต์ใช้วิธี Q-learning นั้น มีการแปลงปัญหาระยะทางที่สั้นที่สุดให้เป็นองค์ประกอบของวิธี Q-learning ได้แก่ เอเจนท์ แอคชัน สเตจ สิ่งแวดล้อม และรางวัล ผลการจำลองการแก้ปัญหาด้วยวิธีทั้งสี่แสดงให้เห็นว่าทุกวิธีให้ผลเฉลยการแก้ปัญหาที่เท่ากัน ในส่วนของวิธี Q-learning นั้นพบว่า วิธีดังกล่าวใช้จำนวนครั้งของการเรียนรู้ไม่มาก ซึ่งในตัวอย่างที่สนใจนั้นใช้การเรียนรู้ จำนวน 35 ครั้ง นอกจากนั้นยังพบด้วยว่า วิธีดังกล่าวให้ผลเฉลยสำหรับทุกโหนดปลายทางใด ๆ ไปยังโหนดต้นทางซึ่งเทียบเท่ากับวิธีของฟลอยด์-วอร์แชล อย่างไรก็ตามที่วิธี Q-learning นั้น มีความซับซ้อนในการคำนวณน้อยกว่า เมื่อพิจารณาจากผลการศึกษาพบว่า วิธี Q-learning สามารถนำไปประยุกต์ใช้ในกรณีที่มีคู่โหนดต้นทาง-โหนดปลายทางต้องการส่งข้อมูลพร้อมกันมากกว่าหนึ่งคู่โหนด
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
ต้นฉบับที่ได้รับการตีพิมพ์ถือเป็นสิทธิของเจ้าของต้นฉบับและของวารสารวิชาการ มทร.สุวรรณภูมิ เนื้อหาบทความในวารสารเป็นแนวคิดของผู้แต่ง มิใช่เป็นความคิดเห็นของคณะกรรมการการจัดทำวารสาร และมิใช่ความรับผิดชอบของมหาวิทยาลัยเทคโนโลยีราชมงคลสุวรรณภูมิ
เอกสารอ้างอิง
Abdoos, M., Mozayani, N., & Bazzan, A. L. C. (2011). Traffic light control in non-stationary environments based on multi agent Q-learning. 14th International IEEE Conference on Intelligent Transportation Systems (ITSC) (pp. 1580-1585). Washington, D.C.: IEEE.
Aermsa-Ard, P., Wangsamad, C., & Mamat, K. (2023). On applying Q-learning to optimize power allocation in 2-user NOMA system. The journal of Industrial Technology, 19(1), 104-116.
Al-Tam, F., Correia, N., & Rodruguez., J. (2020). Learn to schedule (LEACH): A deep reinforcement learning approach for radio resource scheduling in the 5G MAC layer. IEEE Access, 8, 108088-108101.
Aneja, Y. P. (2001). Routing in wavelength routed optical networks. IEEE Workshop on High Performance Switching and Routing (pp. 155-158). Dallas, TX: IEEE.
Buysse, M. H., Mets, K., & Latre, S. (2022). Hierarchical reinforcement learning: A survey and open research challenges. Machine Learning and Knowledge extraction, 4(1), 172-221.
Chanda, A., Rout, R. R., & Lingam, G. (2018). An Improvement Friendship-based Routing Algorithm in Mobile Social Networks. 13th International Conference on Industrial and Information System (ICIIS) (pp. 286-291). Rupnagar, India: IEEE.
Chen, W., He, R., Wang, G., Zhang, J., Wang, F., Xiong, K., Ai, B., & Zhong, Z. (2021). AI assisted PHY in future wireless systems: Recent developments and challenges. China Communications, 18(5), 285-297.
Danuphon1999. (2023). Dijksta-Bellman-floyd-warshall-Q-learning. Retrieved 16 October 2023, from https://github.com/Danuphon1999/Dijksta-Bellman-floyd-warshall-Q-learning?search=1
Forouzan, B. A. (2007). Data communications and networking (4th ed.). Boston Burr Ridge: McGraw-Hill.
Javaid, A. (2013). Understanding Dijkstra algorithm. Electronic Journal, 1, 1-27.
Li, R., Zheng, C., & Zhang, Y. (2011). Study of power-aware routing protocol in wireless sensor networks. International Conference on Electrical and Control Engineering (pp. 3173-3176). Yichang: IEEE.
Mete, E., & Girici, T. (2020). Q-learning based scheduling with successive interference cancellation. IEEE Access, 8, 172034-172042.
Mukhlif, F., & Safi, A. (2020). Comparative study on Bellman-Ford and Dijkstra algorithms. International Conference on Communication, Electrical and Computer Networks (ICCECN 2020) (pp.1-5). Kuala Lumpur: University of Malaya.
Nguyen, D. C., Peng, C., Ming, D., Lopez-Perez, D. Pathirana, P. N., Li, J., Aruna, S., Younghui, L., & Poor, H. V. (2021). Enabling AI in Future Wireless Networks : A Data Life Cycle Perspective. IEEE Communication Surveys & Tutorial, 23(1), 553-595.
Pryshchenko, O., Dumin, O., Plakhtii, V., Shyrokorad, D., & Pochanin, G. (2021). Collective artificial intelligence approach for the problem of object classification with UWB GPR. IEEE 26th International Seminar/Workshop on Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED) (pp. 185-190). Tbilisi: IEEE.
Raza, A. D., & Muhammad, S. S. (2015). Achievable capacity region of a Gaussian optical wireless relay channel. Journal of Optical Communications and Networking, 7(12), 83-95.
Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). Cambridge, MA: MIT Press.
Wilson, R. J. (1996). Introduction to graph theory (4th ed.). Harlow: Addison Wesley Longman.
Wuttisittikulkij, L. (2016). Principle of Telecommunication Engineering (2nd ed.). Bangkok: Chulalongkorn University Press.
