การสร้างลาเบลสังเคราะห์สำหรับการจำแนกภาพถ่ายดาวเทียมผ่านการเรียนรู้แบบมีผู้สอนด้วยการแทนค่าด้วยตัวเอง
Article Sidebar
Main Article Content
บทคัดย่อ
ในการวิเคราะห์ภาพถ่ายดาวเทียมมักนิยมใช้เทคนิคการเรียนรู้เชิงลึกแบบมีผู้สอน แต่เทคนิคนี้ต้องใช้ชุดข้อมูลที่มีลาเบล (Label) จำนวนมาก และการเก็บข้อมูลลาเบลมีค่าใช้จ่ายสูงทั้งในด้านแรงงานคนและทรัพยากรอื่น ๆ ในขณะที่ปัจจุบันมีฐานข้อมูลภาพถ่ายดาวเทียมที่ไม่มีข้อมูลลาเบลเป็นจำนวนมาก ที่สามารถใช้ได้ทั้งในเชิงพาณิชย์และทางวิชาการ เพื่อแก้ไขปัญหาการขาดแคลนข้อมูลลาเบลอย่างในโจทย์การจำแนกภาพถ่ายดาวเทียม งานวิจัยนี้จึงนำเสนอกระบวนเพื่อใช้ประโยชน์จากข้อมูลที่ไม่มีลาเบลเหล่านี้ โดยอาศัยเทคนิคการเรียนรู้แทนภาพด้วยตนเอง (Self-Supervised Representation Learning) เพื่อสร้างข้อมูลลาเบลเทียมที่ทำหน้าที่เป็นชุดข้อมูลสอนสำหรับเทรนโมเดลการเรียนรู้แบบมีผู้สอนอีกที ผลการทดลองแสดงให้เห็นว่าโมเดลที่เทรนด้วยข้อมูลลาเบลเทียมมีประสิทธิภาพที่ใกล้เคียงกับโมเดลที่เทรนด้วยข้อมูลลาเบลจริง แต่ใช้ข้อมูลลาเบลน้อยกว่าถึง 9 เท่า โดยมีความแม่นยำ 75% บนชุดข้อมูลไร่ปาล์มน้ำมัน และ 86% บนชุดข้อมูลป่าแอมะซอน นอกจากนี้กระบวนการสร้างข้อมูลลาเบลเทียมยังให้เวกเตอร์คุณลักษณะ (Feature Vector) ที่มีความยืดหยุ่นและสามารถถ่ายทอดความรู้ไปใช้ในการแก้ปัญหาอื่นที่คล้ายกันได้อีกด้วย
Article Details
References
Benjamin Goldenberg, Burak Uzkent, Christian Clough, Dennis Funke, Deven Desai, grischa, Jesus MartinezManso, Kat Scott, Meg Risdal, Mike Ryan, Pete, Rachel Holm, Ramesh Nair, Sean Herron, Tony Stafford, Wendy Kan. (2017). Planet: Understanding the Amazon from Space. Kaggle. https://kaggle.com/competitions/planet-understandingthe-amazon-from-space
Chapelle, O., Schoellkopf, B., & Zien, A. (2006). Semi-supervised learning (adaptive computation and machine learning). The MIT Press.
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. arXiv preprint arXiv:2002.05709.
Chen, T., Kornblith, S., Swersky, K., Norouzi, M., & Hinton, G. (2020). Big self-supervised models are strong semi-supervised learners. arXiv preprint arXiv:2006.10029.
Cortes, C., & Vapnik, V. (1995). Support-vector networks. Mach. Learn., 20(3), 273-297. doi: 10.1007/BF00994018
Demir, I., Koperski, K., Lindenbaum, D., Pang, G., Huang, J., Basu, S., ... Raska, R. (2018). Deepglobe 2018: A challenge to parse the earth through satellite images. In 2018 ieee/cvf conference on computer vision and pattern recognition workshops (cvprw) (pp. 172-17209). doi: 10.1109/CVPRW.2018.00031
D.R., S., Shenoy, P. D., & R., V. K. (2017, Mar). Remote sensing satellite image processing techniques for image classification: A comprehensive survey. IJCA, 161(11), 24-37. doi: 10.5120/ijca2017913306
Emily Liu, Judy Logan, kitushan, Meredith Lee, phoebeliuF8, QMirsharif, Sam Roy, Sherrie Wang, Valerie, Vani M, Varsha Venkatesh, WiDS Datathon. (2019). WiDS Datathon 2019. Kaggle. https://kaggle.com/competitions/widsdatathon2019
Giorgiani do Nascimento, R., & Viana, F. (2020). Satellite image classification and segmentation with transfer learning. In Aiaa scitech 2020 forum (p. 1864). doi:10.2514/6.2020-1864
Hadsell, R., Chopra, S., & LeCun, Y. (2006). Dimensionality reduction by learning an invariant mapping. In Cvpr (Vol. 2, pp. 1735-1742). doi: 10.1109/CVPR.2006.100
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the ieee conference on cvpr (pp. 770-778).
Heupel, K., Spengler, D., & Itzerott, S. (2018). A progressive crop-type classification using multitemporal remote sensing data and phenological information. PFG-JPhotogramm Rem, 86(2), 53-69. doi: 10.1007/s41064-018-0050-7
Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531.
Jing, L., & Tian, Y. (2020). Self-supervised visual feature learning with deep neural networks: A survey. IEEETPAMI, 1-1. doi: 10.1109/TPAMI.2020.2992393
Kussul, N., Lavreniuk, M., Skakun, S., & Shelestov, A. (2017). Deep learning classification of land cover and crop types using remote sensing data. IEEEGeosci Remote S, 14(5), 778-782. doi: 10.1109/LGRS.2017.2681128
Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., ... Fei-Fei, L. (2015). Imagenet large scale visual recognition challenge. IJCV, 115(3), 211-252. doi: 10.1007/s11263-015-0816-y
Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
van der Maaten, L., & Hinton, G. (2008). Visualizing data using t-sne. Journal of machine learning research, 9(Nov), 2579-2605.
van Engelen, J., & Hoos, H. (2020, feb). A survey on semi-supervised learning. Mach. Learn., 109(2), 373-440. doi: 10.1007/s10994-019-05855-6
Zhu, X. (2005). Semi-supervised learning literature survey (Tech. Rep.). University of Wisconsin-Madison Department of Computer Sciences.