Robust Multiple Linear Regression for Outliers in Dependent Variables
Article Sidebar
Main Article Content
Abstract
The purpose of this study was to compare the methods of regression coefficient estimation when data contain outliers in dependent variable in the multiple linear regression models for 3 methods, ordinary least squares method (OLS), M method using Andrews weight function (M - Andrews) and GM method using Huber weight function (GM – Huber). Simulated data by Monte Carlo technique, repeated 1,000 times for each situation with R programming version 3.6.1. For simulated data, 3independent variables with when
and
The percentage of outliers was 0, 10, 20 and 30, and sample size was 20, 30, 50 and 100 total 120 situations. The criterion of comparison was mean square error (MSE). The results showed that in case of no outliers on the data, OLS and M – Andrews was mostly the lowest of MSE. When data contain outliers in dependent variable the GM – Huber provided generally the lowest of MSE in all situations except the sample size is 20 and 30 when percentage of outlier equal 30, the M – Andrews and OLS was the lowest of MSE.
Article Details
References
วิชิต หล่อจิระชุณห์กุล และจิราวัลย์ จิตรเวช. 2548. เทคนิคการพยากรณ์. พิมพ์ครั้งที่ 3, กรุงเทพฯ : โครงการส่งเสริมและพัฒนาเอกสารวิชาการสถาบันพัฒนาบริหารศาสตร์. [ViChit Lorchirachoonkul and Jirawan Jitthavech. 2005. 3rd ed, Forecasting Techniques, Bangkok: Project for promotion and development of academic documents National Institute of Development Administration. (in Thai)]
Huber, P.J. 1964. Robust Estimation of a Location Parameter. Annals of Mathematical Statistics, 35(1), 73-101.
Holland, P.W. and Welsch, R.E. 1977. Robust Regression Using Iteratively Reweight Least – Squares. Communication in Statistics – Theory and Methods, 6(9), 813-827.
Simpsona, J.R. and Montgomery, D.C. 1996. A Biased-Robust Regression Technique for the Combined Outlier-Multicolinearity Problem. Journal of Statistics Computation and Simulation, 56(1), 1-22.
อรพรรณ ตันตระกูล, ประสิทธิ์ พยัคฆพงษ์ และบุญอ้อม โฉมที. 2555. การเปรียบเทียบวิธีการถดถอยที่มีความแกร่งสำหรับตัวแบบการถดถอยเชิงเส้นแบบพหุ. การประชุมวิชาการเสนอผลงานวิจัยระดับบัณฑิตศึกษา, ครั้งที่ 13, มหาวิทยาลัยขอนแก่น, ขอนแก่น, 291-300. [Orapan Tantrakul, Prasit Payakkapong and Boonorm Chomtee. 2012. Comparison of Robust Regression Methods in Multiple Linear Regression Model. The National Graduate Research Conference, 13th, Khon Kaen University, Khon Kaen, 291-300. (in Thai)]
Montgomery D.C., Peck, E.A. and Vining, G.G. 2012. Introduction to Linear Regression Analysis, 5th Edition. New York: John Wiley and Sons.
กฤตพร ธิตะจาร, จุฑาภรณ์ สินสมบูรณ์ทอง และธิดาพร ศุภภากร. 2561. การเปรียบเทียบประสิทธิภาพวิธีการประมาณค่าสัมประสิทธิ์การถดถอยสำหรับตัวแบบการถดถอยเชิงเส้นพหุคูณเมื่อข้อมูลมีค่านอกเกณฑ์ในตัวแปรตาม. วารสารวิทยาศาสตร์บูรพา, 23(2), 820-838. [Kritaporn Thitacharee, Juthaphorn Sinsomboonthong and Thidaporn Supapakorn. 2018. Efficiency Comparison of Regression Coefficient Estimation Methods for Multiple Linear Regression Model when Data Contain Outliers in Dependent Variable. Burapha Science Journal, 23(2) 820-838. (in Thai)]