Robust Multiple Linear Regression for Outliers in Dependent Variables

Main Article Content

Kanlaya Boonlha
Maytinee Chompoosawang

Abstract

The purpose of this study was to compare the methods of regression coefficient estimation when data contain outliers in dependent variable in the multiple linear regression models for 3 methods, ordinary least squares method (OLS), M method using Andrews weight function (M - Andrews) and GM method using Huber weight function (GM – Huber). Simulated data by Monte Carlo technique, repeated 1,000 times for each situation with R programming version 3.6.1. For simulated data, 3independent variables with gif.latex?\beta_{0}=0,1,-1  when gif.latex?\beta_{1}=&space;\beta_{2}&space;=&space;\beta_{3}=1 and gif.latex?\beta_{1}=&space;\beta_{2}&space;=&space;\beta_{3}=-1 The percentage of outliers was 0, 10, 20 and 30, and sample size was 20, 30, 50 and 100 total 120 situations. The criterion of comparison was mean square error (MSE). The results showed that in case of no outliers on the data, OLS and M – Andrews was mostly the lowest of MSE. When data contain outliers in dependent variable the GM – Huber provided generally the lowest of MSE in all situations except the sample size is 20 and 30 when percentage of outlier equal 30, the M – Andrews and OLS was the lowest of MSE.

Downloads

Download data is not yet available.

Article Details

How to Cite
Boonlha, K., & Chompoosawang , M. (2021). Robust Multiple Linear Regression for Outliers in Dependent Variables. Journal of Science Ladkrabang, 30(1), 81-92. Retrieved from https://li01.tci-thaijo.org/index.php/science_kmitl/article/view/247763
Section
Research article

References

[1] วิชิต หล่อจิระชุณห์กุล และจิราวัลย์ จิตรเวช. 2548. เทคนิคการพยากรณ์. พิมพ์ครั้งที่ 3, กรุงเทพฯ : โครงการส่งเสริมและพัฒนาเอกสารวิชาการสถาบันพัฒนาบริหารศาสตร์. [ViChit Lorchirachoonkul and Jirawan Jitthavech. 2005. 3rd ed, Forecasting Techniques, Bangkok: Project for promotion and development of academic documents National Institute of Development Administration. (in Thai)]

[2] Huber, P.J. 1964. Robust Estimation of a Location Parameter. Annals of Mathematical Statistics, 35(1), 73-101.

[3] Holland, P.W. and Welsch, R.E. 1977. Robust Regression Using Iteratively Reweight Least – Squares. Communication in Statistics – Theory and Methods, 6(9), 813-827.

[4] Simpsona, J.R. and Montgomery, D.C. 1996. A Biased-Robust Regression Technique for the Combined Outlier-Multicolinearity Problem. Journal of Statistics Computation and Simulation, 56(1), 1-22.

[5] อรพรรณ ตันตระกูล, ประสิทธิ์ พยัคฆพงษ์ และบุญอ้อม โฉมที. 2555. การเปรียบเทียบวิธีการถดถอยที่มีความแกร่งสำหรับตัวแบบการถดถอยเชิงเส้นแบบพหุ. การประชุมวิชาการเสนอผลงานวิจัยระดับบัณฑิตศึกษา, ครั้งที่ 13, มหาวิทยาลัยขอนแก่น, ขอนแก่น, 291-300. [Orapan Tantrakul, Prasit Payakkapong and Boonorm Chomtee. 2012. Comparison of Robust Regression Methods in Multiple Linear Regression Model. The National Graduate Research Conference, 13th, Khon Kaen University, Khon Kaen, 291-300. (in Thai)]

[6] Montgomery D.C., Peck, E.A. and Vining, G.G. 2012. Introduction to Linear Regression Analysis, 5th Edition. New York: John Wiley and Sons.

[7] กฤตพร ธิตะจาร, จุฑาภรณ์ สินสมบูรณ์ทอง และธิดาพร ศุภภากร. 2561. การเปรียบเทียบประสิทธิภาพวิธีการประมาณค่าสัมประสิทธิ์การถดถอยสำหรับตัวแบบการถดถอยเชิงเส้นพหุคูณเมื่อข้อมูลมีค่านอกเกณฑ์ในตัวแปรตาม. วารสารวิทยาศาสตร์บูรพา, 23(2), 820-838. [Kritaporn Thitacharee, Juthaphorn Sinsomboonthong and Thidaporn Supapakorn. 2018. Efficiency Comparison of Regression Coefficient Estimation Methods for Multiple Linear Regression Model when Data Contain Outliers in Dependent Variable. Burapha Science Journal, 23(2) 820-838. (in Thai)]