Чому звичайний метод найменших квадратів використовується в лінійній регресії?

Чому звичайний метод найменших квадратів використовується в лінійній регресії?
Anonim

Відповідь:

Якщо припущення Гаусса-Маркофа дотримуються, то OLS забезпечує найнижчу стандартну помилку будь-якого лінійного оцінювача, так що найкращий лінійний неупереджений оцінювач

Пояснення:

З урахуванням цих припущень

  1. Коефіцієнти параметрів є лінійними, це просто означає # beta_0 та beta_1 # лінійні, але # x # змінна не повинна бути лінійною # x ^ 2 #

  2. Дані були взяті з випадкової вибірки

  3. Немає ідеальної мультиколінеарності, тому дві змінні не корельовані.

  4. #Європа#/#x_j) = 0 # середнє умовне припущення дорівнює нулю, тобто означає # x_j # змінні не дають інформації про середнє значення неспостережуваних змінних.

  5. Відхилення рівні для будь-якого даного рівня # x # тобто #var (u) = sigma ^ 2 #

Тоді OLS є кращим лінійним оцінювачем в популяції лінійних оцінок або (Best Linear Unbiased Estimator) BLUE.

Якщо у вас є це додаткове припущення:

  1. Відхилення нормально розподілені

Тоді оцінювач OLS стає кращою оцінкою незалежно від того, чи є вона лінійною або нелінійною оцінкою.

Що це, по суті, означає, що якщо припущення 1-5 утримуються, то OLS забезпечує найнижчу стандартну помилку будь-якого лінійного оцінювача, а якщо 1-6 утримується, то вона забезпечує найнижчу стандартну помилку будь-якої оцінки.