عمل خط الانحدار

افترض ان لديك عدد n من النقاط (Xi,Yi),i 1,2,.....n فان الدالة التي تصف Y و X هي
yi خ± + خ² xi + خµi والهدف هو ايجاد معادلة الخط المستقيم y خ± + خ² x التي تعطي أفضل تمثيل للنقاط.
هنا الأفضل يعرف بأنه طريقة المربعات الصغيرة الخط الذي يقلل مجموع مربعات المتبقيات لنموذج الانحدار الخطي . و بعبارة أخري، خ± (نقطة التقاطع مع محور y) و خ² (الميل) يشاركوا في حل مشكلة التقليل التالية


ext Find min_ alpha,,eta Q(alpha,eta), qquad ext for Q(alpha,eta) sum_ i 1 ^nvarepsilon_i^ ,2 sum_ i 1 ^n (y_i - alpha - eta x_i)^2

باستخدام الحساب هندسة المساحات الداخلية للشكل أو التوسع البسيط للحصول علي معادلة من الدرجة الثانية في خ± و خ² ، فإنه من الممكن ايجاد قيم خ± و خ² التي تقلل الدالة كالتالي


egin
hateta & frac sum_ i 1 ^ n (x_ i -ar x )(y_ i -ar y ) sum_ i 1 ^ n (x_ i -ar x )^2 \[6pt]


& frac sum_ i 1 ^ n x_ i y_ i - frac1n sum_ i 1 ^ n x_ i sum_ j 1 ^ n y_ j sum_ i 1 ^ n x_ i ^2 - frac1n (sum_ i 1 ^ n x_ i )^2 \[6pt]


& frac overline xy - ar x ar y overline x^2 - ar x ^2 \


& frac operatorname Cov [x,y] operatorname Var [x] \


& r_ xy frac s_y s_x , \[6pt]


hatalpha & ar y - hateta,ar x ,


end
حيث math < >rxy هو معامل الارتباط بين x و y





math < >sx هو الانحراف المعياري ل x





math < >sy هو الانحراف المعياري ل y




الخط الأفقي علي فوق الكمية يعبر عن المتوسط . فعلي سبيل المثال overline xy frac 1 n sum_ i 1 ^n x_iy_i.

بالتعويض بالمعادلة السابقة في f hatalpha + hateta x, يؤدي ذلك الي
frac f-ar y s_y r_ xy frac x-ar x s_x

و هذا يدل علي الدور الذي يقوم به math < >rxy في خط الانحدار لنقط البيانات . و في بعض الأحيان يكون من المفيد حساب math < >rxy من البيانات بشكل مستقل باستخدام المعادلة التالية





r_ xy frac overline xy - ar x ar y sqrt (overline x^2 - ar x ^2) (overline y^2 - ar y ^2 )

معامل التحديد (R تربيع) يساوي r_ xy ^2 عندما يكون النموذج خطي و به متغير مستقل واحد. انظر نموذج معامل الارتباط لتفاصيل أكثر

انحدار خطي بدون جزء التقاطع

في بعض الأحيان، يعتبر الناس نموذج الانحدار الخطي البسيط دون جزء التقاطع math < >y < >خ²x في مثل هذه الحالة، تقدير OLS لايجاد خ² يبسط ل hateta frac sum_ i 1 ^ n x_ i y_ i sum_ i 1 ^ n x_ i ^2 frac overline x y overline x^2





ويصبح معامل ارتباط العينة r_ xy frac overline xy sqrt (overline x^2 ) (overline y^2 )

خصائص عددية

1. الخط يمر عبر نقطة مركز الكتلة math ( overline < >x , overline < >y )


2. مجموع المتبقيات يساوي صفر اذا وجد ثابت في النموذج ext sum_ i 1 ^nhatvarepsilon_i 0.


3. التركيبة الخطية للمتبقيات ،في حالة المعاملات هي قيم x، تساوي صفر ext sum_ i 1 ^nx_ihatvarepsilon_i 0.

خصائص ايجاد نموذج

وصف الخصائص الإحصائية للمقدرات من الانحدار الخطي البسيط يتطلب استخدام نموذج احصائي. التالي يعتمد علي افتراض صحة النموذج في حالة أن التقديرات مثالية. و من الممكن أيضا لحساب الخصائص تحت قيود افتراضات أخري، مثل عدم التجانس ، و لكن يتم مناقشة ذلك في أماكن أخري.

عدم التحيز

حساب hatalpha و hateta هي منحازة و هذا يتطلب أن نفسر المقدرات كمتغيرات عشوائية و علينا أن نفترض أن لكل قيمة ل x القيمة المقابلة لها في y تنتج كنتيجة متوسطة math < >خ± + < >خ²x بالإضافة الي قيمة متغير عشوائي اضافي خµ يسمي الخطأ. هذا الخطأ يجب أن يساوي صفر عند حساب المتوسط لكل قيمة ل x و تحت هذا التفسير ، تقدير المربعات الصغيرة hatalpha و hateta سوف يكونوا متغيرات عشوائية و سوف تحسب القيم الحقيقية ل خ± و خ² بدون تحيز.

فترات التأكيد

المعادلات المعطاة في الجزء السابق تمكننا من حساب تقديرات النقط ل خ± و خ² و هم معاملات خط الانحدار لمجموعة معينة من البيانات. و مع ذلك، هذه المعادلات لا تخبرنا مدي الدقة في التقديرات أي كم المقدرات hatalpha و hateta تختلف من نموذج لاخر لحجم العينة المحدد. لذا وضع ما يسمي فترات التأكيد لتعطي مجموعة معقولة من القيم التي يمكن تقديرها اذا كررت التجربة عدد هائل من المرات.
الطريقة التقليدية لحساب فترات التأكيد لمعاملات الانحدار الخطي تعتمد علي فرض الثبات الذي له ما يبرره اذا ما

1. الخطأ في الانحدار كان متوزع طبيعي (ما يسمي افتراض الانحدار الكلاسيكي)


2. عدد الملاحظات n كان كبير بشكل كافي في حالة المقدرات كانت موزعة تقريبا بشكل طبيعي

هذا ما يبرر الحالة الأخيرة من نظرية حدود المركز

افتراض الوضع الطبيعي

في ظل الافتراض الأول أعلاه، الذي من طبيعته وجود خطأ، تقدير معامل الميل سوف يوزع بشكل طبيعي بمتوسط خ² و تباين sigma^2/sum(x_i-ar x )^2, حيث math < >دƒ2 هو الفرق في الخطأ (انظر البراهين التي تنطوي علي المربعات الصغري). في نفس الوقت، مجموع مربع المتبقيات Q يوزع بالتناسب مع math < >د‡2 بعدد درجات حرية n-2 و بشكل مستقل عن hateta. و هذا يسمح لنا بعمل احصائية t.




t frac hateta - eta s_ hateta sim t_ n-2 ,

حيث



s_hat eta sqrt frac frac 1 n-2 sum_ i 1 ^n hat varepsilon _i^ ,2 sum_ i 1 ^n (x_i -ar x )^2

هو الخطأ المعياري للمقدر


احصائية t لديها توزيع t للطلاب بعدد n-2 درجة حرية و باستخدامها نستطيع تكوين فترة تأكيد ل خ²



eta in [hateta - s_ hateta t^*_ n-2 , hateta + s_ hateta t^*_ n-2
ight],

في مستوي التأكيد math (1−< >خ³) حيث t^*_ n-2 هي math (1− sfrac < >خ³ 2 ) -th من توزيع math < >t< >n−2 علي سبيل المثال، اذا math < >خ³ 0.05 ثم مستوي التأكيد 95 و بالمثل، فترة التأكيد لمعامل الاعتراض mvar خ± يعطي ب





alpha in [ hatalpha - s_ hatalpha t^*_ n-2 , hatalpha + s_ hatalpha t^*_ n-2
ight],

في مستوي التأكيد math (1−< >خ³) حيث





s_ hatalpha s_ hateta sqrt frac 1 n ext sum_ i 1 ^n x_i^2 sqrt frac 1 n(n-2) ( ext sum_ j 1 ^n hat varepsilon _j^ ,2
ight) frac sum_ i 1 ^n x_i^2 sum_ i 1 ^n (x_i -ar x )^2

Okuns law with confidence bands.svg انحدار بفترة تأكيد 95 .


فترة التأكيد ل mvar خ± و mvar خ² تعطينا الفكرة الرئيسية حيث معاملات الانحدار من الأرجح أن تكون. علي سبيل المثال، في قانون Okun الانحدار ظاهر في بداية المقال النقط المقدرة هي hatalpha 0.859, qquad hateta -1.817.

و فترة التأكيد لهذه المقدرات 95


alphain [0.76, 0.96
ight], qquad etain [-2.06, -1.58
ight ].

من أجل تمثيل هذه المعلومات بيانيا في شكل فترات تأكيد ول خط الانحدار فعلي الشخص أن يمضي بحذر و حساب التوزيع المشترك للمقدرات. و يمكن أن تظهر أنه في فترة التأكيد (1−< >خ³) رابطة التأكيد تأخذ شكل قطع زائد يعطي بالمعادلة





hat y _ x xi in [ hatalpha + hateta xi pm t^*_ n-2 sqrt (frac 1 n-2 sumhat varepsilon _i^ ,2
ight ) cdot (frac 1 n + frac (xi-ar x )^2 sum(x_i-ar x )^2
ight)
ight].

الافتراضات التقريبية

الافتراض الثاني البديل ينص علي أنه عندما يكون عد النقاط كبير بشكل كاف ، و قانون الأعداد الكبيرة و نظرية حدود المركز قابلين للتطبيق، و من ثم توزيع المقدرات أمر طبيعي تقريبا. تحت هذا الافتراض جميع الصيغ المشتقة في القسم السابق لا تزال سارية المفعول ، مع استثناء وحيد و هو أن < >t*< >n−2 لتوزيع t من الطلاب يتم استبداله ب < >q* من التوزيع الطبيعي القياسي . أحيانا الكسر math sfrac 1 < >n−2 يتم استبداله ب math sfrac 1 < >n في حالة n تكون كبيرة و مثل هذا التغير لا يغير النتائج بشكل ملحوظ.

مثال عددي

هذا المثال يتعلق بمجموعة بيانات من المربعات الصغري العادية . هذه المجموعة تعطي متوسط كتل السيدات كدالة في طولهم في عينة من النساء الأمريكان في عمر 39-30 . و علي الرغم أن OLS تقول أنه من الأكثر ملائمة عمل انحدار من الدرجة الثانية لهذه البيانات لكن الانحدار الخطي البسيط يمكن تطبيقه هنا بدلا من ذلك .






- text- right


! < >xi




1.47 1.50 1.52 1.55 1.57 1.60 1.63 1.65 1.68 1.70 1.73 1.75 1.78 1.80 1.83


! text-   Height (m)


- text- right


! < >yi




52.21 53.12 54.48 55.84 57.20 58.57 59.93 61.29 63.11 64.47 66.28 68.10 69.92 72.19 74.46


! text-   Mass (kg)






يوجد عدد النقاط (n 15) في هذه البيانات و يتم بدأ الحسابات باليد بحساب المجاميع الخمسة التالية



egin
& S_x sum x_i 24.76, quad S_y sum y_i 931.17 \


& S_ xx sum x_i^2 41.0532, quad S_ xy sum x_iy_i 1548.2453, quad S_ yy sum y_i^2 58498.5439


end

هذه الكميات تستخدم لحساب معاملات الانحدار و أخطائهم القياسية



egin
hateta & frac nS_ xy -S_xS_y nS_ xx -S_x^2 61.272 \


hatalpha & frac 1 n S_y - hateta frac 1 n S_x -39.062 \


s_varepsilon^2 & frac 1 n(n-2) ( nS_ yy -S_y^2 - hateta^2(nS_ xx -S_x^2)
ight) 0.5762 \


s_eta^2 & frac n s_varepsilon^2 nS_ xx - S_x^2 3.1539 \


s_alpha^2 & s_eta^2 frac 1 n S_ xx 8.63185


end

0.975 من توزيع t للطلاب ب 13 درجة حرية يكون t*13    2.1604 و بالتالي 95 فترة تأكيد ل mvar خ± and mvar خ² تكون





egin
& alpha in [,hatalpha mp t^*_ 13 s_alpha ,] [, -45.4 , -32.7 ,] \


& eta in [,hateta mp t^*_ 13 s_eta ,] [, 57.4, 65.1 ,]


end

و يمكن أيضا حساب ناتج معامل تصحيح الارتباط كالتالي



hat r frac nS_ xy - S_xS_y sqrt (nS_ xx -S_x^2)(nS_ yy -S_y^2) 0.9945

هذا المثال يوضح أن الحسابات المعقدة لن تتغلب علي استخدام البيانات المعدة بشكل سيئ. الأطوال أعطت بالبوصة و قد تم تحويلها لأقرب سنتيمتر. و لأن معامل التحويل هو 2.54 فهذا تحويل غير صحيح لأن البوصة الأصلية يمكن استردادها بحوالي (x/0.0254) و من ثم اعادة تحويلها لمتر. اذا فعلت ذلك تصبح النتئج



hateta 61.6746, qquad hatalpha -39.7468.

و بالتالي اختلاف صغير في البيانات لديه تأثير حقيقي

الاشتقاق من متغيرات الانحدار الخطي

نحن نبحث عن hat alpha ,hat eta التي تقلل مجموع مربع الخطأ ، underset hat alpha ,hat eta mathrm min ,mathrm SSE (hat alpha ,hat eta
ight) التي تعرف كالتالي mathrm SSE (hat alpha ,hat eta
ight) sum_ i 1 ^ n (y_ i -hat alpha -hat eta x_ i
ight)^ 2

لايجاد الأقل نقوم بالاشتقاق الجزئي بالنسبة ل hat alpha و hat eta

egin
frac partial , mathrm SSE (hat alpha ,hat eta
ight) partialhat alpha -2sum_ i 1 ^ n (y_ i -hat alpha -hat eta x_ i
ight) 0


end

egin

sum_ i 1 ^ n (y_ i -hat alpha -hat eta x_ i
ight) 0


end

egin

sum_ i 1 ^ n y_ i sum_ i 1 ^ n hat alpha +hat eta sum_ i 1 ^ n x_ i


end

بضرب الطرفين في frac 1 n

egin
frac 1 n sum_ i 1 ^ n y_ i hat alpha frac 1 n sum_ i 1 ^ n 1+hat eta frac 1 n sum_ i 1 ^ n x_ i .


end

نحصل علي



egin
ar y hat alpha +hat eta ar x


end

قب الاشتقاق الجزئي بالنسبة ل hat eta عوض بالنتيجة السابقة ل hat alpha

egin
underset hat alpha ,hat eta mathrm min sum_ i 1 ^ n (y_ i - (ar y -hat eta ar x
ight)-hat eta x_ i
ight)^ 2


end

egin

underset hat alpha ,hat eta mathrm min sum_ i 1 ^ n [ (y_ i -ar y
ight)-hat eta (x_ i -ar x
ight)
ight]^ 2


end

الان، اشتق جزئيا بالنسبة ل hat eta

egin
frac partial , mathrm SSE (hat alpha ,hat eta
ight) partialhat eta -2sum_ i 1 ^ n [ (y_ i -ar y
ight)-hat eta (x_ i -ar x
ight)
ight] (x_ i -ar x
ight) 0


end

egin

sum_ i 1 ^ n (y_ i -ar y
ight) (x_ i -ar x
ight)-hat eta sum_ i 1 ^ n (x_ i -ar x
ight)^ 2 0


end

egin

hat eta frac frac sum_ i 1 ^ n (y_ i -ar y
ight) (x_ i -ar x
ight) sum_ i 1 ^ n (x_ i -ar x
ight)^ 2 frac Cov (x,y
ight) Var (x
ight)


end

و في النهاية عوض ب hat eta لتحديد hat alpha

egin
hat alpha ar y -hat eta ar x


end

روابط خارجية

• Wolfram MathWorld's explanation of Least Squares Fitting, and how to calculate it


• Math atics of simple regression (Robert Nau, Duke University)

شريط بوابات رياضيات إحصاء



تصنيف إحصاء معلمي


تصنيف تحليل الانحدار


تصنيف نظرية التقدير








[//en.wikipedia.org/wiki/Statistics في الإحصاء] ،


الانحدار الخطي البسيط هو حساب المربعات الصغري من نموذج الانحدار الخطي مع متغير تفسيري واحد .




وبعبارة أخرى، الانحدار الخطي البسيط هو خط مستقيم يمر بمجموعة من النقاط بطريقة تجعل مجموع مربع النقط المتبقية من النموذج (أي، المسافات الرأسية بين النقطة المتبقية و الخط ) أقل ما يمكن.


هذا يشير الي حقيقة أن الانحدار هو واحد من أبسط الأساليب المستخدمة في مجال الإحصاء حيث أن ميل الخط يساوي العلاقة بين y و x مصححة بنسبة الانحرافات المعيارية لهذه المتغيرات. نقطة تقاطع الخط مع محور الصادات هي مركز كتلة نقاط البيانات ( overline < >x , overline < >y ).




توجد طرق انحدار أخري بجانب المربعات الصغري البسيطة (انظر الانحدار الخطي). علي وجه الخصوص ، عندما يريد شخص أن يقوم بفعل الانحدار عن طريق العين فانه يميل عادة الي رسم خط حاد قليلا و يكون قريبا من ذلك الذي ينتج من طريقة أقل مربعات كليه.


يحدث هذا لأنه طبيعي أكثر لعقل الانسان ملاحظة المسافات المتعامدة علي خط الانحدار بدلا من تلك الراسية كما يحدث في طريقة المربعات الصغري .