Hồi quy đa biến là gì năm 2024

  • 1. ĐA BIẾN ThS Nguyễn Thị Kim Dung
  • 2. ảnh hưởng đến chi tiêu. (+) Địa điểm sinh sống ảnh hưởng đến chi tiêu. Số thành viên gia đình ảnh hưởng đến chi tiêu. (+) … Vậy: Chi tiêu Thu nhập, Địa điểm, Số thành viên Chi tiêu = f (Thu nhập, Địa điểm, Số thành viên)
  • 3. HỒI QUY 1.1 MÔ HÌNH HỒI QUY TỔNG THỂ ... (1.1) 1 2 2 3 3         Y X X X ui ii i k ki : heä soá töï do1 Vôùi: , ,..., : caùc heä soá hoài quy rieâng2 3 ( 2,..., ):sai soá ngaãu nhieân k u i ki            1 2 3 'Ñaët: 1, , ,..., ; ...i i ki k iX X X X               '  iY X ui i
  • 4. HỒI QUY 1.1 MÔ HÌNH HỒI QUY TỔNG THỂ 2 3 Neáu ta coù n quan saùt, moãi quan saùt goàm k giaù trò ( , , ,..., ), ( 1,... ) , thì ta coù heä n phöông trình: i i i kiY X X X i n 1 1 2 21 3 31 1 1 2 1 2 22 3 32 2 2 1 2 2 3 3 ... ... (1.2) ... ...                                   k k k k n n n k kn n Y X X X u Y X X X u Y X X X u
  • 5. HỒI QUY 1.1 MÔ HÌNH HỒI QUY TỔNG THỂ 1 1 2 2 21 31 1 1 22 32 2 2 2 3 Ñaët , , ... ... 1 ... 1 ... , ... ... ... ... ... ... 1 ... n k k k nn n kn Y Y Y Y X X X u X X X u X u X X X u                                                        Daïng ma traän cuûa phöông trình (1.2): Y X u   
  • 6. HỒI QUY 1.2 MÔ HÌNH HỒI QUY MẪU 1 2 2 3 3 1 2 2 3 3 ˆ ˆ ˆ ˆˆ ... ˆ ˆ ˆ ˆ...                    i i i k ki i i i k ki i Y X X X Y X X X e ˆ goïi laø phaàn dö i i ie Y Y
  • 7. HỒI QUY 1.2 MÔ HÌNH HỒI QUY MẪU Dạng ma trận của phương trình: ˆ Y X e 2 3 Neáu ta coù n quan saùt, moãi quan saùt goàm k giaù trò ( , , ,..., ),( 1,... ). Ta ñaët:i i i kiY X X X i n 11 21 31 1 1 22 32 2 22 2 2 3 ˆˆ 1 ... ˆˆ 1 ...ˆˆ , , , ... ... ... ... ... ...... ... 1 ...ˆ ˆ                                                     k k n n kn n n k Y X X X e X X X eY Y X e X X X eY Dạng ma trận của mô hình: ˆˆ Y X
  • 8. BÌNH PHƯƠNG NHỎ NHẤT ( OLS ) • Ta có mô hình hồi quy mẫu là • Ta cần tìm sao cho nó gần với giá trị thực Yi nhất, tức là phần dư càng nhỏ càng tốt 2.1. Nội dung phương pháp bình phương nhỏ nhất ˆ iY  i i ie Y Y ˆ Y X e
  • 9. 2 1 min   n i i e         22 1 2 2 1 1 ˆ ˆ ˆˆ ... min ˆ min 1,...,                     n n i i i i k ki i i j Y Y Y X X j k min 1 2 ˆ ˆ ˆ, ,...,  k 1 2 ˆ ˆ ˆ, ,...,  k ' ˆ 0 1,2,...,       j j k là nghiệm của hệ sau: Nghĩa là cần tìm sao cho
  • 10.    1 22 1 2 1 ... . ...                             n i n i n T T e Y Y Y X e e e e e e e e e Y X Y X Theo dạng ma trận, ta có:
  • 11.    T T T T T T A B A B A B B A Nhớ lại tính chất ma trận:                               T TT T T TT T T T Y X Y X Y X Y X Y Y Y X X Y X X
  • 12.             1 n×k n×1 1×k 1 1 1 1 n k 1 k×n                 T T T TT T Y X Y X X Y X Y Mà:    T TT T Y X X Y    TT T Y X X Y 2       T TT T T Y Y X Y X X
  • 13.   ' 1 0 2 2 0                T T T T T T X Y X X X Y X X X X X Y Vì Y=AX  X=A-1 Y
  • 14. lượng của hồi quy đa biến có đầy đủ các tính chất của ước lượng hồi quy đơn biến 2.2. Các tính chất của hàm hồi quy mẫu (SRF) tìm được bằng phương pháp OLS 14
  • 15.  22 2 1 1 1          n n n i i i i i i Y Y Y Y e ˆ ˆ        i i i i i i Y Y e Y Y Y Y e 3. ĐO LƯỜNG MỨC ĐỘ PHÙ HỢP CỦA ƯỚC LƯỢNG THEO OLS Tổng dao động của Y so với giá trị trung bình Dao động được giải thích bởi mô hình Dao động chưa được giải thích bởi mô hình – sai số 3.1. Hệ số xác định
  • 16. RSS TSS= Total sum of square = Residual sum of square  2 1 RSS    n i i e = Explained sum of square 2 1   ESS RSS R TSS TSS Đặt 2 0 1 R      22 2 1 2ESS ...     i i i kiY Y X X X X
  • 17. biến vào mô hình thì k tăng. TSS không phụ thuộc k nên không đổi, ESS phụ thuộc k nên tăng RSS giảm  R2 tăng Vậy cứ thêm biến vào mô hình thì R2 tăng, do đó không thể dùng R2 để xem xét việc có nên đưa thêm biến vào mô hình không. 2 1   ESS RSS R TSS TSS
  • 18. xác định hiệu chỉnh      2 2/ 1 1 1 1 / 1          RSS n k n R R TSS n n k Nhận xét: Khi thêm biến giải thích vào mô hình thì k tăng • TSS và (n – 1) không bị ảnh hưởng bởi k • (n – k) giảm • Khi thêm biến có ý nghĩa vào mô hình thì RSS (sai số) giảm • Khi thêm biến không có ý nghĩa vào mô hình thì RSS (sai số) không giảm hoặc giảm ít
  • 19. 2 , taêng chaäm hôn R R R R • Nếu R2 đủ nhỏ, có thể mang giá trị âm 2 R • Vậy khi thêm biến vào mô hình, nếu biến này có ý nghĩa thì tăng, ngược lại, không tăng. Do đó ta chỉ thêm biến vào mô hình khi nào còn tăng 2 R 2 R 2 R
  • 20. hành của hệ số xác định hiệu chỉnh Khi ta thêm càng nhiều biến vào mô hình thì R2 tăng  ta sẽ đưa quá nhiều biến vào mô hình ( kể cả các biến không cần thiết ). Để tránh hiện tượng này, ta dùng hệ số xác định hiệu chỉnh, vì khi thêm biến vào mô hình, có thể tăng hoặc không tăng. Vậy được dùng để xác định xem có nên thêm 1 biến mới vào mô hình hay không. ( Với cùng 1 bộ số liệu, khi thêm 1 biến mới vào mô hình thì mô hình nào có hệ số lớn hơn được xem là tốt hơn ) 2 R 2 R 2 R
  • 21. THỐNG KÊ CỦA MÔ HÌNH HỒI QUY ĐA BIẾN Tương tự hồi quy đơn biến, ta có: 1 ˆ      n ik k ki i C U phụ thuộc vào yếu tố ngẫu nhiên Ui , nên cũng là 1 yếu tố ngẫu nhiên ˆk ˆk
  • 22. CỦA CÁC YẾU TỐ NGẪU NHIÊN • Với các giả thiết sau đây thì các ước lượng tìm được bằng PP OLS sẽ là các ước lượng tuyến tính, không chệch, có phương sai nhỏ nhất. Định lý Gauss-Markov
  • 23.   0 iE U i Giả thiết A2:   2 Var  iU i Giả thiết A3:  2 N 0, iU i iid Giả thiết A4: E( Yi/ X’i )= X’i i Giả thiết A5: độc lập tuyến tính 2 3( , ,..., )kX X X
  • 24. THỐNG KÊ CỦA ƯỚC LƯỢNG OLS  ˆ k kE 1 ˆTa có:       n ik k ki i C U       1 1 1 ˆ 0(A1)                               k k k ki i k n n i ik ki ki i i n i E E C U E E C U C E U
  • 25.           2 3 2 2 2 1 1 2 1 ˆ ˆ ˆ ˆVar Var Var Va A Var Ar                           k k k k k ki i i kk n n ki i i n ki i E C U C U C S
  • 26.        k k kk N S
  • 27. VÀ KIỂM ĐỊNH GIẢ THIẾT CÁC HỆ SỐ HỒI QUY 5.1. KHOẢNG TIN CẬY   ˆ ˆTa có: ,Var 1,...,    i i iN i k     ˆ ˆ     i i i T n k Se - t(n-k)  /2 0 t(n-k) /2 /2/2 1 -
  • 28. 0 t(n-k) /2 /2/2 1 -   ( ) ( ) /2 /2 ˆ 1 ˆ                    i i i n k n k P t t Se     ( ) ( ) /2 /2 ˆ ˆ ˆ ˆ 1                    i i i i i n k n k P t Se t Se
  • 29. 0 t(n-k) /2 /2/2 1 -   ( ) /2 ˆ ˆ 1 vaäy : vôùi do tin caäy             i i i n k t Se
  • 30. GIẢ THUYẾT   *ˆ ˆ       i i n k i t t se ( ) ( ) /2 /2 1              n k n k P t t t  : mức ý nghĩa - t(n-k)  /2 0 t(n-k) /2 /2/2 1 -
  • 31. định bên trái Kiểm định bên phải - t/2 (n-k) t/2 (n-k) /2 1 - /2 t(n-k)  1 - - t(n-k)  1 - * 0 * 1 : :         i i i i H H * 0 * 1 : :         i i i i H H * 0 * 1 : :         i i i i H H   *ˆ ˆ      i i i t se
  • 32. định bên trái Kiểm định bên phải Bác bỏ Ho khi: |t0|>t/2 (n-k) Bác bỏ Ho khi: t0 < -t (n-k) Bác bỏ Ho khi: t0 > t (n-k) * 0 * 1 : :         i i i i H H * 0 * 1 : :         i i i i H H * 0 * 1 : :         i i i i H H   *ˆ ˆ      i i i t se
  • 33. t(n-k) |  |t|)
  • 34. t P-value/2P-value/2 P-value = P(| t(n-k) |  |t|)
  • 35. P-value: P-value <   Bác bỏ Ho P-value    Chấp nhận Ho
  • 36. SỰ PHÙ HỢP CỦA HÀM HỒI QUY Kiểm định giả thiết 2 0 2 1 H : 0 H : 0 R R         ESS/ 1 ( 1, ) / k F F k n k RSS n k      B1: Tính        2 2 1 1 Tra baûng tìm 1, (phuï luïc 4) R n k F R k F k n k       B2: Kết luận: Bác bỏ H0 nếu  1,F F k n k  
  • 37. HỒI QUY CÓ ĐIỀU KIỆN ( KIỂM ĐỊNH GIẢ THIẾT ĐỒNG THỜI) ... 1 2 2 3 3 ( )        Y X X X ui ii i ki U k Nếu bỏ đi m biến thì mô hình (U) trở thành: ... ( 1 2 2 3 ) 3 ( )            Y X X X ui ii i k m k m R i Vậy mô hình (R) chính là mô hình (U) với điều kiện Việc lựa chọn mô hình nào, (U) hay (R), chính là thực hiện kiểm định ... 0 1 1         k k k m 0 1 : ... 0 1 1 : 0               i k H k k m H
  • 38. nghĩa là m biến giải thích này thật sự có ảnh hưởng đến Y thì RSSU < RSSR Vậy nếu ( RSSR – RSSU ) lớn thì ta sẽ bác bỏ Ho Phương pháp kiểm định:     / ( , ) / R U U RSS RSS m F F m n k RSS n k             2 2 2 / ( , ) 1 / U R U R R m F F m n k R n k         Nếu F > F(m,n-k) thì bác bỏ Ho