Machine Learning Thuật toán Multiple Regression

Multiple Regression là gì?

Multiple Regression là một thuật toán hồi quy tuyến tính đa biến trong Machine Learning , nó giống như Thuật toán Linear Regression.

Thuật toán Machine Learning Multiple Regression dùng để dự đoán một giá trị của biến phụ thuộc y dựa vào 2 hoặc nhiều biến độc lập x₁, x₂, x₃…x_n.

Thuật toán Multiple Regression trong toán học.

Dạng tổng quát của thuật toán Multiple Regression có phương trình như sau:

y_i = w₀ + w₁x_i1 + w₁x_i2 + w₁x_i3 + …. + w₁x_{ip =} w^Tx_i

Trong đó:

y_i: là biến phụ thuộc.

x_i1, x_i2, x_i3…x_ip: là các biến độc lập.

w₀: là hằng số.

w_1, w_2, w₃,w_n: là các hệ số quan hệ._,

Gọi x_i là một véc tơ đại diện cho quan sát thứ i, các giá trị cụ thể tương ứng là (x_i1, x_i2, x_i3…x_ip).Ma trận X có kích thước n x p có mỗi hàng là một quan sát và mỗi cột là một biến. Giá trị x_ip là quan sát thứ i của biến thứ p.

Gọi ma trận mở rộng của ma trận X là ma trận có thêm véc tơ cột 1 được thêm vào ở cột đầu tiên.Khi đó các tập dữ liệu được biểu diễn như sau:

Bằng cách triển khai đại số tuyến tính ta tính được đạo hàm của hàm mất mát như sau:

Nghiệm của phương trình hồi quy là:

Trên đây là cách giải bài toán hồi quy tuyến tính đa thức trong toán học, vậy để áp dụng thuật toán này vào trong lập trình machine learning cho các bài toán trong thực tiễn như thế nào? Bài toán dưới đây chúng tôi sẽ giúp bạn hiểu được ứng dụng của nó.

Thuật toán Multiple Regression trong Machine Learning sử dụng thư viện sklearn.

Lập trình machine learning sử dụng thuật toán Multiple Regression.Bạn có thể sử dụng hàm LinearRegression() trong thư viện sklearn của Python để dự đoán cho bài toán hồi quy đa thức,nhiều biến.

Ví dụ: Bài toán về dự đoán lượng khí thải CO2 của ô tô theo trọng lượng (Weight) và kích thước dung tích năng lượng (Volume).

Giả sử chúng ta có danh sách dữ liệu của các ô tô trong file csv: cars.csv như sau:

Yêu cầu của bài toán là dự đoán khí thải CO2 dựa vào trọng lượng (Weight) và kích thước dung tích năng lượng (Volume) của xe ô tô. Hãy dự đoán khí thải CO2 của ô tô có trọng lượng là 2300 kg và kích thước dung tích là 1300 cm³?

Như chúng ta nhận thấy đây là bài toán dự báo, dự đoán hồi quy đa thức, đa biến với biến các biến độc lập X là Weight , Volume và biến phụ thuộc  y là CO2.

Chúng ta sẽ sử dụng hàm LinearRegression() trong thư viện sklearn để giải bài toán này.

Bước 1: Thu thập dữ liệu

Sử dụng thư viện pandas để thu tập dữ liệu từ file csv : cars.csv

import pandas as pd
df = pd.read_csv("cars.csv")

Bước 2: Phân tích dữ liệu

Lượng khí CO2 của ô tô thải ra phụ thuộc vào 2 yếu tố là trọng lượng (Weight) và kích thước (Volume).

Tập giá trị các biến độc lập X là trọng lượng (Weight) và kích thước dung tích (Volume).

X = df[['Weight','Volume']]

Giá trị biến phụ thuộc y chính là lượng khí CO2.

y = df['CO2']

Bước 3: Dự đoán

Sử dụng thuật toán Multiple Regression với hàm LinearRegression() trong thư viện sklearn để đào tạo và dự đoán lượng CO2.

from sklearn import linear_model

regr_model = linear_model.LinearRegression()
regr_model = regr_model.fit(X,y)
predictedCO2 = regr_model.predict([[2300, 1300]])
print(regr_model.intercept_)

Sau đây là toàn bộ Code Python:  Thuật toán machine learning multiple regression sử dụng thư viện sklearn trong Python.

Như vậy chúng tôi đã dự đoán rằng một chiếc ô tô với trọng lượng 2300 kg và động cơ kích thước dung tích 1300 cm³ (1,3 lít), sẽ thải ra khoảng 107 gram CO2 cho mỗi km.

Ứng dụng của thuật toán Multiple Regression.

Thuật toán Multiple Regression được ứng dụng cho các bài toán dự đoán dựa vào nhiều tiêu chí.Ví dụ các bài toán dự báo giá nhà, dự báo lương, dự báo tài chính, dự báo phí taxi...