使用Python实现线性回归

实验目的
使用Python实现线性回归
实验原理
使用最小二乘法进行线性回归，采用均方误差来表示误差，使用梯度下降法进行最小化误差。
实验内容（表格区域可拉长）
（1）已知样本输入和标签如x.txt和y.txt所示，试使用Python求出i.) y=2x+2；ii.) y=x+3；iii.)y = 3x-1这三条直线哪个更加接近于样本给出的值。
（2）对于上述数据，采用线性回归拟合出该线性方程。
（要求：采用直接读取文件的方式，不要复制粘贴。）

import numpy as np
import matplotlib.pyplot as plt

x = list()
y = list()
with open("x.txt", "r") as f:
    for line in f.readlines():
        line = float(line.strip())
        x.append(line)
# print(x)
with open("y.txt", "r") as f:
    for line in f.readlines():
        line = float(line.strip())
        y.append(line)

loss_sum1 = 0
for i in range(0, 10):
    a = (2 * x[i] + 2 - y[i]) ** 2
    loss_sum1 += a
average1 = loss_sum1 / len(x)
print("损失值为：%.15f"%average1)

loss_sum2 = 0
for i in range(0, 10):
    b = (x[i] + 3 - y[i]) ** 2
    loss_sum2 += b
average2 = loss_sum2 / len(x)
print("损失值为：%.15f"%average2)

loss_sum3 = 0
for i in range(0, 10):
    b = (3 * x[i] - 1 - y[i]) ** 2
    loss_sum3 += b
average3 = loss_sum3 / len(x)
print("损失值为：%.15f"%average3)

if (loss_sum1 < loss_sum2) and (loss_sum1 < loss_sum3):
    print("y=2x+2更加接近样本给出的值")
if (loss_sum2 < loss_sum1) and (loss_sum2 < loss_sum3):
    print("y=x+1更加接近样本给出的值")
else:
    print("y=3x-1更加接近样本给出的值")

# def updatekb(data, k, b, learning_rate):
#     x=data[0]
#     y=data[1]
#     n = len(x)
#     dk, db = 0, 0
#     for i in range(n):
#         dk += 2 / 10 * (k*x[i] + b - y[i]) * x[i]
#         db += 2 / 10 * (k * x[i] + b - y[i])
#     new_k = k - learning_rate * dk
#     new_b = b - learning_rate * db
#     return new_k, new_b
#
#
# def learningcregression(data, k, b, r, h):
#     dk, db = k, b
#     n = len(x)
#     for i in range(n):
#         dk, db = updatekb(data, dk, db, r)
#     return dk, db
#
#
# #入口函数
# def getdata():
#     x, y = getdata()
#     return x, y
#
#
# if __name__ == "__main__":
#     k, b = learningcregression(getdata, 2, 1, 0.001, 10000)

# 取步长为0.001
k = [3, 0]
b = [-1, 0]
ones = 0

while True:
    dk, db = 0, 0
    for i in range(0, 10):
        dk += 2 / 10 * (k[0] * x[i] + b[0] - y[i]) * x[i]
        db += 2 / 10 * (k[0] * x[i] + b[0] - y[i])
    k[1] = k[0] - 0.001 * dk
    b[1] = b[0] - 0.001 * db
    if ones == 100000:
        break
    else:
        k[0] = k[1]
        b[0] = b[1]
        ones += 1
print("拟合回归方程的斜率k为：%.7f"%k[1])
print("拟合回归方程的斜率k为：%.7f"%b[1])
print(ones)
print("拟合回归方程为：%.7f * x + %.7f" % (k[1], b[1]))

x = np.array(x)
y = np.array(y)
Y = k[1] * x + b[1]
plt.scatter(x, y)
plt.plot(x, Y, '*-g')
plt.show()

思考题（表格区域可拉长）
（1）试引入sklearn包，直接计算该线性方程。（注：选做）
（2）试将上述坐标点和线性方程的图像使用Python画入平面直角坐标系中。

（3）试思考当有2个及以上特征时，如何使用线性回归方法来实现拟合。（注：文字描述即可）

3）当特征值为两个的时候，则是一个二维平面（横纵坐标分别表示一个特征值）。当出现两个以上的特征值时，特征值越多，坐标的维数越多，那么模型建立起来就比较繁琐，而且多特征有时还会存在多重共线性问题，即相互之间具有关联关系，导致解空间不稳定，模型泛化能力弱，过多特征也会妨碍模型学习规律。因此，当特征值比较多时我们通常可以采用降维的方式减少维数，使模型简单准确，简单来说就是指可以用更少维度的特征替代更高维度的特征，同时保留有用的信息，把高维空间上的多个特征组合成少数几个无关的主成分，同时包含原数据中大部分的变异信息，简单的来说就是在二维坐标(x,y)内均匀分布在一条回归线上下，在三维坐标内(x,y,z)还是按照近似二维平面分布，第三个维度(z)对回归拟合的影响非常小，故可以删除这个特征向量(z),用二维(x,y)来反映原始数据，除此之外还有其他的方法进行降维，例如缺失值比率 、低方差滤波 、高相关滤波 、随机森林/组合树等
注：变异信息就用方差来衡量，第一主成分是高维空间上的一个向量，所有的点沿着这条线波动最大，或者说所有的点到直线的距离的平方和最小。如下图所示，所有的点沿着绿色直线的波动最大，它就代表着第一主成分向量。