机器学习监督学习入门：线性回归与决策树实战指南

# 1. 导入库与数据
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_score

# 加载数据（包含8个特征：收入、房屋年龄、房间数等）
data = fetch_california_housing()
X = data.data  # 特征矩阵
y = data.target  # 目标变量（房价，单位：万美元）

# 2. 拆分训练集与测试集（8:2）
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42  # random_state固定拆分结果
)

# 3. 训练模型
model = LinearRegression()
model.fit(X_train, y_train)  # 用训练数据拟合模型

# 4. 预测与评估
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)  # 均方误差（越小越好）
r2 = r2_score(y_test, y_pred)  # 决定系数（越接近1越好）

print(f"测试集MSE：{mse:.2f}")  # 输出示例：0.55
print(f"测试集R²：{r2:.2f}")    # 输出示例：0.59

from sklearn.linear_model import RidgeCV  # 带交叉验证的Ridge

# 自动选择最优正则化参数alpha
ridge_model = RidgeCV(alphas=[0.1, 1, 10])
ridge_model.fit(X_train, y_train)

print(f"最优alpha：{ridge_model.alpha_}")
print(f"R²得分：{ridge_model.score(X_test, y_test):.2f}")

# 1. 导入库与数据
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree
from sklearn.metrics import accuracy_score
import matplotlib.pyplot as plt

# 加载数据（特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度；类别：0=山鸢尾，1=变色鸢尾，2=维吉尼亚鸢尾）
iris = load_iris()
X = iris.data
y = iris.target

# 2. 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 3. 训练模型（限制树深度避免过拟合）
dt_model = DecisionTreeClassifier(
    max_depth=3,  # 树的最大深度（建议3-5，防止过拟合）
    random_state=42
)
dt_model.fit(X_train, y_train)

# 4. 预测与评估
y_pred = dt_model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"决策树准确率：{accuracy:.2f}")  # 输出示例：0.97（几乎完美分类）

# 5. 可视化决策树（直观看分裂逻辑）
plt.figure(figsize=(12, 8))
plot_tree(
    dt_model,
    feature_names=iris.feature_names,  # 特征名称
    class_names=iris.target_names,    # 类别名称
    filled=True,                      # 用颜色填充节点（越亮代表纯度越高）
    rounded=True                      # 圆角矩形
)
plt.show()