你有没有遇到过这样的情况：问AI一个问题，它确实回答了，但总感觉少了点什么——逻辑是通的，道理是对的，但就是不够“懂你”。

这是因为，传统微调只教会了AI“说什么”，却没有教会它“怎么说才让人舒服”。今天，我们将通过一次完整的实战，展示如何在LLaMA Factory Online平台 上，用PPO-RW（近端策略优化+奖励模型）方法，给Qwen3-1.7B模型装上“审美神经”，让它从“答对”进阶为“答好”。

为什么需要PPO-RW？

想象一下，你要教一个人写文章：

● 传统微调：给他看100篇范文，让他模仿——这叫“监督学习”。他学会了，但不知道为什么好，也不知道如何调整。

● PPO-RW：先找一位“评委”告诉他哪些文章好、哪些不好，然后让他反复尝试、修改，每次改进一点，直到写出好文章。

这就是PPO-RW的核心思想：先用奖励模型（Reward Model）学会“审美”，再用近端策略优化（PPO）让模型在真实生成中不断试错、改进。

相比纯监督学习，PPO-RW有几个独特优势：

● 可度量的偏好对齐：把人类喜好转化为可量化的奖励分数，让优化有明确方向

● 稳定的训练过程：通过裁剪目标和KL散度惩罚，防止模型“跑偏”或“原地爆炸”

● 更强的自我纠偏：模型在真实生成中不断被反馈、改进，最终学会“讨人喜欢”的表达方式

核心配置：两阶段训练

在LlamaFactory Online平台，PPO-RW微调分为两个阶段：

第一阶段：训练奖励模型

使用已注册的LlamaFactory Online账号登录平台，选择[微调/模型微调]菜单项，进入模型微调配置页面，基模型选择Qwen3-1.7B、数据集选择dpo_zh_demo，训练方式选择Reward Modeling，其余参数配置如下图所示。

平台内置的dpo_zh_demo数据集涵盖了金融、AI、食品等多个领域，每条数据都包含“优选回答”和“劣选回答”。模型通过学习两者的差异，逐渐建立起“什么是好回答”的判断标准。

训练完成后，你会得到一个奖励模型——一个擅长“打分”的AI裁判。

第二阶段：PPO优化

接下来，进入真正的PPO微调：

切换至[微调/模型微调]页签，进入模型微调配置页面，基模型仍然是Qwen3-1.7B、数据集选择identity（用于保持模型的基础能力），训练方式选择PPO，将第一阶段训练好的奖励模型路径填入“奖励模型路径”，其余参数配置如下图所示，参数配置完成后，单击下图“开始训练”按钮。

模型会在奖励模型的指导下，不断生成回答、获得反馈、调整策略，最终学会“让人舒服”的表达方式。

效果实测：从“答对”到“答好”

为分析模型微调前后的性能差异，我们设计了以下提问进行对话对比：“我有一组不同时间的鼠标坐标/移动数组。我想知道用户悬停在屏幕上的有趣部分；即聚类。我该如何计算这些聚类？”。

微调后的 Qwen3-1.7B 模型呈现出一种结构严谨、任务导向明确的专业技术讲解风格。模型在PPO-RW强化学习对齐后，结构化知识输出显著增强，呈现出完整的技术教程框架，能直接给出明确技术选择，聚焦可立即执行的实操步骤，模型回答风格更专业、自信。代码生成质量进一步提升，覆盖从读数据到可视化的完整链路，技术解释更深入，能围绕用户意图给出拓展建议。

以下是微调后模型给出的完整回答框架：

对话详情

为了从不同时间的鼠标坐标数组中识别用户悬停的有趣区域，可以采用以下步骤结合空间聚类和时间分析：

1. 数据预处理

将时间序列转换为二维坐标点，每个点包含 (x, y, time)，以便后续分析。

import numpy as np
 
data = [(x, y, t) for x, y, t in mouse_data]  # 假设mouse_data是原始坐标数组
X = np.array([x for x, y, t in data])
Y = np.array([y for x, y, t in data])
T = np.array([t for x, y, t in data])

2. 空间聚类

使用 KMeans 或 DBSCAN 对坐标点进行空间聚类，识别潜在的区域。

KMeans

from sklearn.cluster import KMeans
 
kmeans = KMeans(n_clusters=k).fit(np.column_stack((X, Y)))
labels = kmeans.labels_

DBSCAN

from sklearn.cluster import DBSCAN
 
dbscan = DBSCAN(eps=0.5, min_samples=2).fit(np.column_stack((X, Y)))
labels = dbscan.labels_

3. 时间分析

对每个簇进行时间序列分析，判断是否为用户停留的区域。

检查时间连续性

def is_staying(cluster_points, time_threshold=2):
    points = sorted(cluster_points, key=lambda p: p[2])
    for i in range(1, len(points)):
        if points[i][2] - points[i-1][2] > time_threshold:
            return False
    return True

应用到每个簇

for cluster in range(kmeans.n_clusters):
    cluster_points = [data[i] for i in range(len(data)) if labels[i] == cluster]
    if is_staying(cluster_points):
        print(f"Cluster {cluster} is likely a staying area.")
    else:
        print(f"Cluster {cluster} is not a staying area.")

4. 综合判断

结合空间和时间因素，筛选出用户可能停留的区域。

优化聚类参数

● 调整K值：根据数据分布选择合适的聚类数。

● 调整时间阈值：根据用户停留时间动态调整时间间隔阈值。

可视化结果

import matplotlib.pyplot as plt
 
# 绘制聚类结果
plt.scatter(X, Y, c=labels, cmap='viridis')
plt.colorbar(label='Cluster')
plt.title('Clustered Mouse Movement')
plt.show()

5. 进一步优化

● 滑动窗口合并连续点：将连续的鼠标移动点合并为一个点，减少噪声。

● 时空聚类算法：使用时空聚类库（如 spatio-temporal）直接处理时间序列。

● 动态阈值：根据用户停留时间动态调整时间阈值。

示例输出

Cluster 0 is likely a staying area.
Cluster 1 is not a staying area.
Cluster 2 is likely a staying area.

注意事项

● 噪声处理：去除异常点（如突然的移动）。

● 时间窗口：滑动窗口可减少噪声，提高聚类准确性。

● 参数调优：通过交叉验证调整聚类参数（如K值、时间阈值）。

总结

通过空间聚类（如KMeans或DBSCAN）和时间分析，可以识别用户在屏幕上的兴趣区域。结合时间连续性判断，可有效筛选出用户停留的区域。最终结果需结合可视化和实际数据验证。

让AI从“会说”到“会聊”

通过本次实践可以发现，轻量化模型如Qwen3-1.7B经过合理的PPO-RW微调后，在特定专业领域（如工程实现、算法推导）完全具备了媲美大尺寸模型的逻辑深度。LlamaFactory Online平台提供的全流程工具，极大降低了这一技术的门槛。这不仅是技术的进步，更是人机交互体验的质变——AI不仅要聪明，还要懂得如何让用户舒服。

当模型学会的不只是“答对”，而是“答好”时，它才能真正成为我们愿意信赖的智能伙伴。