【书生·浦语】internlm2-chat-1.8b效果对比：SFT版 vs RLHF版指令遵循能力实测

今天我们来聊聊一个很有意思的话题：同一个模型，经过不同方式“调教”后，表现能有多大差别？

如果你用过一些AI模型，可能会发现，有些模型回答得很“官方”，有些则更“贴心”，能更好地理解你的意图。这背后，往往就是不同的训练方法在起作用。

InternLM2-1.8B，这个来自书生·浦语团队的18亿参数模型，就为我们提供了两个非常典型的对比样本：InternLM2-Chat-1.8B-SFT（监督微调版）和InternLM2-Chat-1.8B（经过RLHF强化学习版）。官方说后者在指令遵循、聊天体验上表现更佳，推荐用于实际应用。

但“更佳”到底体现在哪里？是回答更长了，还是逻辑更清晰了？是更听话了，还是更有创造力了？光看参数和介绍，我们很难有直观感受。

所以，我决定用Ollama部署这两个模型，通过一系列精心设计的测试，来一场面对面的“实测”。我们不谈复杂的算法原理，就用最直接的对话，看看SFT版和RLHF版在理解指令、执行任务、聊天互动上，到底有什么不同。希望通过这次对比，能帮你更清楚地了解，面对不同的需求，该选择哪个版本。

1. 测试准备与环境搭建

在开始“拷问”模型之前，我们得先把它们请出来。整个过程非常简单，几分钟就能搞定。

1.1 模型简介与选择

首先，我们得搞清楚今天要对比的两位“选手”是谁：

• InternLM2-Chat-1.8B-SFT：你可以把它理解为“学院派优等生”。它是在基础模型（InternLM2-1.8B）上，通过监督微调训练出来的。简单说，就是给它看了大量“问题-标准答案”的配对数据，让它学会了模仿人类给出的优质回答。它的特点是知识扎实，回答规范。
• InternLM2-Chat-1.8B：这位则是“实战派高手”。它在SFT版的基础上，又经历了一轮基于人类反馈的强化学习。这个过程有点像有个教练在旁边，不断告诉它“这个回答用户更喜欢”、“那个回答逻辑有点问题”，让它不断调整，最终的目标是让它的回答更符合人类的偏好和预期。因此，它在理解复杂指令、进行多轮对话、调用工具等方面理论上会更强。

我们的测试，就是要看看“学院派”和“实战派”在实际对话中，究竟谁更胜一筹。

1.2 使用Ollama快速部署

为了让测试更贴近普通用户的体验，我选择用Ollama来运行这两个模型。Ollama就像一个轻量级的模型管理器和运行器，特别适合在个人电脑上快速体验各种大模型。

部署步骤简单到令人发指：

1. 找到模型入口：在你的Ollama Web界面或命令行工具中，找到模型列表。
2. 拉取模型：分别执行以下两条命令，Ollama就会自动从网上下载对应的模型文件。

   # 拉取SFT版本
   ollama pull internlm2-chat:1.8b-sft
   
   # 拉取RLHF版本（通常就是默认的internlm2-chat:1.8b）
   ollama pull internlm2-chat:1.8b
   

3. 运行与对话：模型拉取完成后，你就可以通过Ollama的Web UI或者命令行直接开始对话了。在Web UI里，通常有一个输入框，你直接输入问题，模型就会给出回答。

环境准备好了，两位“选手”也已就位。接下来，就是我们的正式测试环节。我会从几个常见的对话场景出发，设计一些问题，看看它们的表现如何。

2. 基础指令遵循能力测试

我们先从一些基础但关键的指令开始，看看模型能不能准确理解并执行我们的要求。

2.1 简单任务执行：总结与改写

我让两个模型阅读一小段关于Python列表的说明文字，然后执行两个任务：先用一句话总结，再把它改写成更口语化的表达。

我的指令：

请阅读以下文本：“在Python中，列表是一种可变、有序的元素集合。它可以包含不同类型的元素，并且支持通过索引进行访问和修改。” 然后，请先用一句话总结它的核心内容，再将它改写成更口语化、更容易让编程新手理解的版本。

SFT版本的回答：

核心内容：Python列表是可变、有序的集合，可包含不同类型元素，支持索引访问和修改。 口语化改写：在Python里，列表就像是一个可以随时增减东西的“购物清单”。这个清单里的东西（元素）可以是数字、文字等各种类型，而且它们有固定的顺序（有序）。你可以通过位置编号（索引）快速找到或修改清单上的任何一项。

RLHF版本的回答：

一句话总结：Python列表就像一个灵活的“容器”，能按顺序存放各种类型的东西，并且你可以随时查看或更改里面的内容。 给新手的解释：想象一下你有一个神奇的袋子（列表），你可以往里面放数字、单词、甚至其他袋子（各种类型的元素）。这些放进去的东西会排好队（有序），而且你随时可以伸手进去调整顺序、替换或拿走某个东西（可变、通过索引访问和修改）。这个袋子在Python编程中非常常用，是组织数据的好帮手。

对比分析：

• 任务完成度：两个版本都准确完成了“总结”和“改写”两个动作，没有遗漏。
• 总结能力：SFT版的总结非常精炼、准确，几乎是原文关键词的提取和重组，偏向技术性概括。RLHF版的总结则更形象，使用了“容器”这个比喻，虽然稍微扩展了一点，但更易于建立直观印象。
• 改写能力：这是差距最明显的地方。SFT版的改写虽然用了“购物清单”的比喻，但整体表述仍然比较平铺直叙，像在解释术语。而RLHF版的改写则生动得多，它构建了一个“神奇袋子”的完整场景，用“排好队”、“伸手进去调整”这样极具画面感和动作感的语言，解释“有序”和“可变/访问修改”，显然对新手更友好。
• 指令理解深度：RLHF版似乎更好地理解了“让新手理解”这个深层意图，不仅做了语言转换，还进行了认知层面的适配。

2.2 格式控制与结构化输出

接下来，测试它们是否严格遵守输出格式要求。我让它们列举几个中国城市并按照特定格式输出。

我的指令：

请列举三个中国著名的科技城市，并按照以下格式输出： 城市名称：XXX 主要产业：YYY 代表企业：ZZZ （每个城市之间用空行隔开）

SFT版本的回答：

城市名称：深圳 主要产业：电子信息、互联网、新能源 代表企业：华为、腾讯、比亚迪

城市名称：杭州 主要产业：电子商务、互联网、数字安防 代表企业：阿里巴巴、海康威视、网易

城市名称：北京 主要产业：互联网、软件与信息服务、人工智能 代表企业：百度、字节跳动、京东

RLHF版本的回答：

好的，按照您要求的格式列举如下：

城市名称：深圳 主要产业：电子信息制造、互联网与软件、新能源与生物医药 代表企业：华为技术有限公司、腾讯控股有限公司、比亚迪股份有限公司

城市名称：杭州 主要产业：电子商务、云计算与大数据、数字内容 代表企业：阿里巴巴集团、海康威视数字技术股份有限公司、网易公司

城市名称：上海 主要产业：集成电路、人工智能、金融科技 代表企业：中芯国际、商汤科技、拼多多

希望这个列表对您有帮助！

对比分析：

• 格式遵循：两个版本都完美遵循了指定的格式（城市名称、主要产业、代表企业）和排版要求（空行隔开）。这说明在明确的格式指令下，两个模型的遵从性都很好。
• 额外内容：SFT版严格地只输出要求的内容，显得非常“听话”和简洁。RLHF版则在开头加了一句“好的，按照您要求的格式列举如下：”，在结尾加了一句“希望这个列表对您有帮助！”。这体现了RLHF训练带来的“交互优化”——它更倾向于模拟一次完整的、有头有尾的友好对话。
• 内容选择：SFT版选择了北京，而RLHF版选择了上海。两者都是合理的科技城市，这反映了模型内部知识库的细微差异，无关对错。
• 细致程度：在“代表企业”一项，RLHF版倾向于输出公司的全称（如“华为技术有限公司”），而SFT版多用简称（如“华为”）。RLHF版的回答看起来更正式、更严谨一些。

从基础测试来看，两个模型都能很好地完成指令。SFT版像一位严谨的助理，准确执行，绝不废话。RLHF版则像一位贴心的助手，在准确执行之余，还会让对话体验更自然、更友好。接下来，我们看看在更复杂的场景下，它们的表现如何。

3. 复杂场景与多轮对话测试

基础指令难不倒它们，那我们提高难度，看看在需要理解上下文、处理复杂逻辑的场景下，谁的表现更智能。

3.1 多步骤任务与上下文关联

我设计了一个需要分步骤执行，且后续步骤依赖前面信息的任务。

我的指令（第一轮）：

我想学习Python用于数据分析。请为我推荐三个最应该优先学习的Python库，并简要说明每个库的核心用途。

SFT版本的回答：

1. NumPy：核心用途是提供高效的多维数组对象和数学函数，是几乎所有科学计算和数据分析库的基础。
2. Pandas：核心用途是进行数据清洗、处理和分析，提供了DataFrame和Series这两种强大的数据结构，可以方便地处理表格型和时间序列数据。
3. Matplotlib：核心用途是数据可视化，可以创建各种静态、动态和交互式的图表，帮助直观展示数据分析结果。

RLHF版本的回答：

当然！对于数据分析入门，这三个库构成了最核心的“铁三角”：

1. Pandas：你的“数据管家”。它擅长处理表格数据（比如Excel表格），能轻松完成数据读取、清洗、筛选、分组、聚合等操作，是数据分析的起点。
2. NumPy：Pandas的“发动机”。它提供高效的数组计算，很多Pandas的底层操作都依赖于NumPy。直接进行复杂的数学运算、线性代数处理时，你会用到它。
3. Matplotlib：你的“画笔”。分析完数据后，用它来绘制折线图、柱状图、散点图等，将枯燥的数字转化为直观的图形，便于理解和汇报。 建议的学习路径是：先Pandas处理数据，再用NumPy进行复杂运算（初期可能直接通过Pandas调用），最后用Matplotlib展示成果。

对比分析（第一轮）：

• 基础信息：两者推荐的库完全一致，说明知识库基础相同。
• 组织与解释：SFT版是标准的“列表+说明”格式，准确但平淡。RLHF版则展现了更强的教学意识和结构化思维。它使用了“铁三角”、“数据管家”、“发动机”、“画笔”等一系列比喻，让抽象的概念立刻变得具体。更重要的是，它主动提供了学习路径建议，这超出了单纯“推荐”的指令，体现了对用户深层需求（如何学习）的理解。

我的指令（第二轮，基于上一轮回答）：

好的，我决定先按你说的学习路径开始。那么，关于Pandas，你能给我一个最简单的代码示例吗？比如，如何用Pandas创建一个简单的数据表并查看它？

SFT版本的回答：

可以。以下是一个简单的示例：

import pandas as pd
# 创建一个字典数据
data = {'姓名': ['小明', '小红', '小刚'],
        '年龄': [25, 30, 28],
        '城市': ['北京', '上海', '深圳']}
# 将字典转换为DataFrame
df = pd.DataFrame(data)
# 打印查看这个DataFrame
print(df)

运行后会输出一个表格。

RLHF版本的回答：

很好的开始！这里有一个非常直观的例子，我们一步步来：

# 首先，引入pandas库，并给它起个别名pd，这是约定俗成的写法
import pandas as pd

# 假设我们想记录三个朋友的信息，我们可以用一个Python字典来组织数据
# 字典的键（‘姓名’、‘年龄’、‘城市’）会成为表格的列名
my_friends_data = {
    ‘姓名’: [‘张三’, ‘李四’, ‘王五’],
    ‘年龄’: [28, 35, 22],
    ‘城市’: [‘杭州’, ‘广州’, ‘成都’]
}

# 使用pd.DataFrame()这个“魔法函数”，把字典变成Pandas的表格（DataFrame）
friends_df = pd.DataFrame(my_friends_data)

# 现在，让我们看看这个表格长什么样
print(“我们创建的朋友信息表：”)
print(friends_df)

# 你还可以用 .head() 方法默认查看前5行，对于大表格非常有用
# print(friends_df.head())

运行这段代码，你会看到一个整齐的表格被打印出来。你可以试着修改字典里的数据，比如增加一个‘职业’列，或者添加第四个朋友的信息，感受一下DataFrame是如何工作的。

对比分析（第二轮）：

• 代码质量：两者都提供了正确、可运行的代码。
• 代码注释与讲解：SFT版的注释是功能性的（“创建一个字典数据”、“将字典转换为DataFrame”）。RLHF版的注释则是引导性和解释性的，它解释了“为什么”要起别名pd，用“魔法函数”这样有趣的词形容pd.DataFrame()，并把列名和字典键的关系讲清楚了。
• 扩展与鼓励：SFT版在代码结束后就停止了。RLHF版则额外做了两件事：1) 在打印前加了一句提示语，让输出更清晰；2) 主动建议了下一步操作（“你可以试着修改字典里的数据…”），这极大地鼓励了用户的动手尝试，将一次简单的代码展示变成了一个微型互动教程。
• 上下文理解：RLHF版在开头回应了“按你说的学习路径开始”，并说了“很好的开始！”，保持了对话的连贯性和友好性。

在这一轮，RLHF版本展现出了明显的优势。它不仅能完成当前指令，还能关联上下文，提供教学引导，并激发用户的下一步行动，体验上更像一位有经验的导师。

3.2 假设性与创造性任务

最后，我们测试一下模型的创造性和在约束条件下的推理能力。

我的指令：

假设你是某个手机品牌的AI产品经理，请用一段话向团队介绍一个创新功能：“基于当前天气和用户日程的智能壁纸自动切换”。重点突出它的用户价值和实现思路。

SFT版本的回答：

各位同事，我提议开发一个“智能情景壁纸”功能。该功能能根据手机获取的实时天气数据（如晴、雨、雪）和用户日历中的日程安排（如会议、假期、健身），自动将手机壁纸切换为与之匹配的主题图片。其用户价值在于提升设备的个性化和情感化交互体验，让手机界面不再是静态的，而是能与用户所处环境和生活状态产生共鸣的动态窗口。实现思路上，我们需要接入可靠的天气API，安全读取本机日历权限，并建立一个包含多种天气和日程类型的精美壁纸库，通过一套轻量级的规则引擎进行匹配和切换。

RLHF版本的回答：

大家好，我想分享一个能让我们的手机更懂用户、更有温度的创意——“环境感知智能壁纸”。想象一下：清晨，手机检测到今天是晴天且日历上标记了“公园晨跑”，它自动切换为一张充满活力的日出跑步主题壁纸，帮你唤醒好心情。下午，突然下雨且你有一个线上会议，壁纸随之变成一张宁静的雨天窗景图，助你舒缓压力、集中精神。它的核心价值，是让科技无声地融入生活场景，提供一种积极的情感陪伴和情境提示，而不仅仅是一个工具。实现上，我们可以分三步走：第一，建立“天气-日程-情绪”映射模型（比如，雨天+会议 -> 舒缓类壁纸）；第二，设计一个包含数百张高质量、风格统一的壁纸资源库，并打好标签；第三，在系统层开发一个低功耗的感知与切换引擎，确保流畅省电。这个功能有望成为我们差异化体验的一个亮点。

对比分析：

• 角色代入与表达：SFT版准确扮演了产品经理角色，表述专业、结构清晰，但更像一份标准的项目提案摘要。RLHF版则更富有感染力和画面感。它用“想象一下”开头，构建了两个具体的用户场景（晨跑、雨天会议），让听者瞬间理解功能亮点，这是一种更高级的沟通技巧。
• 价值挖掘：SFT版指出了“个性化”、“情感化”、“共鸣”等价值点。RLHF版则更进一步，将其提炼为“让科技无声地融入生活”、“提供情感陪伴而不仅是工具”，视角更宏观，也更能打动人心。
• 实现思路：两者思路相似，但RLHF版表述得更具体、更有步骤感（“分三步走”），并且考虑到了“低功耗”这样的工程细节，显得更周全。
• 创造性：在功能命名上，SFT版叫“智能情景壁纸”，中规中矩。RLHF版命名为“环境感知智能壁纸”，“环境感知”一词更具科技感和精准度，体现了更好的概括能力。

在这一轮，RLHF版本在创造性构思、场景化表达和价值升华方面，再次展示了其优势。它生成的文本不仅逻辑通顺，更具备了打动人的力量。

4. 总结与选择建议

经过以上几个维度的对比测试，我们可以清晰地看到InternLM2-Chat-1.8B的SFT版和RLHF版之间的区别。这不仅仅是技术路线的不同，更是产品定位和用户体验的差异。

4.1 核心差异总结

让我们用一个表格来直观回顾一下：

对比维度	InternLM2-Chat-1.8B-SFT (监督微调版)	InternLM2-Chat-1.8B (RLHF版)	简要分析
指令遵循	严格、准确，像一位严谨的助理。	准确且灵活，像一位贴心的助手，会补充友好用语。	两者都能很好遵循指令，RLHF版交互体验更优。
回答风格	简洁、直接、信息密度高，偏向技术性描述。	生动、详尽、善于使用比喻和场景化描述，更具引导性。	SFT版效率高；RLHF版更易懂，尤其对新手友好。
上下文理解	能处理当前指令，但对对话上下文的延续性关注较少。	能更好地关联上下文，保持对话的连贯性和自然感。	在多轮对话中，RLHF版的体验更流畅、更“像人”。
创造性任务	能基于知识完成创作，输出标准、规范。	在规范的基础上，能进行更丰富的场景构建和价值提炼，文本更有感染力。	在需要创意、宣传、故事性的任务上，RLHF版表现更出色。
额外价值	专注于回答你提出的问题本身。	常会主动提供额外建议、步骤解释或鼓励，提供超越预期的价值。	RLHF版体现了更强的服务意识和用户思维。

4.2 如何选择：SFT版 vs RLHF版？

选择哪个版本，完全取决于你的具体需求：

• 选择 InternLM2-Chat-1.8B-SFT，如果你的需求是：

  • 追求极致效率：你需要模型快速、直接、无冗余地回答技术问题，进行事实性查询或代码生成。
  • 任务高度标准化：你的应用场景是固定的问答、信息提取或翻译，不需要复杂的交互。
  • 资源受限：虽然参数相同，但理论上SFT版的推理路径可能更“直”（尽管在实际体验中差异不大），在某些部署环境下可能有一丝效率优势。
  • 你更喜欢“提问-得到精准答案”这种干净利落的交互模式。

• 选择 InternLM2-Chat-1.8B (RLHF)，如果你的需求是：

  • 构建对话式应用：你需要开发聊天机器人、智能客服、AI伴侣等，流畅、自然、有情感的对话体验至关重要。
  • 辅助学习与创作：你需要一个能引导思考、解释概念、激发灵感的助手，而不仅仅是信息源。
  • 内容生成与润色：你需要生成营销文案、故事、邮件等需要感染力和创造性的文本。
  • 提升终端用户体验：你希望最终用户感觉是在和一个“聪明且友好”的AI交流，而不是一个冰冷的数据库。
  • 你欣赏AI在完成任务的同时，带来的那份额外的“贴心”和“智能感”。

4.3 最终结论

本次实测验证了官方的说法：InternLM2-Chat-1.8B（RLHF版）在指令遵循、聊天体验方面确实更胜一筹。这种优势并非体现在知识量上，而是体现在对话的智能性、交互的自然度和对用户意图的深度理解上。

SFT版是一位出色的“专家”，知识渊博，随问随答。而RLHF版则是一位优秀的“伙伴”，它不仅能回答问题，还能理解你的情绪，引导你的思考，让整个交流过程更加愉悦和高效。

对于绝大多数寻求更好交互体验的应用场景和个人用户来说，InternLM2-Chat-1.8B（RLHF版）无疑是更推荐的选择。它代表了当前开源小模型在“对齐人类偏好”方向上取得的切实进步。当然，如果你有非常特定的、需要纯粹技术输出的需求，SFT版也同样是一个可靠的选择。

幸运的是，通过Ollama，我们可以轻松地同时拥有并体验这两个版本，亲自感受它们微妙的差异，并为你自己的项目做出最合适的选择。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。