InternLM2-Chat-1.8B保姆级部署指南：从安装到对话实战

想体验一个轻量级但能力不俗的对话AI吗？今天我们来聊聊InternLM2-Chat-1.8B。别看它只有18亿参数，在推理、数学和编程方面的表现相当亮眼，而且支持长达20万字符的超长对话，堪称“小身材大能量”。

如果你是AI新手，可能会觉得部署模型很复杂，需要配置环境、安装依赖、处理各种报错。别担心，这篇指南就是为你准备的。我们将用最简单直接的方式，带你从零开始，一步步完成InternLM2-Chat-1.8B的部署，并实现一个可交互的对话Demo。

整个过程就像搭积木，我们一块块来，保证你能跟上。

1. 认识InternLM2-Chat-1.8B：你的轻量级AI助手

在动手之前，我们先花几分钟了解一下我们要部署的“主角”。这能帮你更好地理解后续的操作，也知道这个模型能为你做什么。

1.1 模型家族与定位

InternLM2是上海人工智能实验室推出的第二代大语言模型系列。这个系列里有不同大小的版本，我们今天要部署的InternLM2-Chat-1.8B属于其中的“轻量级选手”。

它主要有三个版本：

• InternLM2-1.8B：基础模型，适合作为起点进行深度定制和训练。
• InternLM2-Chat-1.8B-SFT：在基础模型上做了监督微调的聊天模型。
• InternLM2-Chat-1.8B：在SFT版本基础上，进一步做了人类反馈强化学习对齐的版本。这个版本在遵循指令、聊天体验和调用工具方面表现最好，也是我们推荐部署的版本。

简单来说，我们选的是专门为对话优化过的、最“好用”的那个。

1.2 核心能力亮点

为什么选择它？因为它有几个对实际使用很友好的特点：

超长上下文支持：这是它的一大绝活。官方说它能有效处理长达20万字符的文本。这是什么概念？差不多是一本中篇小说的长度。这意味着你可以和它进行非常长的对话，或者让它分析很长的文档，它不太容易“忘记”前面说过的话。

综合能力均衡：虽然参数不多，但它在推理、数学解题和代码生成方面的能力，相比前一代模型有显著提升。对于日常的问答、辅助思考、简单编程帮助等场景，完全够用。

对话体验优化：作为Chat版本，它在理解你的指令、进行多轮自然对话方面做了专门训练，回答会更贴切、更像人类。

了解这些后，你是不是已经想快点把它“请”到自己的电脑里了？我们这就开始。

2. 极速体验：基于Ollama的一键部署

如果你不想折腾任何环境，只想以最快速度体验模型对话，那么这个方法最适合你。Ollama是一个专门为了简化大模型本地运行而生的工具，它把复杂的依赖打包好，让你通过几条命令就能玩起来。

2.1 安装Ollama

首先，你需要根据你的操作系统，安装Ollama。

• macOS 和 Linux：打开终端（Terminal）。
• Windows：建议使用Windows Terminal或者PowerShell。

在终端里，执行下面这一条命令：

curl -fsSL https://ollama.com/install.sh | sh

这条命令会自动下载安装脚本并执行。安装过程可能需要一两分钟，期间可能会提示你输入密码（sudo权限），输入即可。

安装完成后，你可以通过运行 ollama --version 来验证是否安装成功。

2.2 拉取并运行InternLM2模型

安装好Ollama后，运行模型就变得异常简单。只需要一行命令，Ollama就会自动去下载我们需要的InternLM2-Chat-1.8B模型文件。

ollama run internlm2:1.8b

第一次运行时会下载模型文件，文件大小大约3.6GB，下载速度取决于你的网络。下载完成后，你会直接进入一个交互式对话界面，看到类似 >>> 的提示符。

恭喜！到这里，你已经成功运行了InternLM2-Chat-1.8B。你可以直接在后面输入问题，比如“你好，请介绍一下你自己”，模型就会开始生成回答。

2.3 基础对话与操作

在Ollama的交互界面里，你可以像和朋友聊天一样输入问题。这里有几个小技巧：

• 多轮对话：模型会记住当前会话中的上下文，你可以基于它上一句的回答继续追问。
• 换行：如果你输入的问题很长，可以自然换行，模型会等你输入完毕。
• 退出：想结束对话时，输入 /bye 或者按下 Ctrl+D (macOS/Linux) / Ctrl+Z (Windows) 即可退出。

举个例子，你可以尝试以下对话流程：

>>> 你能做什么？
（模型回答...）
>>> 刚才你说的那些功能里，写代码的能力怎么样？能给我写一个Python的快速排序函数吗？
（模型会基于第一轮的回答，继续生成代码...）

这种方式非常适合快速测试模型的基本能力。但如果你想更灵活地控制对话，或者想集成到自己的Python项目里，我们就需要换一种方式了。

3. 进阶部署：使用Transformers库进行Python集成

Ollama虽然方便，但有时我们想要更多的控制权，比如自定义对话系统提示词、调整生成参数、或者把模型能力封装成API。这时，使用Hugging Face的Transformers库是更专业的选择。

下面，我将带你创建一个完整的Python对话Demo。

3.1 准备Python环境

我强烈建议使用Anaconda或Miniconda来管理Python环境，这样可以避免包版本冲突。

1. 创建并激活一个专门的虚拟环境：

   # 创建一个名为‘lm_demo’的新环境，指定Python版本为3.10
   conda create -n lm_demo python=3.10 -y
   # 激活这个环境
   conda activate lm_demo
   

2. 安装核心依赖：我们需要安装PyTorch（深度学习框架）和Transformers（模型加载和推理库）。

   # 首先安装PyTorch，请根据你的CUDA版本去PyTorch官网获取对应命令。
   # 例如，对于CUDA 11.8，可以使用：
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   
   # 然后安装Transformers和加速库
   pip install transformers accelerate
   

   注意：如果你没有NVIDIA显卡，或者不想用GPU，安装PyTorch时可以选择CPU版本。但模型运行速度会慢很多。

3.2 编写对话Demo脚本

环境准备好后，我们创建一个Python文件，比如叫 chat_demo.py，然后把下面的代码复制进去。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 1. 指定模型路径
# 如果你已经从Hugging Face下载了模型，可以指向本地路径，例如：model_path = "./internlm2-chat-1.8b"
# 这里我们直接使用模型名称，Transformers会自动从网上下载
model_name_or_path = "internlm/internlm2-chat-1_8b"

print(f"正在加载模型和分词器: {model_name_or_path} ...")

# 2. 加载分词器
tokenizer = AutoTokenizer.from_pretrained(
    model_name_or_path,
    trust_remote_code=True  # 信任模型自带的代码
)

# 3. 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,  # 使用BF16精度，节省显存且质量损失小
    device_map="auto"  # 自动分配模型层到可用的设备（GPU/CPU）
).eval()  # 设置为评估模式，关闭dropout等训练层

print("模型加载完毕！")
print("=" * 50)
print("欢迎使用InternLM2-Chat-1.8B对话机器人，输入‘exit’退出。")
print("=" * 50)

# 4. 定义系统提示词，塑造AI的角色
system_prompt = """你是一个名叫InternLM（书生·浦语）的AI助手。
- InternLM（书生·浦语）是由上海人工智能实验室开发的对话语言模型。它的设计目标是乐于助人、诚实且无害。
- InternLM（书生·浦语）能够理解并使用用户选择的语言进行流畅交流，例如中文和英文。
"""
# 初始化对话历史，第一项是系统提示词
messages = [{"role": "system", "content": system_prompt}]

# 5. 开始对话循环
while True:
    # 获取用户输入
    user_input = input("\n用户 >>> ").strip()
    if user_input.lower() in ["exit", "quit", "退出"]:
        print("对话结束，再见！")
        break
    if not user_input:
        continue

    # 将用户输入加入历史
    messages.append({"role": "user", "content": user_input})

    # 准备模型输入
    # 将对话历史格式化为模型接受的文本
    model_input = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    inputs = tokenizer([model_input], return_tensors="pt").to(model.device)

    # 生成参数设置
    generate_kwargs = {
        "input_ids": inputs.input_ids,
        "max_new_tokens": 1024,  # 生成的最大新令牌数
        "temperature": 0.7,      # 温度，控制随机性。越低越确定，越高越有创意
        "top_p": 0.8,            # 核采样参数，控制生成词汇的范围
        "do_sample": True,       # 启用采样
        "repetition_penalty": 1.1, # 重复惩罚，避免重复啰嗦
    }

    # 开始生成
    print("\n助手 >>> ", end="", flush=True)
    with torch.no_grad():  # 禁用梯度计算，节省显存
        outputs = model.generate(**generate_kwargs)
    # 解码生成的令牌为文本
    response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
    print(response)

    # 将助手回复加入历史，以便进行多轮对话
    messages.append({"role": "assistant", "content": response})

3.3 运行你的专属对话机器人

保存好 chat_demo.py 文件后，在你的终端（确保已经激活了 lm_demo 环境）里运行它：

python chat_demo.py

第一次运行会下载模型文件，需要等待一段时间。下载完成后，你就会看到对话提示符。现在，你可以尽情和你的AI助手聊天了！

这个脚本比Ollama的原始命令强大在哪里呢？

• 完全控制：你可以随意修改 system_prompt 来改变AI的人设。
• 参数可调：你可以调整 temperature、top_p 等参数，让AI的回答更严谨或更有创意。
• 易于集成：这个脚本的核心代码可以很容易地移植到你的Web应用、API服务或其他项目中。

4. 实战对话：测试模型核心能力

模型跑起来了，我们得试试它的“真本事”。下面我设计几个不同方向的测试，你可以跟着一起操作，看看你的InternLM2表现如何。

4.1 测试基础指令遵循与中文能力

首先，我们测试它是否能很好地理解并执行简单的中文指令。

你输入：

用户 >>> 请用中文写一首关于春天的五言绝句。

预期与观察： 模型应该生成一首符合五言绝句格式（四句，每句五字）的古诗。观察它的押韵、平仄（虽然不强求）和意境是否与春天相关。这能测试其语言生成和文化理解能力。

4.2 测试逻辑推理与数学能力

接下来，我们看看它的“理科”思维怎么样。

你输入：

用户 >>> 一个笼子里有鸡和兔，共有10个头，28只脚。请问鸡和兔各有多少只？

预期与观察： 这是一个经典的鸡兔同笼问题。看模型是直接给出答案（鸡6只，兔4只），还是能给出一步步的解题思路（比如列方程组）。后者能更好地展示其推理过程。

4.3 测试代码生成能力

对于开发者来说，代码辅助是重要功能。

你输入：

用户 >>> 写一个Python函数，它接收一个列表，返回这个列表中的最大值和最小值。请不要使用内置的max和min函数。

预期与观察： 观察模型生成的代码是否正确、简洁。一个好的回答应该包含函数定义、循环比较的逻辑，并可能处理空列表的边界情况。这测试了其编程逻辑和语言细节把握。

4.4 测试长上下文理解（可选）

如果你有耐心，可以尝试粘贴一段较长的文章（比如一篇新闻），然后问一个关于文章细节的问题。这可以粗略验证其长文本处理能力。

完成这些测试，你就能对InternLM2-Chat-1.8B的能力边界有一个直观的感受。它可能在某些复杂推理或高度专业性的问题上力不从心，但对于日常对话、创意写作、基础编程辅助等场景，它是一个非常得力的轻量级伙伴。

5. 总结与后续探索建议

跟着上面的步骤走一遍，相信你已经成功将InternLM2-Chat-1.8B部署在了你的机器上，并且完成了初步的对话测试。我们来简单回顾一下：

1. 极速体验：通过Ollama，我们实现了真正的一键部署和运行，最适合快速尝鲜。
2. 灵活控制：通过Transformers库，我们编写了自己的Python对话脚本，获得了对模型生成过程完全的控制权，为后续集成开发打下了基础。
3. 能力验证：通过设计不同方向的提问，我们对模型的指令遵循、逻辑推理、代码生成等核心能力进行了实战测试。

如果你还想更进一步，这里有一些方向供你探索：

• 调整生成参数：回去修改 chat_demo.py 里的 temperature 和 top_p。试试把 temperature 调到0.1，回答会变得非常确定和保守；调到1.2，回答可能会天马行空，更有创意。
• 构建Web界面：使用Gradio或Streamlit，你可以用不到50行代码为你的对话机器人创建一个漂亮的网页界面，方便分享给朋友。
• 尝试模型微调：如果你有特定领域的数据（例如客服问答、法律条文），可以考虑对模型进行微调，让它成为你专属的行业专家。InternLM2-1.8B基础版就是为这种深度适配准备的起点。

部署大模型不再是一件遥不可及的事情。从今天开始，你就拥有了一个运行在本地的、可定制的AI对话伙伴。希望这篇指南能成为你探索大模型世界的一块有用的垫脚石。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。