0.背景

在现在世面有众多的大模型，如果能训练一个私有化的大模型帮助小型公司和个人搭建知识库，定会提高信息检索的效率，ollama框架就是如此。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

1. 安装ollama

Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。

https://ollama.com/download   

下载完成并安装。

注意： windows 的安装默认不支持修改程序安装目录， 默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama 默认安装的模型目录：C:\Users\username\ .ollama 默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：

变量名为：OLLAMA_MODELS

变量值：D:\Ollama

监听变量：OLLAMA_HOST

监听值：0.0.0.0:11434

其中D:\Ollama是你安装Ollama的位置。

设置好系统变量后需要重启电脑，这样新下载的模型就不会再放置在C盘，而是指定放置在环境变量所对应的位置。

2. 准备具备显卡的主机

至少具备8G的显存，我这里采用4张NVIDIA A2的显卡，在设备管理器里发现已经处于正常驱动状态。

查看显存大小，在运行窗口中输入：dxdiag

切换到显示标签页，找到显示内存（VRAM）一行，我此处为普通电脑。

3. 安装llama3.1

https://ollama.com/library/llama3.1   

在命令行中，安装llama3.1模型

# 拉取模型   ollama pull llama3.1   # 运行模型   ollama run llama3.1   # 查看模型例表   ollama list   

等待模型拉取。

等待安装完成。

注：ollama会监听11434端口，因此可通过外部接口访问此api

4. 安装maxkb

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统，由飞致云开发。通过MaxKB可以实现在网页上可视化使用大语言模型。本次采用docker-compose.yml 方式部署:

`version: '3'   services:     maxkb:       image: cr2.fit2cloud.com/1panel/maxkb       container_name: maxkb       restart: always       ports:         - "9090:8080"       volumes:         - ~/.maxkb:/var/lib/postgresql/data       network_mode: "host"`   

admin密码：MaxKB@123..   

API处输入Ollama地址模型的地址，API Key处任意输入。

完成模型的建立。

5. 创建应用

在应用处点击创建应用。

输入自定义的应用名称，我这里输入test。

选择关联好的ai模型，点击右上角的保存并发布。

回到概览，点击演示。可以根据需求修改参数。

即可和大语言模型对话。也可以自定义知识库，上传自己的文档以训练私有模型，大家需要教程的话，后续更新完善。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓