Ollama本地大模型部署完全指南私有化LLM方案的完整教程背景大语言模型LLM的快速发展正在改变各行各业的工作方式。然而将业务数据发送到第三方 API 存在隐私泄露风险对于处理敏感数据的企业而言本地部署大模型成为刚性需求。Ollama 正是为解决本地大模型部署而生的开源工具。它简化了大模型的部署和运行流程让开发者能够在本地设备上轻松运行各种开源大模型如 Llama 2、Mistral、DeepSeek 等。本文将详细介绍 Ollama 的部署和配置方法帮助读者快速搭建私有化的大模型服务。一、项目概述1.1 Ollama 简介Ollama 是一款开源的大模型本地部署工具GitHub Star 数超过 80K。它提供了简单的命令行界面来下载、运行和管理大模型同时支持通过 API 调用模型。Ollama 的核心特点简单易用一行命令即可运行模型模型库丰富支持 Llama 2、Mistral、DeepSeek、Gemma 等跨平台支持 macOS、Windows、LinuxAPI 支持提供 RESTful API 集成GPU 加速自动利用 GPU 加速推理轻量高效资源占用优化1.2 支持的模型Ollama 模型库涵盖多种类型的模型模型参数量适用场景Llama 27B-70B通用对话Mistral7B-8x22B通用对话DeepSeek7B-67B编程辅助Gemma2B-27B轻量对话Phi2B-3B轻量对话Qwen7B-72B中文对话二、安装部署2.1 macOS 安装2.1.1 Homebrew 安装brewinstallollama2.1.2 手动安装下载 macOS 安装包https://ollama.com/download双击安装包完成安装2.2 Windows 安装访问 Ollama 官网下载页面下载 Windows 版本安装包下载.exe安装包双击运行安装程序安装完成后在终端中使用2.3 Linux 安装# 一键安装脚本curl-fsSLhttps://ollama.com/install.sh|sh2.4 Docker 运行# 拉取镜像dockerpull ollama/ollama:latest# 运行容器dockerrun-d-vollama:/root/.ollama-p11434:11434--nameollama ollama/ollama:latest2.5 GPU 配置Ollama 自动支持 NVIDIA GPU 加速确保已安装NVIDIA 驱动CUDA 工具包cuDNN验证 GPU 支持ollama show llama2三、快速入门3.1 运行第一个模型下载并运行 Llama 2 7B 模型ollama run llama2首次运行会自动下载模型下载完成后即可开始对话。3.2 基本操作3.2.1 对话示例 你好请介绍一下自己 你好我是 Llama 2一个由 Meta AI 开发的大语言模型。我可以帮你回答问题、 写文章、写代码等。有什么我可以帮你的吗3.2.2 退出对话输入/bye或按CtrlD退出对话。3.3 模型管理3.3.1 查看已下载模型ollama list3.3.2 拉取模型# 拉取指定模型ollama pull mistral# 拉取特定版本ollama pull llama2:13b3.3.3 删除模型ollamarmllama2四、API 使用4.1 启动 API 服务Ollama 默认在端口 11434 提供 RESTful API# 测试 APIcurlhttp://localhost:11434/api/generate-d{ model: llama2, prompt: 为什么天空是蓝色的 }4.2 Python 调用示例安装 Python SDKpipinstallollama调用模型importollama responseollama.generate(modelllama2,prompt用 Python 写一个快速排序算法)print(response[response])4.3 JavaScript 调用示例安装 Node.js SDKnpminstallollama调用模型importOllamafromollama;constresponseawaitOllama.generate({model:llama2,prompt:解释什么是 RESTful API});console.log(response.response);4.4 API 参数参数类型说明modelstring模型名称promptstring输入提示streamboolean是否流式输出optionsobject额外选项contextarray对话上下文五、高级配置5.1 Modelfile 自定义模型创建自定义模型配置# 创建 ModelfilecatModelfileEOF FROM llama2 PARAMETER temperature 0.7 PARAMETER top_p 0.9 SYSTEM 你是一个专业的技术写作助手用简洁清晰的语言解释技术概念。 EOF# 创建自定义模型ollama create tech-writer-fModelfile# 运行自定义模型ollama run tech-writer5.2 参数调整5.2.1 常用参数参数说明范围temperature创造性控制0-2top_p采样控制0-1num_ctx上下文长度-num_gpuGPU 数量-num_threadCPU 线程-5.2.2 示例ollama run llama2--paramtemperature0.5--paramnum_ctx40965.3 模型量化量化模型以减少资源占用# 拉取量化版本ollama pull llama2:13b-q4_0# 创建自定义量化ollama create custom-model-fModelfile六、WebUI 集成6.1 Open WebUI安装 Open WebUI 获取图形化界面# 使用 Docker 运行dockerrun-d-p3000:8080\-vopen-webui:/app/backend/data\-eOLLAMA_BASE_URLhttp://localhost:11434\--nameopen-webui\ghcr.io/open-webui/open-webui:main访问 http://localhost:3000 开始使用。6.2 Chatbot UI另一个 WebUI 选择dockerrun-d-p3000:3000\-eVITE_API_BASE_URLhttp://localhost:11434/api\--namechatbot-ui\ghcr.io/rickstaa/chatbot-ui:latest七、应用场景7.1 编程辅助使用 DeepSeek 模型辅助编程ollama run deepseek-coder:6.7b# 代码补全示例responseollama.generate(modeldeepseek-coder:6.7b,prompt写一个 Python 异步 HTTP 请求函数)7.2 文档处理搭建本地文档问答系统# 使用 qwen 模型处理中文ollama run qwen:7b7.3 私有知识库结合向量数据库构建知识库Ollama 运行模型Embedding 模型生成向量向量数据库存储和检索RAG 模式问答八、性能优化8.1 内存优化模型内存需求参考模型参数量最低内存推荐内存Llama 2 7B7B8GB16GBLlama 2 13B13B16GB24GBMistral 7B7B8GB16GB8.2 并发优化调整并发数量# 设置并发请求数exportOLLAMA_MAX_LOADED_MODELS28.3 GPU 利用率监控 GPU 使用nvidia-smi九、常见问题9.1 安装问题QLinux 安装失败A检查系统依赖sudoaptupdatesudoaptinstallcurlcurl-fsSLhttps://ollama.com/install.sh|shQGPU 不被识别A检查 NVIDIA 驱动和 CUDAnvidia-smi nvcc--version9.2 使用问题Q模型下载慢A使用代理或手动下载exportHTTP_PROXYhttp://proxy:portexportHTTPS_PROXYhttp://proxy:port ollama pull llama2Q内存不足A使用更小的量化模型ollama run llama2:7b-q4_0十、总结Ollama 作为本地大模型部署的利器以其简单易用的设计和丰富的模型支持为开发者和企业提供了便捷的私有化大模型解决方案。通过本文的保姆级教程读者应该已经掌握了安装部署在各平台安装 Ollama模型运行下载和运行大模型API 集成通过 API 调用模型高级配置自定义模型和参数调优WebUI集成图形化界面应用场景编程辅助、文档处理、知识库对于需要本地化部署大模型的开发者和企业Ollama 是一个值得信赖的开源选择。本文由无边界科技技术团队分享专注软件开发与技术解决方案。官网wubianj.com© 版权归无边界科技所有版权所有。