ollama 命令可以允许在本地启动并运行 LLM 大型语言模型：如运行最新的DeepSeek 、Gemma、Llama 3、phi、zephyr、阿里 Qwen、Mistral 和其他包括定制创建自己的模型，适用于 macOS、Linux、Docker 和 Windows。

ollama 安装和优化

1# Windows
2https://ollama.com/download/OllamaSetup.exe
3 
4# MacOS
5https://ollama.com/download/Ollama-darwin.zip
6 
7# Linux
8curl -fsSL https://ollama.com/install.sh | sh

Docker 安装 Ollama

1# https://hub.docker.com/r/ollama/ollama
2# CPU 或者 Nvidia GPU 
3docker pull ollama/ollama
4
5# AMD GPU
6docker pull ollama/ollama:rocm
7 
8# Ollama 部署
9docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama 是一个本地推理模型客户端，可以一键部署DsspSeek、llamam3等大型语言模型。ollama启动后，会在本地11434 端口启动一个API服务，可以通过localhost:11434，然后通过Page Assist 等等 UI客户端进行交互。

Ollama 常用指令

命令描述
ollama serve#启动ollama
ollama create#从模型文件创建模型
ollama show#显示模型信息
ollama run#运行模型
ollama ps#显示模型是否挂载到CPU/GPU
ollama pull#从注册表中拉取模型
ollama push#将模型推送到注册表
ollama list#列出模型
ollama cp#复制模型
ollama rm#删除模型
ollama help#获取有关任何命令的帮助信息

下载模型

ollama模型库：Ollama Models

例如想安装deepseek-R1模型

1ollama run deepseek-r1:7b

参考运行模型

如果使用纯CPU计算，要选择线程数高的CPU。GPU选择3050这些，或者钱多可以选择专业的计算卡。如果性能不够会导致模型输出慢，或者回复一半就不回复了。

11.5B 模型 (建议显存4G以上。纯CPU运算选择 I5 以上)
27B 模型 (建议显存8G)
38B 模型 (建议显存8G以上)
414B 模型 (建议显存12G)
532B 模型 (建议显存24G)
670B 模型 (建议32G显存以上)

Ollama 优化

修改模型保存位置

文档参考：Ollama Docs

ollama 默认的模型保存路径如下:

  • Windows : C:\Users\%username%\.ollama\models
  • MacOS : ~/.ollama/models
  • Linux : /usr/share/ollama/.ollama/models

windows 修改ollama模型下载地址

  • 步骤一 Windows 找到 系统属性
  • 步骤二 在窗口找到 环境变量

新建一个环境变量，输入变量名 OLLAMA_MODELS ,变量值输入想保存模型的位置 D:\Ollama\models

  • 步骤三 保存后重启模型,在任务管理器接受再重新运行。
  • 步骤四 运行ollama run ** 拉取新的镜像

Linux 修改ollama模型下载地址

如果 Ollama 作为 systemd 服务运行，则应使用以下方法设置环境变量：systemctl

通过调用 编辑 systemd 服务。这将打开一个编辑器。systemctl edit ollama.service

对于每个环境变量，在 section 下添加一行 ：Environment[Service]

1[Service]
2Environment="OLLAMA_MODELS=/home/<username>/ollama_models"

保存并退出。

重新加载并重新启动 Ollama：systemd

1systemctl daemon-reload
2systemctl restart ollama

利用 Ui客户端进行交互

Chrome、Edge浏览器插件： Page Assist 火狐浏览器： Page assist 开源自建方案：Open WebUi