Ollama本地部署-通用大模型本地后端管理程序部署，无需联网本地运行llama3，千问二等大模型

• llama3 出来很久了，但是对于大多数人，本地体验还是有门槛的
• 之前介绍的Jan，跑 llama3 有时候不稳定，会失败
• 一些一键包，很多还没等怎么用就需要更新了，而且是全量更新。。。。WTF。。。

综上：我们需要一个稳定的大模型本地运行模块。

同时，我们思考将模块和UI分开，这样更灵活，更稳定，可定制能力更强，大模型只在后台干他该干的事。

So，我们选择：
– ollama 运行基础大模型，提供API
– LobeChat提供交互能力

本篇内容先聚焦 ollama 的部署和使用，lobeChat 我们稍后单独讨论

部署：

1. 基础部署：

官网： https://ollama.com/
GiHub： https://github.com/ollama/ollama

直接下载安装即可。

2. 常用命令：

2.1 启动一个模型：

启动模型非常简单，直接使用命令 ollama run model_name 来启动。

模型列表见：https://ollama.com/library

一般我们推荐使用 llama3，命令如下，首次运行时，如果llama3模型未下载，会自动下载

ollama run llama3

3. 开启外部访问API

https://127.0.0.1:11434

OLLAMA_ORIGINS:*

Oll.bat 下载

@echo off
setlocal

:: 检查是否提供了模型名称参数
if "%1"=="" (
    set MODEL_NAME=llama3
) else (
    set MODEL_NAME=%1
)
:: 设置环境变量
set OLLAMA_HOST=0.0.0.0
set OLLAMA_ORIGINS=*
:: 启动模型
ollama run %MODEL_NAME%
endlocal

4. 定制Promot：

我们可以基于一个基本模型，给他套个promot，包装成一个新的名字，比如，llama3默认是英文交互，我希望默认是中文交互，就可以对其进行全局定制。

定制方法参考官方文档：

Customize a prompt

Models from the Ollama library can be customized with a prompt. For example, to customize the 

llama3

 model:

ollama pull llama3

Create a Modelfile:

FROM llama3

#set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
#set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

Next, create and run the model:

ollama create mario -f ./Modelfile
ollama run mario


hi
Hello! It's your friend Mario.

扩展：Docker部署

Docker 相关参考： https://niugee.com/docker-docker-compose/

docker-compose 安装：

curl -L "https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/bin/docker-compose

以下文件保存为 docker-compose.yml

version: '3.8'
services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ./:/root/.ollama
    environment:
      - OLLAMA_ORIGINS:*
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

执行: docker-compose up -d

小结：

OLLAMA ：本地运行大模型的服务后端程序：
- 支持 Win | Mac | Linux
- 支撑 直接部署 | Docker | Docker-compose
- 支持模型的 自动下载 | 运行 | 定制 | ……
- 支撑 llama3 |千问2（qwen）| gemma2 | phi …… 等即时款开源大模型的全部版本

后端服务搞定了，下一个视频我们搞定最美的前端，敬请期待~

关注牛哥，点赞收藏，多刷刷视频
给牛哥充个电或者youtube开个会员，支持牛哥持续更新