本文记录通过Jan部署本地的语言大模型
Jan ：一个本地运行 语言模型 的程序框架
- 支持多种模型一键下载及应用
- 支持CPU和GPU两个模式
安装Jan | 调整设置 | 下载模型 | 使用模型 | 效果测试
参考信息：
Jan 官网：
https://jan.ai/
github ：
https://github.com/janhq/jan
安装Jan
默认下载对应版本，运行安装即可
调整设置
- 调整模型下载位置：
- 开启GPU加速：即基于显卡来进行工作
如果开启GPU时，遇到下面的弹窗：
说明显卡不可用，解决这个问题分两步：
- 确认显卡支持：确认显卡是否是nvidia的，太老的型号应该也不行（未测试过）
- 确认驱动和CUDA安装正确：
- 驱动确认：
nvidia-smi
这一步出问题，去Nvidia官网下载最新的驱动并安装：
https://www.nvidia.com/Download/index.aspx?lang=en-us
- CUDA：
nvcc --version
这一步出问题，去下载CUDA：
https://developer.nvidia.com/cuda-downloads
下载模型：
- 点击左侧模型库图标：
- 选择需要的模型，点击 download，等待下载完成
使用模型：
按 Ctrl + E 选择下载好的模型，直接使用即可
效果测试：
输入：python的venv如何使用？
返回结果：
