2025年1月29日星期三

使用AutoDL算力云,低成本租用4090显卡,部署高参数量DeepSeek模型,并利用Ollama,达到低成本本地使用DeepSeek模型的目的!

 







核心:在本地和远程服务器之间建立一个安全的隧道,实现端口转发


autoDL官网


需要用到的命令:

#建立隧道

ssh -CNg -L 11434:127.0.0.1:11434 root@【audodl机器IP】 -p 【autodl ssh端口】











#linux安装ollama

curl -fsSL https://ollama.com/install.sh | sh


注意事项:

1、autoDL的机器在下载ollama的时候,会有warning,需要解决











apt update  #更新安装源

apt install pciutils lshw   #确保GPU支持


2、手动启动Ollama

ollama serve

或者让它在后台运行:

ollama serve &


3、隧道建立后,手动修改应用到的模型





2025最简单本地部署使用DeepSeek-R1模型教程,支持命令行、浏览器插件使用,支持与图片对话!!

 







Ollma官网:访问

浏览器插件:下载界面

下载并载入模型:

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b