之前在window下安装过 Ollama和OpenWebUI搭建本地的人工智能web项目（可以看我之前写的文章），无奈电脑硬件配置太低，用qwen32b就很卡，卡出PPT了，于是又找了一台机器安装linux系统，在linux系统下测试一下速度能否可以快一些。
系统硬件介绍
Ubuntu 22.04.4 LTS
CPU: i5-10400F
内存：32G
硬盘： 512G SSD
显卡： NVIDIA GeForce GTX 1060 6GB
内网IP: 192.168.1.21
下载 Ollama
访问下载： https://ollama.com/
安装Ollama 方法1、命令行下载安装(耗时长)
安装命令：
方法2 , 手动下载安装
2、注释掉下载部分 curl xxxx 手动下载ollama-linux-{ARCH}
我电脑intel/amd cpu 所以 {ARCH} = amd64 浏览器下载 https://ollama.com/download/ollama-linux-amd64 当然科学上网速度更快哟。 放在 install.sh 同目录下
3、注释掉 #$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
改为下面一行：
4 运行 install.sh ,安装
重启电脑
配置模型下载路径
然后添加一行 配置 OLLAMA_MODELS 环境变量自定义路径
如果开始没配置OLLAMA_MODELS ，默认路径是/usr/share/ollama/.ollama/models
启动ollama服务
提示
说明已经运行
修改ollama端口
重新加载配置，重启ollama
运行qwen大模型
安装docker
一键安装脚本
安装Open WebUIOpen WebUI是一个用于在本地运行大型语言模型（LLM）的开源Web界面。
参考： https://docs.openwebui.com/getting-started/#quick-start-with-docker-
docker安装open-webui
要运行支持 Nvidia GPU 的 Open WebUI，请使用以下命令：
改国内的地址
报错：
ubuntu识别不了我的显卡
安装nvidia-container-toolkit： 确保你已经安装了nvidia-container-toolkit，并配置Docker以使用该工具包：
检查Docker默认运行时配置： 确保Docker的默认运行时设置为nvidia。编辑Docker的配置文件（通常位于/etc/docker/daemon.json），并添加或修改如下内容：
检查NVIDIA Container Runtime兼容性： 确保你的NVIDIA Container Runtime版本与Docker版本兼容。可以通过以下命令查看版本：
完成上述步骤后，再次尝试运行你的Docker命令。如果问题仍然存在，请提供更多的系统信息和日志，以便进一步诊断问题。
登录open-webui
用IP+端口访问
修改语言为中文
OpenWebUI默认是英文的，所以修改语言为简体中文。
OpenWebUI不能连接Ollama
报错：WebUI could not connect to ollama
修改地址：http://192.168.1.21:11434
再下载千问的模型 qwen
下载大模型
ollama官方的模型仓库参见这里：https://ollama.com/library
根据自己的CPU和GPU选择合适的大模型，否则会很卡。
比如测试用的1060使用qwen:72b就很卡，问一个问题要等很久，几乎是不能用的状态。
删除模型
ubuntu查看GPU负载
确实在ubuntu20.04系统下确实比window10系统使用Ollama更加流畅。
到此这篇Ubuntu源代码（ubuntu源码下载）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/bcyy/27385.html