优势和缺点
优势:
缺点:
准备
一台电脑,Windows电脑和Mac都可以
关于如何查看显存大小,可以参见本文文末
正式步骤
通过命令查看ollama版本,如果安装成功会显示版本
【llama3】Meta(Facebook的母公司)开发的,目前来看可能是最强的,但是中文支持一般
【phi3】微软开发的,优点是体积小,中文支持也一般
【gemma】谷歌开发的,中文支持也一般
【llama2-Chinese】针对llama2中文优化的版本,是个老版本的语言模型(需要的自己可以搜一下)
【qwen】通义千问,阿里巴巴开发的
注意,同一个模型的参数量可以自定义的,以llama3举例,有70b的和8b两种,70b表示700亿参数量,8b是80亿,同一个模型参数量越大功能越强,但是对你电脑要求越高,70b需要16GB显存,所以默认使用的是8b的版本
点击右边的按钮会自动复制
一般来说如果你正确地安装了Ollama并且在运行状态,且你复制的命令没有错误,它会立刻开始下载,你需要耐心等待一会儿(注意,很奇怪的一点是它会越来越慢,如果实在很慢你可以关掉重新执行一遍就好了,它会接着上次的下载)
安装完成之后会自动进入chat状态,你可以和它对话了!
llama3对话
我这里使用的llama3,它对中文的支持比较一般,如果你想让它用中文回答可以手动告诉他用中文回答
GUI部署
注意,这里需要你会连接上“魔法”,并且可能需要一些开发方面的知识,如果你不想过多研究可以不用往下看了
点击复制命令去终端里运行即可
确保它的状态是Running
设置webUI的语言
选择模型
附1:你可以在任务管理器中查看显存的大小:
注意:老版本的Windows在1处显示的可能是“性能”
附2:注意,Docker和Ollama默认是开机启动的,如果你并没有这样的需求,可以在任务管理器里将它关闭
到此这篇模型部署到服务器什么意思(模型部署到服务器什么意思啊)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!版权声明:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符,请将相关资料发送至xkadmin@xkablog.com进行投诉反馈,一经查实,立即处理!
转载请注明出处,原文链接:https://www.xkablog.com/hd-yjs/47831.html