当前位置:网站首页 > 云计算与后端部署 > 正文

模型部署到服务器什么意思(模型部署到服务器什么意思啊)



优势和缺点

优势:

    缺点:

      准备

      一台电脑,Windows电脑和Mac都可以

        关于如何查看显存大小,可以参见本文文末

        正式步骤

          通过命令查看ollama版本,如果安装成功会显示版本

            【llama3】Meta(Facebook的母公司)开发的,目前来看可能是最强的,但是中文支持一般

            【phi3】微软开发的,优点是体积小,中文支持也一般

            【gemma】谷歌开发的,中文支持也一般

            【llama2-Chinese】针对llama2中文优化的版本,是个老版本的语言模型(需要的自己可以搜一下)

            【qwen】通义千问,阿里巴巴开发的

            注意,同一个模型的参数量可以自定义的,以llama3举例,有70b的和8b两种,70b表示700亿参数量,8b是80亿,同一个模型参数量越大功能越强,但是对你电脑要求越高,70b需要16GB显存,所以默认使用的是8b的版本

              点击右边的按钮会自动复制

              一般来说如果你正确地安装了Ollama并且在运行状态,且你复制的命令没有错误,它会立刻开始下载,你需要耐心等待一会儿(注意,很奇怪的一点是它会越来越慢,如果实在很慢你可以关掉重新执行一遍就好了,它会接着上次的下载)

              安装完成之后会自动进入chat状态,你可以和它对话了!

              llama3对话

              我这里使用的llama3,它对中文的支持比较一般,如果你想让它用中文回答可以手动告诉他用中文回答

              GUI部署

              注意,这里需要你会连接上“魔法”,并且可能需要一些开发方面的知识,如果你不想过多研究可以不用往下看了

                点击复制命令去终端里运行即可

                  确保它的状态是Running

                    设置webUI的语言

                      选择模型

                      附1:你可以在任务管理器中查看显存的大小:

                      注意:老版本的Windows在1处显示的可能是“性能”

                      附2:注意,Docker和Ollama默认是开机启动的,如果你并没有这样的需求,可以在任务管理器里将它关闭

                      到此这篇模型部署到服务器什么意思(模型部署到服务器什么意思啊)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

                      版权声明


                      相关文章:

                    • 手机软件后缀exe怎么安装(手机后缀为exe的文件用什么打开)2026-04-24 17:45:04
                    • redis修改密码和端口(redis密码怎么修改)2026-04-24 17:45:04
                    • 国内github手机app(github官方手机客户端)2026-04-24 17:45:04
                    • vb饭后多久吃比较好(饭后多久吃维生素b族好)2026-04-24 17:45:04
                    • chrony客户端同步周期(chronyc同步)2026-04-24 17:45:04
                    • 操作系统原理及应用(操作系统原理及应用(linux)(第二版)王红课后题答案)2026-04-24 17:45:04
                    • redis的端口号是多少(redis常用端口)2026-04-24 17:45:04
                    • redis端口(redis端口怎么看)2026-04-24 17:45:04
                    • redis端口号被耗尽(redis16379端口)2026-04-24 17:45:04
                    • ip地址换了之后打印机不能用(ip地址换了之后打印机不能用了)2026-04-24 17:45:04
                    • 全屏图片