“ 大模型产品的技术复杂度远远超出你的想象 ”
最近一段时间公司在搞AIGC领域的产品，虽然集成了很多第三方的大模型服务接口，但从节省成本的角度，公司也找了一部分具有相似效果的开源模型做独立部署。
但在做模型独立部署方面面对着各种各样的问题，而且环境极不稳定，因此就引发了关于大模型企业级应用中的环境部署和运维的问题。
关于大模型在企业生产中的部署问题
首先抛开成本问题从技术的角度来说，小公司独立部署大模型会很吃力，因为大模型部署是一个系统性的问题。涉及到算力，大模型，服务接口，并发问题等多个环节，设计到系统运维，镜像，监控，系统架构等多个方面。
企业独立部署大模型主要涉及哪些问题点？
首先最基础的就是算力问题，对大部分企业来说根本无力建属于自己的机房，面对着动辄几万甚至几十万的算力机，对大部分企业来说都无法承担。
因此，购买或租用一些云端算力机是一个比较好的选择，但云端算力机也只是一个一个独立的机器，在应用层面并没有提供自己集群部署和运维的能力。
当然，并不是说云计算做不到这一点，而是能做到这一点的云服务商机器的价格都比较贵；因此，对很多小微企业来说，都会选择一台或多台算力能够简单支持业务正常运营的机器，然后做人肉运维。
比如我们公司，就是购买了几台云端算力机，在上面部署几个模型，然后天天出问题，一个问题查一天。
从大模型的部署角度来看，部署大模型无非以下几种方式：
最简单的是一些小模型，单台机器就能够支撑其运算需求，这时在企业生产中只需要在多台机器上部署多个相同的模型，然后在入口做一个负载均衡就可以了。
但如果没有完整的运维系统，全靠人肉运维，这样会把运维和技术人员给累死。
先说这种模式经常出现的一些问题，比如怎么检测大模型服务的健康状况？说白了就是怎么知道这些机器是否在正常运行？一台机器一台机器的看吗？
再有，如果某台机器出问题了，怎么快速定位到这台机器上？ 大模型的集群部署是否有自动健康检测系统？
我想很多企业都做不到这一点，一旦出问题只能靠技术人员慢慢排查；而这还不包括一些莫名其妙的问题。
比如说我自己，前几天遇到一个bug，AIGC的任务无法提交到大模型，本来以为任务无法提交是因为自己的模块有bug，然后查了一下午时间发现是因为算力机出问题导致业务端无法获取到算力机，然后间接导致任务无法提交。
而如果是那种参数量和算力要求巨大的模型，单机部署就无法实现，只能依靠集群的并行计算能力，但换句话说能做到大模型集群并行计算的公司又有多少？
模型不同模块之间怎么部署，怎么监控，怎么解决它们的通讯问题，某些模块的算力瓶颈怎么解决？ 遇到高并发问题怎么解决？是使用异步通讯，还是使用消息队列做削峰处理？ 中间引入的异步通讯模块或消息队列中间件怎么保证稳定性？
最重要的是，在出现生产问题时怎么做到及时的响应，并快速恢复上线，把影响降到最小？而这些靠人工来做是不可能完成的，但大部分企业又没有能力构建完善的运维系统。
再有在大部分小微企业中，老板或者领导最看重的就是业务的开发进度，而不是系统运维的难度。业务开发时间被不断的压缩，各种业务bug已经让人不厌其烦，再加上模型服务的不稳定性，真的是让人崩溃。
还有就是很多小公司为了省钱，前期也不肯找一个有能力，有经验的架构师做系统架构，很多小项目都是匆匆上马，开发人员素质不齐，导致大量的设计缺陷和业务漏洞，还包括一些项目管理混乱，简直就是群魔乱舞。
就拿作者自己的公司来说，采用的就是租用云算力服务商的算力机，把模型服务独立部署在云端；而为了提高扩展性，就通过调用云算力服务商的接口，根据业务压力动态进行扩容，也就是用镜像的方式启动多台相同环境的机器；然后业务端通过轮训或其它方式来进行动态选择算力机。
然后为了解决可能存在的性能压力，因此就采用消息队列的方式做扩容；但由于业务时间紧，项目开发都是以完成功能为主，因此就导致整个扩容模块没有数据一致性处理，代码没注释，业务逻辑混乱，日志不全。
随便某个中间环节出问题，就只能从头开始排查，无法准确定位到问题产生的时间，地点和方式。
说了这么多，其实从根吧上来说还是很多小微企业的老板对整个技术没有一个完整的认识；大模型技术本身就极具复杂性，由于其庞大的算力需求就导致单机部署基本成为不可能。
而集群化部署的复杂性又是不可想象的，因此其运维的难度与传统运维相比完全不可同日而语。
再加上需要把大模型与具体的业务相结合，而怎么设计大模型的服务接口，不但要保证功能性，还要保证稳定性和扩展性；而这就需要有着足够强大的业务理解和梳理能力，以及强大的接口抽象能力。
而以上种种，任何一个都不是普通人能轻易完成的任务。
因此从各方面来看对小企业来说，独立部署大模型都不是一个好的选择，表面上来看好像是节约了成本；但事实上不但大大增加了运维的难度和成本，最重要的是大大提高了系统的运行风险，导致整个系统风险不可控。
其次，大量的运维问题会占用技术和开发人员大量的时间；就比如说运维方面出了一个小问题，就很可能导致整个开发进度被耽误，开发人员会遇到各种各样莫名其妙的问题，而无从下手。
因此，选择一个三方模型虽然成本可能会高一点，但可以让你完全专注于自己的核心业务，减少系统性风险以及各种乱七八糟的问题。
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【】
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/hd-yjs/53227.html