AI Toolkit for VS Code (AI Toolkit) 是一个 VS Code 扩展，使你能够在应用或云中下载、测试、微调和部署 AI 模型。 有关详细信息，请参阅 AI 工具包概述。
本文将指导如何进行以下操作：
- 必须安装 VS Code。 有关详细信息，请参阅下载 VS Code和 VS Code 入门指南。
AI Toolkit 在 Visual Studio Marketplace 中提供，可以像安装任何其他 VS Code 扩展一样进行安装。 如果不熟悉如何安装 VS Code 扩展，则请执行以下步骤：
- 在 VS Code 中的活动栏中，选择“扩展”
- 在“扩展搜索”栏中键入“AI 工具包”
- 选择“适用于 Visual Studio Code 的 AI 工具包”
- 选择“安装”
安装扩展后，你会看到“AI 工具包”图标显示在“活动栏”中。
AI 工具包的主要侧边栏会整理到“模型”和“资源”中。 “资源”部分提供了“操场”和“微调”功能。 要开始选择“模型目录”：
接下来，根据设备上 GPU 的可用性，下载以下模型。
Mac
Linux
否 Phi-3-mini-4k- cpu-int4-rtn-block-32-acc-level-4-onnx 2.72GB
下载模型后，在目录中的模型卡上选择“在操场中加载”：
在操场的聊天界面中，输入以下消息，然后按 Enter 键：
你应会看到流式传输回来的模型回复：
还可以更改：
- 上下文说明：帮助模型理解请求的全貌。 这可能是背景信息、所需内容的示例/演示，或说明任务的目的。
- 推理参数：
- 最大回复长度：模型将返回的最大词元数。
- 温度：模型温度是控制语言模型输出的随机程度的参数。 较高的温度意味着模型承担更多风险，可提供各种字词组合。 另一方面，较低的温度使模型可以安全发挥，致力于更专注和可预测的回复。
- Top P：也称为核采样，是一种设置，可用于控制在预测下一个单词时语言模型考虑的可能字词或短语数
- 频率惩罚：此参数会影响模型在其输出中出现重复字词或短语的频率。 值越大（接近 1.0），越会鼓励模型避免出现重复字词或短语。
- 存在惩罚：此参数用于生成式 AI 模型，以鼓励生成文本中的多样性和特殊性。 值越大（接近 1.0），越会鼓励模型包含更多新颖和多样化的词元。 较低的值更有可能使模型生成常见或陈词滥调的短语。
有两个选项可以将模型集成到应用程序中：
- AI Toolkit 附带本地 REST API Web 服务器，其使用 OpenAI 聊天补全格式。 这样，便可以使用终结点 在本地测试应用程序，而无需依赖云 AI 模型服务。 如果打算在生产中切换到云终结点，请使用此选项。 可使用 OpenAI 客户端库连接到 Web 服务器。
- 使用 ONNX Runtime。 如果打算将模型与应用程序一起在设备上进行推理，请使用此选项。
本地 REST API Web 服务器允许在本地构建和测试应用程序，而无需依赖云 AI 模型服务。 可以使用 REST 与 Web 服务器进行交互，或者与 OpenAI 客户端库进行交互：
ONNX Runtime 生成 API为 ONNX 模型提供生成式 AI 循环，包括 ONNX Runtime 的推理、logit 处理、搜索和采样以及 KV 缓存管理。 可以调用高级 方法，或者在循环中运行模型的每个迭代，一次生成一个令牌，还可以选择更新循环中的生成参数。
它支持贪婪/集束搜索以及 TopP、TopK 采样，以生成令牌序列和内置 logit 处理，例如重复处罚。 以下代码是如何在应用程序中利用 ONNX 运行时的示例。
到此这篇awvs下载教程（awvs12安装教程）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/do-yfwjc/75137.html