国内github加速（github 国内加速）



邀请方：国家超算互联网（www.scnet.cn）

活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动

谁是下一个“AI”跃人？- 算力体验_超算互联网

1、运行的商品名称。

Llama3-8B-Chinese-Chat

2、运行的过程记录。

1. 解压商品

2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）

直接拉会拉不下来代码（提示Index相关问题）

这里使用mirror.ghproxy.com这个代理解决问题

3.使用本机环境创建虚拟环境

python -m venv llama3 –system-site-packages

4.安装开源项目的依赖

pip install -r requirements.txt

5.验证torch是否可以使用

不可用户

6.解决该开源项目 依赖问题

使用社区提供的pytorch相关 3.10依赖

7. 再次验证torch

8. 更新deepspeed

pip install deepspeed-0.12.3+gita.abi1.dtk2404.torch2.1.0-cp310-cp310-manylinux_2_31_x86_64.whl --force-reinstall

9. 检查pytorch使用Numpy是1.0的，deepspeed是2.0版本，需要更换成1.0最后一个版本

pip install --force-reinstall numpy===1.26.4

10. 修改LORA模型微调脚本

/root/private_data/Llam3-CN/Llama-Chinese/train/sft/finetune_lora.sh

修改显卡为0号

deepspeed --include localhost:0 finetune_clm_lora.py

模型改为商城下载的模型

--model_name_or_path /root/private_data/Llam3-CN/Llama3-8B-Chinese-Chat

使用带的开源数据集

--train_files https://www.csdn.net/data/train_sft.csv

更改数据格式为fp16

11. 运行训练脚本

12. 模型推理脚本修改

如下标红部分有修改：

其中位置1，2替换为商品基模型和训练出来的微调模型

位置3修改从8Bit修改为4Bit（这里不清楚为什么）

位置4删除use_flash_attention_2=True

位置5 Token数量由512调整为为128

个人活动体验感受:

这次活动让我们离大模型更近了一点，强烈推荐大家去参加，社区群也很活跃

免费领更多算力方式：AI算力不够用？参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/bcyy/46492.html