预训练模型下载（预训练模型重新训练）



AutoModelForCausalLM.from_pretrained

• load_in_8bit - 设置为 True 时，预训练模型的权重参数会以更低的精度 [8位] 进行存储，从而减少了模型所需的内存空间。

• trust_remote_code - 该参数指示系统在执行远程或外部代码时如何处理安全性和信任性。

• device_map - 在分布式计算环境中，可以使用 “device_map” 参数将不同的任务分配给不同的计算节点或处理器，并利用并行计算来加速整体计算过程。这里使用 auto 自定选择

• pretrained_model_name_or_path - 指定要加载的预训练模型的名称或路径。

• config - 可选参数，可以传递一个预训练模型的配置对象（如GPTConfig）。如果没有提供，将自动从pretrained_model_name_or_path中加载。

• cache_dir - 可选参数，用于指定缓存目录地址。

• from_tf - 可选参数，如果设置为True，则从TensorFlow模型转换而来。

• force_download - 可选参数，如果设置为True，则强制从模型Hub下载模型。

• resume_download - 可选参数，如果设置为True，则在下载过程中断后继续下载。

• user_auth_token - 可选参数，如果设置为True，并且你的Hugging Face账户已经配置了token，那么将使用token进行认证。

random.randint

random.sample()函数从一个列表里随机抽出若干个元素，这是直接从元素本身中抽取。而如果需要根据列表元素的index来抽取元素，则可以用random.randint(0,len(some_list)-1)，即选出了要抽取元素在原list中的index。举例如下：

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/bcyy/38723.html