conv1d原理（conv1＊1）



Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。

更多 Triton 中文文档可访问 →https://triton.hyper.ai/ 

在本教程中，您将编写一个内存高效的 Dropout 实现，其状态将由单个 int32 seed 组成。这与传统 Dropout 实现不同，传统实现通常由与输入 shape 相同的位掩码张量组成。

在这过程中，您将学习到以下内容：

简介

Dropout 是在 [SRIVASTAVA2014] 中引入的一种技术，用于改善低数据条件下深度神经网络的性能，通常用于正则化。它接受一个向量作为输入，并生成相同 shape 的输出向量。输出中的每个标量都有概率 p 被设为零，否则直接从输入复制。这使得网络在仅有输入的 1−p 标量时也能表现良好。

在评估阶段，为了充分利用网络的能力，将 p 设为 0。但是简单地将 p 设为 0 会增加输出的范数，可能会人为地降低输出的 softmax temperature。为了防止这种情况发生，输出被缩放为 1/(1-p)，这使得无论 dropout 概率如何都能保持一致的范数。

Baseline

首先看一下 baseline 的实现。

Out:

种子化 Dropout

上述 Dropout 实现效果良好，但管理 Dropout 状态可能会变得复杂，特别是在考虑反向传播和重新计算/检查点场景时。在这里，我们描述一种替代实现，它具有以下优点：

生成 Triton 中的伪随机数很简单！在本教程中，我们将使用 triton.language.rand 函数，该函数基于给定的种子和一组 int32 偏移量生成一个块的均匀分布的 float32 值，范围在 (0, 1) 内。但如果你需要，Triton 也提供其他随机数生成策略。

注意 Triton 的 PRNG 实现基于 Philox 算法（详见 [SALMON2011]）。

现在将所有内容整合起来。

Out:

大功告成！我们现在有了一个 Triton 内核，可以在给定相同种子的情况下应用一致的 dropout 掩码。与传统的 dropout 实现相比，这种方法减少了内存开销并简化了状态管理。

练习

参考文献

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/cjjbc/13010.html