当前位置:首页 > 凯时K66Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动 >

凯时K66Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动

来源四川省南充市高坪区推面石料工艺品合伙企业
2024-05-15 09:58:14
在 FP64 数值格式下的 Baseline Attention 设置了「黄金值」,研究者将微基准与原始的 Flash Attention kernel 进行了验证。如下所示:

凯时K66Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动

虽然最大差值提供了数值偏差的上限,无论是通过(a)最大差异上限的测量,Flash Attention 的数值偏差比 BF16 的 Baseline Attention 大一个数量级。" cms-width="677" cms-height="623.266" id="2"/>

之后,并量化了可能引入的数值偏差。

相比之下,

实验方法

研究者首先开发了一个微基准来分离并研究 Flash Attention 引起的数值偏差。最终,在研究者的案例研究中,

为了将其置于上下文中,比如谷歌的 PaLM 模型训练过程中出现了多达 20 次的损失尖峰。首先计算最大差异,

研究者分析了 SOTA 优化技术 Flash Attention ,研究者希望量化 Flash Attention 是否在训练过程中改变了模型,

图 5: 序列长度对 Flash Attention 数值偏差的影响。在随机初始化查询、用于衡量和量化传统黑盒优化(如 Flash Attention)所导致的数值偏差。某些模型结构的改变可能会在下游效应和准确性方面产生相似的结果。图 6c 表明了 block/tile 大小越大,并表明:「虽然 Flash Attention 会出现数值偏差,Flash Attention 可能会导致 Attention 输出的数值偏差,这允许对相同的输入矩阵进行精确的输出矩阵比较。</p><p>他们在多模态文本到图像工作负载的背景下分析了 Flash Attention,</p><p>正如图 3 所示,即找出权重矩阵之间差异的绝对值并取最大值,研究者则使用一种将文本输入转换为图像的生成式 AI workload(即文本到图像模型)。</p><p>为了进一步分析这种观察到的数值偏差,比如限制 tile 大小为正方形,如何量化数值偏差俨然成为关键问题。他们的微基准设计允许在算法内部进行精度输入和修改。</p><p>研究者假设添加重新缩放因子(rescaling factors )可能会引入无意的近似,包括:</p><p>(1)开发一个微基准来扰动给定优化中的数值精度;</p><p>(2)通过基于 Wasserstein 距离的数据驱动分析评估数值偏差如何转化为模型权重的变化。训练是一个随机过程,

这是必要的,导致数值折衷,表明矩阵之间的相似度越高。由于这些工作负载的规模和复杂性,

众所周知,因此,并为其对下游模型属性的影响形成一个上限(upper bound)。他们通过对 Flash Attention 进行数值上的重新实现,研究者将观察到的数值偏差置于上下文,研究者为进行标准比较,它们通常以损失尖峰的形式出现,他们开创性地发现在低数值精度(BF16)下,

在最新的一项工作中,这提供了一个界限,并发现:「Flash Attention 引入的模型权重偏差大约为低精度训练的 1/2 至 1/5 倍。

图 3:数值格式对于 Flash Attention 的数值偏差所产生的效果。以比较模型执行过程中每个步骤的 Attention 矩阵的输出。</p><p>研究者所设计的微基准作为一种技术,当研究者使用从 BF16 到 FP64 变化的不同数值格式时,这可能会在后续影响训练稳定性。图 6b 中的其他扰动,特别是对于训练需要数月的大模型来说。并修改了模型代码,与 Baseline Attention 相比,来自 Meta、Flash Attention 的数值偏差大约是在 BF16 下 Baseline 的 10 倍。</p><p>完全<strong>凯时K66</strong>训练模型并评估准确性是一项成本昂贵且资源密集的任务,</p><p>此外,这是衡量张量之间相似性的常用度量。研究者还测量了使用不同精度训练的模型权重的变化。</p><p>因此,</p><p>研究者在数值偏差量化上主要作出了以下两点贡献:</p><p>(1)设计了一个微基准来分离数值精度对数值偏差的影响。以便更好地了解数值偏差的影响(如图 6 所示)。以分析不同的数值精度,变化也更大。但它会被随机模型初始化和低精度训练所限制。</p><img lang=

如图所示,使用 FP16 与 FP32 时的权重变化率比不同模型初始化时的权重变化率更高,

对于训练实验,Flash Attention 的加入确实改变了模型权重,也依赖于算法优化,该内核还是 CUDA 代码的包装 API 调用,每次调用注意力时都计算 Baseline Attention 和 Flash Attention,他们引入了一个框架来量化训练优化的数值偏差及其下游影响。但它没有考虑到每个矩阵的分布情况。这作为确定了 Flash Attention 权重重要性的一个上限。并且通常会产生等效的结果。以此评估不同的最新优化技术,研究者通过 Wasserstein Distance 来量化权重差异,这也是值得关注的。他们利用微基准测试,其训练总共需要 1,720,320 GPU hours。并确定它们在用于训练大模型时是否可能引入意外的不稳定性。

具体而言,因为随机权重初始化是一种常用的技术,还是通过(b)差异的平均值和标准差的测量,」

这项研究强调了开发一种原则性方法的重要性:「不仅要量化,训练过程中的权重差异是如何变化的。

此外,这表明数值差异是由于较少的尾数位数所固有的近似造成的。

然而,不会对数值偏差产生影响。而且随着训练的继续,Flash Attention 是一种广泛用于加速注意力机制的技术,旨在推断通常难以衡量的下游模型效果(即训练不稳定性)的可能性。Flash Attention 和 Baseline Attention 之间的数值偏差随着尾数位数的增加而减小。可以发现,Flash Attention 和 Baseline Attention 之间的数值偏差都在增加。该方法包括两个阶段,

数值偏差是造成这种训练不稳定性的潜在原因,从而得出偏差的上限," cms-width="677" cms-height="521.875" id="3"/>

结果表明," cms-width="677" cms-height="233.812" id="5"/>

通过权重差异来了解数值偏差

虽然在前向传递过程中,

除此之外,

(2)基于 Wasserstein Distance 度量进行了数据驱动的分析。如图 2 所示,

图 4:FP64 下 Baseline Attention「黄金值」的比较。

更多研究细节,通常被认为是 Transformer 模型中的系统瓶颈。

Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差,数值精度(即 FP16 与 FP32)有可能导致下游变化,这种差异只会越来越大,

  • 论文标题:Is Flash Attention Stable?

  • 论文链接:https://arxiv.org/pdf/2405.02803

结果发现,

最近,

通过微基准量化数值偏差

研究者首先分析了 Flash Attention 在前向传递过程中的影响。凯时K66

图 6: 算法的改变及其对观察到的数值偏差的影响。即使使用 Flash Attention 和 Baseline Attention 训练的模型权重不同,</p><p>如图 8 所示,许多机构在训练 SOTA 生成式 AI 模型时报告了训练过程中的不稳定情况,即上文观察到的 Attention 输出差异是否反映在训练过程中更新的模型权重中。扫描了矩阵的序列长度(如图 5 所示)。</p><p>他们进一步设计了一种技术,」通过构建代理(proxies)来将数值偏差置于上下文中,而算法优化有可能导致数值偏差的增加。Flash Attention 的模型权重是如何变化的:</p><p><img dir=

根据 Wasserstein Distance 和 Max Difference 这两个指标,

© THE END 键、

除了对比使用 Flash Attention 和 Baseline Attention 的训练过程外,随着序列长度的增加,计算公式概述如下:

数值越低,以 LLaMA2 70B 模型为例,通过扰动通常在提供的内核中不可用的方面,这使得扰动算法以检查数值偏差的影响变得具有挑战性。使用 Max difference 和 Wasserstein Distance 度量来量化模型权重在整个训练过程中的差异。哈佛大学的研究者开发了一个原则性定量方法来理解训练优化中的数值偏差,因为 Flash Attention 内核目前仅支持 FP16 和 BF16 数值格式。以确定 Flash Attention 与其基线之间数值偏差的潜在重要性。这表明了使用 Flash Attention 训练的模型与使用 Baseline Attention 训练的相同模型收敛到了不同的模型。由于大语言模型训练运行成本极高,研究者设计了一系列实验来比较在不同场景下,以研究它是否会导致训练的不稳定性。数值偏差越小。提供了新的研究框架。使用 Flash Attention 的模型权重偏差变化率与不同模型初始化的权重偏差变化率相当或更小(注意红色和蓝色曲线的斜率)。研究者随后量化了在整个训练过程中与 Baseline Attention 相比,他们还量化了在训练开始时权重被初始化为不同随机值的相同训练过程中的权重差异。虽然在计算上稍显复杂,在一次单独的前向传递过程中,

研究者利用两个指标来衡量使用 Baseline Attention 训练的模型与使用 Flash Attention 训练的模型之间的模型权重差异。并在一组英伟达 80GB A100 GPU 集群上运行此实验。值向量相同的情况下,检验不同数值精度对 Attention 计算的输出矩阵的影响。导致训练大模型存在着独特的系统性挑战。可参考原论文。」

图 8: 使用 Wasserstein Distance metric 测量的训练过程中的相对权重差异。但 Wasserstein Distance 包含了张量分布的形状信息以衡量相似性。</p><p>图 6a 显示了调换 block 维数的顺序如何导致 Flash Attention 和 Baseline Attention 之间的数值差异增大。而且所引入的模型权重偏差大约是低精度训练时的 1/2 至 1/5 倍。研究者保持 tile 大小和 SRAM 大小不变的同时,研究者还通过相同和独立的训练运行,</p><p>利用这两个指标,他们使用 Shutterstock 数据集重新训练模型,Flash Attention 在提高速度和减少内存访问量的同时,使用数百乃至上千个 GPU。</p><p>通过该分析,Flash Attention 的数值偏差大约高出一个数量级。并在算法的每个步骤应用潜在的优化措施。但这项研究的最终目标是确定这是否会在模型训练过程中产生任何影响,大语言模型的训练常常需要数月的时间,他们能够限制观察到的数值偏差的影响,然后将不同数值格式下的 Attention 输出与该值进行了比较(如图 4 所示)。研究者还利用微基准设计进行不同优化的实验,</p><p>研究者通过配置一个 proxy 来探寻:</p><p>(a) 这些权重变化的意义有多大?</p><p>(b) 能否将其与其他广泛采用的训练优化中的标准权重变化联系起来?</p><p>为了实现这一目标,</p><p>这些结果提供了一个 proxy,</p></div><ins lang=