当前位置：网站首页 » 热点 » 内容详情

bf16最新视觉报道_bf16精度(2024年12月全程跟踪)

内容来源：飘花网电影所属栏目：热点更新日期：2024-11-30

bf16

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

「第七届中国国际进口博览会」「AI+新质生产力」AMD在芯片展示区展示了多款高性能产品，有包括： -运行在5Ghz的第五代EPYC处理器- AMD EPYC 9005系列处理器，涵盖所有的新的云工作负载，也满足所有重要的企业工作负载； -适用于专业创意和国内大模型AI计算、为AI 服务器和AI工作站量身打造的Radeon PRO W7900 Dual Slot GPU, 单卡可提供48GB大容量显存； -采用XDNA神经网络架构的、仅用75W功耗即可实现高达404 TOPs算力（Int8精度，202TOPs for BF16）的AMD Alveo V70 AI计算卡。

【Intel Arrow Lake-H笔记本处理器升级新核显：特殊的1.5代架构】将于明年初发布的主流笔记本处理器Arrow Lake-H，核显既不是Lunar Lake系列的二代Xe2-LPG，也不是Meteor Lake、Arrow Lake-S/HX系列的一代Xe-LPG，而是可以视为1.5代。Intel称之为“Alchemist+”，也叫做“Xe-LPG+”，还称为“Xe with XMX”。它源于初代的Xe-LPG，包含后者没有的XMX引擎，支持INT、INT8、FP16、BF16等数据格式，其中INT8、FP16的每时钟周期操作数分别为2048个、1024个。 Xe-LPG+一共配备128个XMX引擎(可视为128个流处理器)，也就是8个Xe核心，还有128个16宽度的矢量引擎，针对AI和能效进行了优化，以及2个几何流水线、8个采样器、4个像素后端。同时，它还有8个增强光追单元、8MB独立二级缓存，对比上代翻番，并完整支持DX12 Ultimate、XeSS。 AI算力最高可达77 TOPS，再加上CPU、GPU，突破100 TOPS将会非常轻松，最高或可接近150 TOPS。 Arrow Lake-H处理器将采用和桌面版一样的Lion Cove P核架构、Skymont E核架构，支持多引擎安全、高性能NPU、Wi-Fi 7和蓝牙5.4、雷电4、高速LPDDR5X内存、PCIe 5.0，采用Foveros 3D整合封装。

GPU高效训练Transformer 目标是在尽可能减少GPU训练成本的同时，最大化模型性能。以下是一些实用的建议： 𐟧 内存优化：在内存有限的情况下，可以通过增加计算成本来减少内存需求。实验表明，在不同内存配置下，通过选择性激活重计算可以显著减少内存需求。 𐟒ᠦ•𐦍𖨡Œ度：使用高质量的互连技术可以增加数据并行度，从而提高总吞吐量。分片优化器可以减少优化器的额外内存，而多维度的数据并行度也非常重要。额外开销应小于等于总内存的20%。 𐟔砦𗷥ˆ精度训练：大多数Transformer模型采用混合精度训练，如fp16+fp32或bf16+fp32，这样可以减少训练模型和推理所需的内存量。 ⚙️ 计算成本：Transformer模型通常用GPU-hours或FLOP-seconds来表示计算成本。如果计算性能低于115 FLOP/S/A100，那么很可能是模型或硬件配置出了问题。通过这些方法，可以在保证模型性能的同时，有效降低GPU训练成本。

神经网络显存优化：你真的需要那么多吗？最近，很多神经网络模型都采用了 BFloat 16（BF16）来存储权重。但你有没有注意到，实际上BF16在8比特的幂中平均只用了2.66比特？这意味着对于那些庞大的模型来说，大量的显存其实是被浪费了。𐟘… 为了解决这个问题，我们开发了一个名为NeuZip的CUDA扩展，它可以压缩掉那些多余的空间，而且不会损失任何精度。更棒的是，它的运行速度非常快，几乎可以和成熟的量化框架相媲美。𐟚€ 你可以通过pip install neuzip来直接使用这个Python包。如果你有能力和意愿，也可以直接修改源代码。我们相信，通过这个工具，你可以更有效地管理神经网络的显存使用。𐟒𞊊欢迎大家加入讨论，一起探索如何让神经网络更高效地运行！𐟤

大模型显存占用计算：参数与优化器状态详解在深度学习中，模型参数量与显存占用之间的关系常常让人感到困惑。为了帮助大家更好地理解这个问题，本文将详细介绍这两个概念的关系。 1️⃣ 参数量与显存的关系 𐟧斥…ˆ，让我们澄清一下概念：1B代表十亿个参数，而1G显存表示十亿字节（byte）。如果使用全精度训练（fp32），每个参数占用32比特，相当于4字节。因此，1B参数对应4G显存。如果采用fp16或bf16精度，显存占用则会减半，即1B参数对应2G显存。 2️⃣ 显存的其他开销 𐟒ኩ™䤺†模型参数本身，训练时的显存还会被其他部分占用，包括梯度和优化器状态：梯度：每个参数对应一个梯度值，显存占用与参数量相同，占用1倍显存。优化器状态：这取决于具体的优化器类型。如果使用裸SGD，不需要额外显存；若使用带动量的SGD，显存增加1倍；如果是Adam优化器，则会增加2倍显存，因为需要储存一阶和二阶动量。 3️⃣ 计算示例 𐟓Š 假设我们训练一个1B参数量的小模型，使用Adam优化器、fp32精度，忽略数据和hidden states部分的显存开销。显存占用如下：参数占用：4G 梯度占用：4G 优化器状态占用：8G 总计：16G显存。如果是bf16精度，则减半，占用8G显存。通过这些信息，你可以更好地估计大模型训练所需的显存量，从而选择合适的硬件设备。

[鲜花]摩尔线程宣布开源高性能线性代数模板库 MUTLASS，以便开发者能够更高效针对摩尔线程全功能 GPU 的 MUSA Core 及 Tensor Core 等单元进行编程，加速基于国产 GPU 的算子开发以及算法创新。 [打call]作为摩尔线程专为 MUSA 架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化开发、优化。针对矩阵乘法及相关变种，MUTLASS 提供了一系列高性能的 C++ 模板组件，并采用了与 muDNN 库类似的分层分解及数据搬运策略，以确保性能的充分发挥。 [微风]在本次开源的版本中，摩尔线程适配了 CuTe 后端库，为其增加了第三代 MUSA 架构的 MMA 计算原语，支持 TF32 / FP16 / BF16 / INT8 等多种数据精度，并以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。网页链接

腾讯今天开了个发布会一股脑的发布了一堆新内容，每个都很牛皮：「ai」 - 元宝 APP 能力更新，增加 AI 搜索应用，支持搜索 QQ 音乐和视频号内容； - 开源最大规模的 MoE LLM Hunyuan-Large； - 开源 SOTA 3D 生成模型，首个支持文生 3D 的模型 Hunyuan3D-1.0 元宝 APP 现在新上线了 AI 搜索能力。同样支持具有推理能力的深度搜索功能，另外也支持了搜索微信生态更多模态的信息，这个太厉害了。在数据层面直接吊打其他家，比如搜索结果里面会有视频号和 QQ 音乐的音频内容。开源最大规模的 MoE LLM Hunyuan-Large。总参数量达到 389B，激活参数量为 52B，预训练模型支持 256K 上下文长度。基准测试和数学推理能力基本超过了所有同规模的大语言模型。 Hunyuan-Large 会上线腾讯云TI平台，同步支持业务自主精调及部署测试。另外还优化了推理架构，显著减少了 GPU 内存使用（KV-Cache 部分节省了 50%），通过 FP8 量化优化，实现与传统 FP16/BF16 量化相比内存使用减少 50%的同时保持精度。 Hunyuan3D-1.0 现在应该是最好的开源 3D 生成模型了，支持文本和图片生成 3D 模型。主要的优势是是非常强的泛化能力，无论是建筑、角色、场景、生物都可以很好的生成。采用两级级联模型架构，标准质量只需要 4 秒就能生成，高精度模型也只需要 7 秒。你现在可以在元宝APP”3D 角色梦工厂“应用里面测试这个模型，上传自己的照片就可以生成跟你一样的多种类型 3D 模型。 Hunyuan3D-1.0：网页链接 Hunyuan-Large：网页链接

完全没提到OpenGL，主机游戏会比高配置的基于计算机的3D游戏主机更省电。游戏显卡的算力似乎对FP64/INT64的支持并不好；不过FP32和INT32也是能用的；但AI算力有种INT8/INT16/FP16/BF16的趋势！ sony和IBM合作的Cell[?]处理器对于图片处理上有优势！索尼最大的危机不是《星鸣特攻》暴毙，而是主机行业不行了？【差评君】「哔哩哔哩动画」索尼最大的危机不是《星鸣特攻》暴毙，而是主...

「特斯拉超话」「自动驾驶」老马家的HW 3，也就是推理硬件(inference，其实更准确说，应该叫“推断”)为何用int8？这个视频讲得不错(【int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06-哔哩哔哩】网页链接)。

专栏内容推荐

600 x 245 · jpeg
BF16 与 FP16 在模型上哪个精度更高呢 - 知乎
素材来自:zhuanlan.zhihu.com

1024 x 368 · jpeg
Bfloat16 – a brief intro - AEWIN
素材来自:aewin.com

743 x 301 · png
Arm Adds Muscle To Machine Learning, Embraces Bfloat16
素材来自:nextplatform.com

1473 x 1037 · png
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net
474 x 123 · jpeg
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】-CSDN博客
素材来自:blog.csdn.net

1665 x 847 · png
BFloat16 — DeepRec latest 文档
素材来自:deeprec.readthedocs.io

1024 x 615 · jpeg
Comparison of Previous Generation of Nvidia GPU A30 vs T4 - AEWIN
素材来自:aewin.com
1480 x 868 · jpeg
从一次面试搞懂 FP16、BF16、TF32、FP32 - 知乎
素材来自:zhuanlan.zhihu.com

474 x 159 · jpeg
用bf16加速ncnn - 知乎
素材来自:zhuanlan.zhihu.com

700 x 293 ·
加速AI深度学习，BF16浮点格式应运而生-EDN 电子技术设计
素材来自:ednchina.com

876 x 553 · jpeg
fp32、fp16、bf16介绍与使用_fp32和fp16算力区别-CSDN博客
素材来自:blog.csdn.net
1200 x 800 · jpeg
What is the difference between FP16 and BF16? Here a good explanation ...
素材来自:medium.com

600 x 172 · jpeg
大模型训练中的 fp32/fp16/bf16、混合精度、训练溢出 - 知乎
素材来自:zhuanlan.zhihu.com

960 x 540 · png
FP16, FP32, BF16, Mixed Precision | Jin’s Tech Blog
素材来自:seobeomjin.github.io

773 x 715 · png
fp32、fp16 與 bf16 - JOYK Joy of Geek, Geek News, Link all geek
素材来自:joyk.com
2832 x 1770 · jpeg
[番外] float16 与 bf16 表示和计算细节
素材来自:xbeibeix.com

850 x 473 · png
Analysis result under FP16, BF16, and INT16 | Download Scientific Diagram
素材来自:researchgate.net

600 x 659 · jpeg
一文搞懂BF16和Broadcast机制 - 知乎
素材来自:zhuanlan.zhihu.com
640 x 640 · jpeg
Analysis result under FP16, BF16, and INT16 | Download Scientific Diagram
素材来自:researchgate.net

1024 x 687 · jpeg
PRR 9744, BF-16, 1960
素材来自:rrpicturearchives.net
320 x 320 · jpeg
Resource consumption comparison of the INT16, FP16, and BF16 ...
素材来自:researchgate.net

1200 x 817 · jpeg
BFloat16 Deep Dive: ARM Brings BF16 Deep Learning Data Format to ARMv8 ...
素材来自:tomshardware.com
1024 x 702 · jpeg
5485.1337966504.jpg
素材来自:railpictures.net

542 x 305 · png
Accelerate PyTorch with IPEX and oneDNN using Intel BF16 Technology ...
素材来自:oneapi.io

850 x 167 · png
Comparison BFLOAT16 numeric format with IEEE-754 FP32 and FP16 formats ...
素材来自:researchgate.net

1200 x 600 · png
set fsdp and bf16 don't save memory · Issue #22821 · huggingface ...
素材来自:github.com

1000 x 1000 · jpeg
BF16 - British Expeditionary Force - Officer, Piper, and Boys AT rifle ...
素材来自:shqltd.com
474 x 218 · jpeg
大模型训练中的 fp32/fp16/bf16、混合精度、训练溢出 - 知乎
素材来自:zhuanlan.zhihu.com

1024 x 660 · jpeg
PRR 2015, BF-16, 1958
素材来自:rrpicturearchives.net
1024 x 680 · jpeg
bf16 | daniel piccoli | Flickr
素材来自:flickr.com

700 x 525 · jpeg
EM MOTO | Givi - BF16
素材来自:em-moto.com
1024 x 674 · jpeg
PRR 9728, BF-16, c. 1958
素材来自:rrpicturearchives.net

800 x 1418 · jpeg
HD bf16 wallpapers | Peakpx
素材来自:peakpx.com
999 x 562 · png
Bfloat16 Optimization Boosts Alibaba Cloud BERT Model Performance on ...
素材来自:community.intel.com

859 x 403 · jpeg
GCC 和 LLVM 已支持 x86__Bfloat16 类型 - 知乎
素材来自:zhuanlan.zhihu.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)