张量并行（Tensor Parallelism）
参考文献： Shoeybi M, Patwary M, Puri R, et al. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism[J]. ArXiv, 2020 张量并行（
Nvidia GPU与Huawei NPU
1. Nvidia GPU 参考文献： HeKun-NVIDIA. CUDA-Programming-Guide-in-Chinese[EB/OL]. https://github.com/HeKun-NVIDIA/CUDA-Programming-Guide-in-Chinese. Nvidia.
数据并行（Data Parallelism）
参考文献： Team D, Majumder R, President V, et al. DeepSpeed: Extreme-scale model training for everyone[J]. Microsoft, 2020. Rajbhandari S, Rasley J, Ruwas
通用LaTex数学公式语法手册
MathJax是一款运行于 Web 浏览器当中的开源 JavaScript 数学符号渲染引擎，通过它可以方便的在现代 Web 浏览器当中显示数学公式，目前已经能够解析 LaTex、MathML 等标记语言。MathJax 项目发源于 2009 年，目前由 NumFOCUS 基金会主持，并且得到了 M
最新文章
最新文章