一文看懂MoE的前世今生，大模型的未来它说了算？

-loading-

听音频 🔊 . 看视频 🎦

... 2024-05-03 15:10 .. 进一步提升了模型训练和推理过程的效率。
    MoE发展至今，离不开两个研究领域对其所做的巨大贡献：专家作为关键组件与条件计算。
    前者让MoEs成为更深层次网络的组成部分，让MoEs可以灵活的作为多层网络中的某个层级存在，实现模型的大规模化与高效率并存；后者通过动态激活或关闭输入每一层级的数据从而实现数据的高效处理。
    MoE的加入让整个神经网络系统就像一个大型图书馆，每层都有不同类型的书籍和专业的图书管理员，门控系统（图书馆的智能导引系统）会根据读者的不同需求，将他们引导至最合适的楼层（多层网络中的某一层级），而这一过程也不断根据数据特点进行实时动态处理。
    MoE虽然能够高效地进行预训练并且在推理速度上超越密集型模型，但同时也面临一些挑战。
    稀疏专家模型领域的权威研究人员BarretZoph、IrwanBello等人指出，每个encoder（光栅）的专家虽然学习到了一部分t .. UfqiNews ↓ 1

... 10-11 15:05 , 215 , 226 ..
3.2 受限玻尔兹曼机所谓“受限玻尔兹曼机”（RBM）就是对“玻尔兹曼机”（BM）进行简化，使玻尔兹曼机更容易更加简单使用，原本玻尔兹曼机的可见元和隐元之间是全连接的，而且隐元和隐元之间也是全连接的，这样就增加了计算量和计算难度.
    “受限玻尔兹曼机”（RBM）同样具有一个可见层，一个隐层，但层内无连接，层与层之间全连接，节点变量仍然取值为0或1，是一个二分图.
    也就是将“玻尔兹曼机”（BM）的层内连接去掉，对连接进行限制，就变成了“受限玻尔兹曼机”（RBM），这样就使得计算量大大减小，使用起来也就方便了很多.
     图5 受限玻尔兹曼机.webp

... 理解计算：从根号2到AlphaGo -21: 第8季深度学习发展简史-2 ⟶

... 10-11 15:17 , 217 , 221 ..
5 循环神经网络循环神经网络也被称为时间递归神经网络（Recurrent neural network）在前面讨论的卷积神经网络，无法利用历史数据的时间依赖关系，来分析数据特征，对于二维图像来讲，我们已经知道局部感受视野这种空间信息是识别问题的核心，在另外一些与时间相关的问题中，输入的数据是基于时间的序列，卷积网络就无能为力了.
    这时候，核心问题是需要了解数据的时间序列关系，实际上，RNN最早是由Hopfiled网络启发变种而来，因此有些类似Hopfiled的联想记忆功能.例如，如果我们试图预测一下“天空飞过一只__”这句话最后一个词是什么？利用前面输入的一连串的历史信息：“天空飞过一只”，我们就能大致猜出最后一个词可能是某种具有飞行功能的事物，历史(时间信息)对于我们推测未来，是极有帮助的，不可轻易抛弃.
    而RNN的核心诉求之一，就是能将以往的信息连接到当前任务之中.
    RNN模型有比较多的变种，一种主流的RNN模型结构如 ... 理解计算：从根号2到AlphaGo -23: 第8季深度学习发展简史-4 ⟶

+模型 +架构 +专家 +训练 +开发者

本页Url

↗ 读全文 +评论✍️

↖ 回首页 ↘ 下一篇

👍¹⁰ 仁智互见 👎¹