新语言模型学会读取“另类文本”

-loading-

听音频 🔊 . 看视频 🎦

... 2024-04-09 01:30 .. 生物序列的微小变化也可使序列编码产生巨大差异。
    科学家将遗传信息的流动总结为“生物学中心法则”：信息从DNA转移到RNA再到蛋白质，蛋白质创造活细胞的结构和功能。
    mRNA在最后一步（称为翻译）将信息转化为蛋白质。
    mRNA只有一部分包含蛋白质代码，其余部分不进行翻译，但控制翻译过程的重要方面。
    控制蛋白质生产效率是mRNA疫苗发挥作用的关键机制。
    在对少数物种进行模型训练后，研究人员生成了数百个新的优化序列，并通过实验验证了这些结果。
    最佳序列的性能优于疫苗开发的多个领先基准，其中蛋白质生产的整体效率提高了33%。
    研究团队使用经过训练的模型创建了包含211个新序列的库，每个都针对所需功能进行了优化，提高了翻译效率。
    这些蛋白质，如新冠疫苗靶向的刺突蛋白，可驱动针对传染病的免疫反应。
    新模型是第一个专注于mRNA非翻译区域的语言模型。
    研究人员表示，即使是少量提高蛋白质生产效 .. UfqiNews ↓ 1

... 10-11 15:17 , 217 , 221 ..
5 循环神经网络循环神经网络也被称为时间递归神经网络（Recurrent neural network）在前面讨论的卷积神经网络，无法利用历史数据的时间依赖关系，来分析数据特征，对于二维图像来讲，我们已经知道局部感受视野这种空间信息是识别问题的核心，在另外一些与时间相关的问题中，输入的数据是基于时间的序列，卷积网络就无能为力了.
    这时候，核心问题是需要了解数据的时间序列关系，实际上，RNN最早是由Hopfiled网络启发变种而来，因此有些类似Hopfiled的联想记忆功能.例如，如果我们试图预测一下“天空飞过一只__”这句话最后一个词是什么？利用前面输入的一连串的历史信息：“天空飞过一只”，我们就能大致猜出最后一个词可能是某种具有飞行功能的事物，历史(时间信息)对于我们推测未来，是极有帮助的，不可轻易抛弃.
    而RNN的核心诉求之一，就是能将以往的信息连接到当前任务之中.
    RNN模型有比较多的变种，一种主流的RNN模型结构如 ... 理解计算：从根号2到AlphaGo -23: 第8季深度学习发展简史-4 ⟶

... 04-20 02:37 , 2655 , 191 ..
RAII - Resource Acquisition Is Initialization[1] 是个听起来高深莫测不知所云，但实际理解起来并不困难的概念.
    我们在理解一个新的解决方案的时候，先深入了解它面临的问题，再看之前的解决方案（prior work），然后再看它是怎么解决同样的问题，最后比较优劣.
    这大概是做研究的通识，也是我们从本原去真正理解事物的最佳途径.
    如果要找计算机历史上最离谱的缩略词，RAII 一定会榜上有名，从嘴里吐出这个词却不做额外解释，除了用于居高临下地吓唬初学者，似乎别无他用.
    Resource Acquisition Is Initialization，中文翻译为「资源获取即初始化」，无论中英文，都很难让人明白它的真实含义.
    但这里有个词值得我们警觉：资源.
     这里的资源，是指文件，锁，套接字等由操作系统提供给应用程序的，数量有限的东西.
    虽然内存往往也是操作系统提供的一种资源，但它的处理和上述其它资源还是有许多不同.
    在我的上一篇文章《透过 Rust 探索系统的本原：编程语言》里， ... 透过 Rust 探索系统的本原-6：RAII ⟶