科学家在大模型少样本域适应方面取得进展 #模型

-loading-

听音频 🔊 . 看视频 🎦

... 2024-08-18 21:10 .. 学习范式长期存在的问题之一是下游域的训练样本中仅包含有限且离散的语义信息，无法较好地支持传统可训练提示获得足够监督，使得生成的提示对预训练语言模型的指导变得微乎其微。
    这个问题导致了预训练语言模型在下游域，尤其在少样本场景下性能的下降。
    为此，研究团队从分布视角重新审视了预训练语言模型下游推理的原理，认为训练样本的有限会使得可训练提示只学习到目标域的有偏分布，而有偏分布仅包含部分信息且与目标域的实际分布不一致，这会引起协变量偏移问题，从而导致预训练语言模型产生知识歧义。
    此次新提出的BayesPrompt旨在进行去偏域抽象，利用已知分布来近似下游域的去偏真实分布，再从近似分布中均匀采样代表性特征以生成对预训练语言模型（PLMs）的提示。
    研究团队通过进一步的理论验证，证明了与基准方法相比，BayesPrompt在预训练语言模型的下游推理上获得了更紧致的分类误差上界。
     .. UfqiNews ↓ 16

4416139189

...让研究者在继续努力缓解冰川进一步减少的同时，也带来一个新的研究重点.
    贝尔韦尔德雷冰川消融区和勃朗峰山丘.
    施普林格·自然供图该论文指出，人类导致气候变化的后果之一是冰川减少，导致急剧生态变化和新生态系统发展来填充新出现的栖息地.
    但对这一变化还没有在全球尺度上的分析.
    论文第一作者和通讯作者、法国上萨瓦省自然区域保护区Jean-BaptisteBosson与合作者一起，使用一个全球冰川演化模型研究了南极和格陵兰冰盖之外的65万平方公里冰川在21世纪的预计轨迹.
    他们使用了冰川概况、冰川下地形的数字高程模型和气候数据，预估至2100年每一冰川对气候场景的反应.
    此外该模型还能预测冰消地区新出现的生态系统特征，被分为海洋、淡水或陆地类别.
    该模型预计，在2040年之前无论是哪种气候场景，冰消速率是类似的，此后的差异取决于排放的严重程度.
    在高排放场景下(全球温室气体至2075.. 08-18 00:10 ↓ 45

...很明显说明AI大模型规模与算力基础设施成本之间的鸿沟：1、美国OpenAI公司开发的GPT1.0版本参数量1.7亿，而GPT-4版参数量可能已经超过1万亿，增长速度惊人；2、而GPT-3.5在微软云AzureAI超算基础设施上进行训练，总算力消耗约3640PFlops-days(即按每秒一千万亿次计算，需运行3640天)；3、算力成本当中，一颗台积电量产的3nm芯片成本超过2万美金；4、一个8卡的英伟达A100价格已超过25亿美金；5、2023年1月，ChatGPT使用近3万颗英伟达高端GPU来处理数亿个日常用户请求，此类GPU的单个售价就已高达数万美元，微软旗下由GPT模型支持的新BingAI聊天机器人，仅在算力基础设施搭建环节就花费至少40亿美元，这一数额甚至超过了南苏丹一国的GDP（国内生产总值）.
如今GPT-5预计要用超过10万卡集群设施.
由此可见，.. 11-14 04:00 ↓ 41 ..UfqiNews