... 2024-12-08 07:30 .. 比如AI修图、AI画画,或者唤醒智能助手来完成某些操作(比如询问天气、询问附近好吃、好玩的地方)时,手机需要调用大模型的能力。
但中间有个问题。
如果只是简单把大模型放到手机里运行,会受到算力、运行内存这些因素的限制,高通集团副总裁马德嘉此前曾表示,直接在手机里运行一个100亿参数的模型,至少要占用20GB内存。
如果把大模型全放在云端,又存在安全和隐私风险。
为了解决这一问题,当前业界的主流做法,是云侧大模型和端侧大模型同时运行。
AppleIntelligence大模型调用层次就有三层:一层是在苹果手机上也就是端侧运行的大约30亿参数的语言模型AFM-on-device;另一层是在私有云计算上运行的大规模服务器语言模型AFM-server;第三层才是第三方模型,比如接入百度的文心大模型,接入OpenAI的ChatGPT。
图/申万宏源证券国信证券此前在一则研报中指出 .. UfqiNews ↓
1
本页Url
🤖 智能推荐