... 2024-12-08 07:30 .. 比如AI修图、AI画画，或者唤醒智能助手来完成某些操作（比如询问天气、询问附近好吃、好玩的地方）时，手机需要调用大模型的能力。
但中间有个问题。
如果只是简单把大模型放到手机里运行，会受到算力、运行内存这些因素的限制，高通集团副总裁马德嘉此前曾表示，直接在手机里运行一个100亿参数的模型，至少要占用20GB内存。
如果把大模型全放在云端，又存在安全和隐私风险。
为了解决这一问题，当前业界的主流做法，是云侧大模型和端侧大模型同时运行。
AppleIntelligence大模型调用层次就有三层：一层是在苹果手机上也就是端侧运行的大约30亿参数的语言模型AFM-on-device；另一层是在私有云计算上运行的大规模服务器语言模型AFM-server；第三层才是第三方模型，比如接入百度的文心大模型，接入OpenAI的ChatGPT。
图/申万宏源证券国信证券此前在一则研报中指出 .. UfqiNews ↓
2
本页Url
🤖 智能推荐
