大模型让让,小模型登场丨科创要闻
4 月 23 日,大模登场微软推出小语言模型(SLM)Phi-3系列,型让有Phi-3-mini、模型Phi-3-small、丨科Phi-3-medium三个版本,创闻在评估语言、大模登场编程、型让数学能力等的模型基准测试中,Phi-3系列模型表现优于同等规模甚至更大规模模型(如GPT-3,丨科5)。微软称其是创闻目前同类中最强大且最具成本效益的小型语言模型。
Phi-3模型的大模登场“小体积”,让手机上运行高能力的型让语言模型成为可能。如Phi-3-mini只占用手机18GB内存,模型如在iPhone 14上部署,丨科苹果的创闻A16仿生芯片在设备上脱机运行,可以实现每秒超过12个token。
自2022年12月ChatGPT爆火之后,科技公司们一头扎进了大型模型的竞争,2023年接连刷新模型参数,2024年开始“内卷”长文本。大家似乎默认数据越多、参数越大、算力越强,模型的能力越强。
但是,高昂的运行成本、具体场景模型调试难度等问题,让大模型商业化的路径慢下来。此时小模型的优势就体现出来了。
小模型,目前某些领域也能接近大模型的性能。特别是在各手机和PC厂商正在力推的AIPC、AI手机上,对设备计算能力、运行能力、储存能力要求较低,能在地化运行的小模型,的确是不错的选择。
其实早在2023年6月份,微软就发布了第一代Phi模型,Phi-3系列已经是其第四代产品。近期,苹果公司也凑了小模型的热闹。
2024年4月24日,在大模型上没有什么动静的苹果公司,发布开源小语言模型OpenELM,包括
(责任编辑:教育)
-
2025年1月1日,我国新反洗钱法正式落地实施。当月,中国人民银行公布针对四家大型和中型银行的千万元以上的大额罚单。南方周末新金融研究中心研究员通过南方周末“牧羊犬—中国金融业合规云平台”下称“牧羊犬 ...[详细]
-
-不到200米的距离就有20多把地锁。-有人私自建起停车位。海峡网讯(厦门晚报记者叶芷蔚)近日,市民黄女士向本报市民热线5589999反映,在自然家园小区南门外的公共用地上,有不少人私设地锁占车位,还 ...[详细]
-
-“丝路海运”的品牌效应不断放大,平台吸引力日益增强。海峡网讯 文/厦门晚报记者 高金环 图/陈立新) 作为我国首个以航运为主题的“一带一路”国际综合物 ...[详细]
-
-“丝路海运”的品牌效应不断放大,平台吸引力日益增强。海峡网讯 文/厦门晚报记者 高金环 图/陈立新) 作为我国首个以航运为主题的“一带一路”国际综合物 ...[详细]
-
记者19日从最高人民检察院获悉,湖南省人大常委会原党组成员、副主任彭国甫涉嫌受贿一案,由国家监察委员会调查终结,移送检察机关审查起诉。日前,最高人民检察院以涉嫌受贿罪对彭国甫依法作出逮捕决定。该案正在 ...[详细]
-
陈芬芳为儿子做的早餐。海峡网讯 文/图厦门日报记者 邓宁) 馒头化身萌态十足的小兔、饼干犹如英姿飒爽的大象、胡萝卜就像暖意融融的圣诞老人……翻开陈芬芳给四岁儿子制定的食谱, ...[详细]
-
执法人员出海巡查时,遇到了白海豚。海峡网讯(海西晨报记者郭钦转通讯员乐世和严生欢)“暂停,减速,船头11点钟方向有一群白海豚正向我们游来!”2月15日上午,市海洋综合行政执法支 ...[详细]
-
去年厦门海关监管进出口货物总值超9000亿元 记者郑璜通讯员厦关宣海峡网讯福建日报记者郑璜通讯员厦关宣)记者从近日召开的2019年厦门海关工作会议上获悉,2018年,厦门海关共监管进出口货物总值900 ...[详细]
-
最高级别台风红色预警发布: “贝碧嘉”明天将登陆,江浙沪有大暴雨
中央气象台9月15日18时发布台风红色预警:今年第13号台风“贝碧嘉”的中心今天15日)17时位于上海市东偏南方大约435公里的东海海面上,就是北纬30.2度、东经125.8度,中心附近最大风力有13 ...[详细]
-
-南湖公园多块草坪已经封闭。谢雨真摄-白鹭女神附近的草坪。骏艺摄海峡网讯 厦门晚报记者 谢雨真) 前几日,本报《植物园南洋杉草坪“休假”》的报道引发市民关注。记者从园林部门了解 ...[详细]