股票配资打新 国内头部大模型公司谈Llama3:成功的开源模型都会是Dense模型而不是MoE模型;AI浪潮下存储原厂持续强势涨价


发布日期:2024-08-06 16:37    点击次数:112

  财联社AI daily 4月22日讯今日AI daily早新闻主要内容有:国内某头部大模型创业公司系统负责人在谈及对Llama3的评价和感悟时表示,成功的开源模型都会是Dense模型而不是MoE模型,初创公司如果是自己做模型的股票配资打新,现在还继续弄Dense是比较危险的;有消息称,TikTok准备解聘该公司及字节跳动驻美国的总法律顾问埃里希·安德森,一位TikTok发言人表示,这100%为不实消息;有报道称,盒马创始人侯毅和阿里巴巴前CEO张勇有意联手竞购盒马,出价20亿美元,知情人士称该消息不实。

  ▍成功的开源模型都会是Dense模型而不是MoE模型

  美国巨头Meta推出了新版本Llama人工智能模型Llama3,被业内称为截至目前最强开源大模型。国内某头部大模型创业公司系统负责人在谈及对Llama3的评价和感悟时表示:

  1、成功的开源模型都会是Dense模型而不是MoE模型

  2、初创公司如果是自己做模型的,现在还继续弄Dense是比较危险的

  大背景是MoE模型需要一些特殊的微调技术和工程优化手段才能用得好。对于想用开源模型做点应用,但训模型没那么专业的人来说,还是Dense友好得多,MoE模型大概率是玩不转的。看过去最成功的开源模型是哪些,MoE的开源模型是否被广泛使用,大家心里就有数了。

  Meta应该也清楚这点。又已知Meta的目标就是最大化开源受众,那么Llama系列就必然会用最经典的结构,通过大量数据和大算力(都是Meta的资源优势)达成经典结构经典尺寸的最佳性能。

  至于Grok等几千亿参数的开源模型,基本作秀成分为主,并不指望多少人真的去用。开源社区又有多少人玩的转这样的MoE呢?

  说回到模型公司和技术本身。MoE就是个拿算法技术换成本的手段。相对于Dense模型,MoE架构能以较低的训练推理成本达到同等效果,只是技术要求较高。这将会是闭源模型公司的重要优势之一。

  而还在搞Dense模型的公司,恐怕受Llama 3及未来类似模型的冲击会更直接更大。

  ▍TikTok回应“将解聘驻美国总法律顾问”传闻:100%为不实消息

  有市场消息称,TikTok准备解聘该公司及字节跳动驻美国的总法律顾问埃里希·安德森(Erich Andersen),后者多年来牵头与美国政府沟通以应对后者有关“国家安全”的担忧和指控,但效果不甚理想。另有消息称,安德森已告知其他高管自己已准备辞职,但会留任到公司找到合适的接任者。一位TikTok发言人在被问及公司是否会解除安德森的职务时表示:这100%为不实消息。

  ▍报道称侯毅、张勇要20亿美元联手买下盒马,知情人士:消息不实

  4月21日,有报道称,盒马创始人侯毅和阿里巴巴前CEO张勇有意联手竞购盒马,出价20亿美元。据澎湃新闻从接近侯毅方面的知情人士处得知,该消息不实,“胡说八道,根本没这个事情。包括前面说什么盒马被中粮收购,也是胡说八道。”该人士说。

  ▍印度网约车公司Ola Cabs寻求以50亿美元的估值IPO 拟筹资5亿美元

  4月20日,知情人士称,软银支持的印度网约车公司Ola Cabs计划IPO,寻求以近50亿美元的估值筹资5亿美元。据悉,Ola Cabs正与高盛、美国银行、花旗、印度Kotak和Axis等投行洽谈,计划在一个月内任命IPO顾问,目标3个月内向印度市场监管机构提交申请文件。

  ▍AI浪潮下存储原厂持续强势涨价

  据财联社报道,从去年Q3开始,存储原厂集体通过控产强势涨价已不是秘密。今年,存储产业仍在强势回暖,行业逐渐走出阴霾。

  江波龙(301308.SZ)证券部人表示,目前,存储原厂减产及价格上涨,给整个行业带来良好发展趋势;此外,AI应用落地也会给存储行业带来一定的拉动作用。另外,佰维存储(688525.SH)、澜起科技(688008.SH)等多家存储产业链厂商净利润翻倍。进入Q2,有AI企业芯片采购人士告诉财联社记者,本季度DRAM还存在大幅涨价情况。TrendForce集邦咨询认为,在AI需求快速成长之下,用于企业级GPU生产的HBM供给方面较仍有缺口,HBM目前市场仍属供不应求。

  ▍中文在线:2023年净利润8943.69万元,同比扭亏

  中文在线4月21日晚间披露年报,2023年实现营业收入14.09亿元,同比增长19.44%;净利润8943.69万元,上年同期亏损3.62亿元;基本每股收益0.12元。

  ▍蓝色光标:2023年净利润1.17亿元,同比扭亏

  蓝色光标披露年报股票配资打新,2023年实现营业收入526.16亿元,同比增长43.44%;净利润1.17亿元,上年同期亏损21.75亿元。公司拟每10股派发现金红利0.1元(含税)。公司同日披露一季报,2024年第一季度实现净利润8232.47万元,同比下降44.65%。