最新消息:首页公告!

新突破!非Transformer架构AI模型Liquid亮相,或将重塑智能领域格局?

浏览 共有条评论 关键词:架构,模型
新搜索营销


新突破!非Transformer架构AI模型Liquid亮相,或将重塑智能领域格局?

在深度学习及自然语言处理领域,Transformer架构因其出色的自注意力机制而被广泛应用,诸如OpenAI的GPT、meta的BART及谷歌的T5等顶尖模型均基于此设计。然而,Liquid AI却选择了一条不同的道路。

受“交通信号处理系统”与“数值线性代数”的启发,Liquid AI对其模型架构进行了大胆革新。新推出的LFM模型主打“通用性”,能够灵活应对不同类型的数据建模需求,包括视频、音频、文本、时间序列乃至交通信号等多种内容格式。

相较于传统的Transformer模型,LFM系列在处理大量输入时展现了显著的RAM使用优势。由于Transformer在处理长输入时需存储庞大的键值缓存,导致RAM占用随序列长度急剧增加。而LFM则通过高效的数据压缩技术,大幅降低了对硬件资源的依赖,使得在相同硬件环境下能够处理更长的数据序列。


新突破!非Transformer架构AI模型Liquid亮相,或将重塑智能领域格局?

在性能表现上,LFM系列模型同样令人瞩目。据悉,LFM-1.3B已在多项基准测试中击败了包括苹果OpenELM、meta Llama 3.2、微软Phi 1.5及Stability Stable LM 2在内的多款领先模型。而LFM-3.1B更是跨越了规模界限,在某些特定任务中甚至超越了更大规模的7B与13B模型,其性能已凌驾于谷歌Gemma 2、苹果AFM Edge等顶尖模型之上。

至于LFM-40.3B,该模型在规模与输出质量间取得了精妙平衡。尽管拥有高达400亿个参数,但在实际推理过程中仅激活了120亿个参数。Liquid AI解释称,这一限制举措旨在确保模型输出的高品质,同时提升运行效率并降低硬件配置要求。

转载请注明:可思数据 » 新突破!非Transformer架构AI模型Liquid亮相,或将重塑智能领域格局?

人工智能数据标注服务
留言与评论(共有 条评论)
昵称:
匿名发表 登录账号
                 
   
验证码:
后台-系统设置-扩展变量-手机广告位-手机广告位-内容广告位三