《电子技术应用》
您所在的位置:首页 > 人工智能 > 业界动态 > 上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型

上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型

2024-04-18
来源:智东西

4 月 17 日消息,今日,上海多模态大模型独角兽 MiniMax 正式推出 abab 6.5 系列模型,包含 abab 6.5 和 abab 6.5s 两个模型。

MiniMax 成立于 2023 年 1 月,是当前国内估值最高的大模型公司之一。今年 3 月,MiniMax 完成阿里参投的新一轮融资,投后估值超过 25 亿美元。此前米哈游、腾讯均有投资 MiniMax。

在 MoE 尚未成为行业共识时,MiniMax 已经押注 MoE 路线,今年 1 月发布其首款基于 MoE 架构的 abab 6,并在过去 3 个月潜心研发出性能更强的万亿参数 MoE 模型 abab 6.5,在核心能力测试中接近 GPT-4、Claude 3 Opus、Gemini 1.5 Pro 等顶尖大语言模型。

1.jpg

标注星号的是 MiniMax 调用 API 测试得到的结果,其余分数来自对应的技术报告。

abab 6.5 和 abab 6.5s 采用相同的训练技术、数据,支持 200k tokens 上下文长度。abab 6.5s 更高效,1 秒能处理近 3 万字的文本。

MiniMax 在 200k tokens 内进行了业界常用的 " 大海捞针 " 测试。在 891 次测试中,abab 6.5 均能正确回答。

MiniMax 团队称找到了越来越多加速实现 Scaling Laws 的途径,包括改进模型架构、重构数据 pipeline、训练算法及并行训练策略优化等。今天发布的 abab 6.5 和 abab 6.5s 是其加速 Scaling Laws 过程的阶段性成果。

abab 6.5 系列模型会滚动更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台上。


Magazine.Subscription.jpg

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。