新闻
DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理快至5.3倍
1 分钟阅读
来源:zhidx.com
智东西 作者 | 王涵 编辑 | 漠影 近期,大模型行业掀起一股 开源自研推理引擎 的浪潮。 10月20日,DeepSeek正式开源生产环境实际使用的推理框架DeepInfer。几乎同时,10月22日,国内AI创业团队 StartLux原点星辉 也对外开源了其 自研推理引擎Prism 。 同样是自研推理系统,DeepSeek的DeepInfer服务于自家通用大模型的云端大规模业务;而Prism则聚焦“决策模型”,据公开资料,其也是 首款专门面向决策模型打造并对外开源的推理引擎 。 决策模型是近段时间快速走红的大模型新赛道。不同于主打对话、内容创作的生成式大模型,决策模型不需要输出大段文本,在读取材料之后, 直接输出判断结果 ,给出是/否、选项选择、风险等级打分这类概率化结论。 自今年9月Jev模型爆火之后,决策模型迅速成为行业焦点,微软、AWS、Cloudflare等企业也相继入局布局。 在国内决策模型赛道,成立尚不足五个月的StartLux原点星辉已经跑出了不错的成绩。10月16日,该团队推出新一代决策模型 StartLux‑Decision-v1.1 ,以 69.1分 登上Hugging Face的Decision Index 0.3.2榜单首位, 在173个公开可复现模型中排名第一 。 截至目前,StartLux决策模型累计下载量 超18万 ,决策模型API已累计响应来自全球 超300万次 决策请求。 Github 推理引擎: https://github.com/StartLuxLabs/StartLux-Prism Github 决策模型: https://githu