0
「雷峰网(公众号:雷峰网)消息」今天,月之暗面官方宣布:继 11 月 16 日发布数学模型 k0-math 后,他们又推出了新的视觉思考模型 k1,且「数理化」的能力又上了一个新台阶,实测结果丝毫不输 OpenAI o1!
最直接的实测例子是:当我们把杨振宁、伽利略等世界知名科学家的研究手稿拍照、上传后,k1 居然能识别图片中的文字,生动解读背后的物理、天文学等科学知识,从而回答用户的提问并给出清晰完整的推理思考过程。
例如,当我们上传杨振宁的手稿并向 k1 提问,k1 给出了超乎小编知识范畴所能辨真伪的答案:
这是杨振宁的手稿图片——
这是我们的询问:这是物理学家杨振宁的手稿照片,请你一步一步分析,杨振宁在计算什么,他可能在想什么,当时可能是什么背景?
这是 k1 的回答:
上下滑动查看长图
虽然小编既不懂电磁场、也不懂粒子动力学,但看完 k1 的答案着实大吃一惊!
并忍不住发出灵魂叩问:图灵测试面对大模型还有效吗?人类读者面对这样的问题怎么区分 k1 与尔等用户的区别?当 AI 大模型不断进化,假以时日图灵测试的标准答卷是否会变成:同一个问题的两个不同答案,答案更高明的永远盲选「机器」、答案更普通的永远盲选「人类」……
更重要的是:从数学模型 k0 到视觉思考模型 k1,月之暗面(Kimi)仅用了一个月!
据了解,k1 是基于 k0 的模型升级。k0-math 模型数学能力出众,但由于仅支持 LaTeX等格式的文本输入,依赖图形理解能力的部分几何图形题无法解决。而新的 k1 视觉思考模型借助端到端的图像理解能力,解锁了包括几何题在内更加全面的数学能力。
当多模态智能不断进化,视觉模型的推理能力从文本拓展到「数理化」,我们可以大胆猜想:Kimi 大模型不仅能轻松解决传统的文本与图像信息对齐问题,连谢尔顿怎么教佩妮学物理的难题都能解决了!
自 2021 年 1 月 OpenAI 发布 DALL·E 及图文对齐架构 CLIP 以来,事实上业内针对图像-文本任务的双模态信息对齐与处理提出了多样化的解决思路,并发表了大量工作。
但过去三年来,这些模型的特征局限在文本数据上:
首先,以生成为主,如文生图任务,强调图文对齐、而非推理。例如,国内有大批厂商早在今年上半年就已推出看图说话功能,主要应用在旅游景点介绍、拍照生成搭配诗词歌赋等,缺少较强的常识认知与逻辑推理等能力。
其次,不具备一步一步拆解分析数理化问题的思维链能力,没有将基础大模型的语义理解与数理化问题的深度思考需求结合起来。
此外,撇开底层基础模型的能力差异不说,由于推理模型的产品体验不如纯文生图或图生视频等来得直观,模型的思考能力需要结合模型的文本输出能力来获得一手观感。而其中,长文本是展示模型推理的最佳方式之一。
而 Kimi 今天发布的视觉思考模型 k1 ,基于强大的基础模型,就从答案输出的长文本能力体现了其在多模态推理上的跃升。
值得注意的是,这也是国内首个视觉思考模型!
不同于以往国内外发布的推理模型,k1 的推理能力有两大优势:一是数理化能力杰出,二是视觉识别与逻辑推理能力强强结合。
首先,根据官方数据披露,在 k0-math 数学模型的基础上,k1 的能力不仅扩大到了数学领域中的几何图形方向,还增加了物理、化学等基础科学能力。
在基础教育各阶段的几何和图形题专项基准能力测试中,k1-preview 成绩打平或超过了 OpenAI 的 o1 模型:
结合端到端图像理解和深度思维链推理技术,在数学、物理、化学等基础教育学科的基准能力测试中,初代 k1 模型表现接近或超过 OpenAl o1、GPT-4o 以及 Claude 3.5 Sonnet 等领先视觉模型,达到了全球一流水平:
此外,k1 还具备超强的视觉识别能力,并将视觉识别能力与语言推理能力强强结合!
k1 可以准确识别强噪声干扰下拍摄的图片信息,包括但不限于灰暗灯光下拍摄、拍摄有阴影、拍摄书本弯折起伏、拍摄模糊或虚化、有手写字迹干扰等等传统视觉识别也难以解决的场景:
在推理模型的实际应用中,除了文本识别,涉及到公式与图形的理工类图文信息识别往往是用户直接拍照输入解答。
传统基于文本的推理模型,或者不支持图像信息输入,或者需要借助外部 OCR/视觉模型进行转换,效果有明显损失。而 k1 的视觉部分针对这一问题进行了显著改善。
据 AI 科技评论了解,学生群体一直是 Kimi 用户数最广的群体之一,更是 Kimi 崛起的重要幕后推手之一。本次 k1 的视觉思考能力,精准捕捉了学生拍照识题并深度解读的需求,将成为扫描王等产品的强有力竞争对手!
基准测试数据显示,在复杂拍摄条件下,例如照片图像不清晰、多题一起拍、手写字迹干扰,甚至纯手写的题目等场景,k1 模型相比 OpenAI 和 Anthropic 的视觉思考模型,有更显著的领先优势:
相较 k0 的数学能力,k1 解锁数理化并结合视觉识别与推理的能力,显然拥有更广阔的应用场景。其中,最震撼的是 k1 居然能解读诺贝尔奖级别的科学家研究手稿或笔记!
除了开头的杨振宁手稿,k1 的发布还掀起了一批对伽利略、钱学森等科学家的手稿识别风:
先看伽利略的天文学研究。输入一张伽利略的意大利语笔记图片:
询问 k1:请一步步推测一下这个笔记的作者是谁,笔记内容在讲什么?
k1 的回答如下:
答案简直逆天有木有!
k1 视觉模型的体验入口已经放在 Kimi 首页,为此小编也抓紧去体验了一下来自科学家的大脑暴击!
接着我又去网上找了几张科学家的手稿照片,这是钱学森的:
我心想图片这么模糊、字迹这么别具一格,k1 总该难倒了吧,结果,k1 不仅精确识别!还逻辑清晰!振振有词!
对于尔等文科生来说,这就好像能带计算机进考场考数学一样,以后行走江湖岂不是轻轻松松纵横四海?(狗头护身)
看到 k1 这么轻松就能解答复杂的数理化研究笔记,小编又忍不住思考:k1 能解答科学家手稿,那能解答抽象的现代美术展馆的艺术展品吗?让我来试试。
输入莫奈的《睡莲》,k1 解读依然完美:
不过,当我输入莫奈另一幅由于战乱辗转导致残缺的《睡莲》画作与今年香港巴塞尔艺术展上颇受关注的油彩笔所画真人画作时,k1 的表现则没有解读科学家笔记时那么深刻、严谨,原因或许是因为训练数据不足。
但在对未知或不那么熟悉的知识领域,k1 也能以拟人、优美的文字表达,展示一步一步思考问题的能力:
输入莫奈残缺版睡莲:
k1 的解读如下:
在处理包含复杂信息的图像上,k1 的能力无疑是当前国产模型的先锋,尤其在包含复杂公式与几何图形的数理化问题上。相比艺术作品,后者更能体现底层模型的逻辑推理能力。
而从用户的体验角度评价,由于 k1 结合了思维链与长文本技术,无论面对理科还是文科问题时都能给出一份展示完整思考过程的答案,在人机交互的产品创新上依然能给我们带来新意。
大模型冲刺 AGI 的下一步趋势,主要有三块:多模态、推理与 AI 的自我学习。
这三块中的每一块难题攻关,都是挑战重重;而 k1 的发布,至少体现了月之暗面攻克 AGI 的两个重大命题,即多模态与推理,更是难上加难,尤其 k1 将两者结合,无论是技术还是产品上都体现出了月之暗面团队持续的创新能力。
今年下半年起,月之暗面在 Kimi 产品上频频推出新功能:
10 月,Kimi探索版革新「AI搜索」,强调AI的自助搜索能力,瞄准传统搜索引擎的弊端,解决了大量 AI 搜索不痛不痒「拼凑大量信息」问题,重新定义了「AI搜索」。
11 月,上个月的今天月之暗面发布了数学模型 k0-math,其数学能力对标 OpenAI o1 系列。
12 月,今天月之暗面在 k0-math 模型的基础上再推出视觉思考模型k1,数理化能力再上一个台阶。
可以看到,这家大模型公司正在以月为单位的速度推出新技术、更新Kimi产品细节。
一年前,月之暗面发布了支持输入 20 万汉字的智能助手产品 Kimi,创造了 C 端 AI 所支持的上下文输入长度的新纪录,以「长文本」策略一举打响了 C 端 AI 产品市场,赢得一大批用户,也给其他大模型公司带来不小压力。
之后,Kimi的产品能力和技术实力万众期待,整个业界都在期待 Kimi 的下一个动作会是什么,但在之后的整整十一个月里,Kimi都没有任何新的技术发布。
而在这段时间里,Sora、GPT-4o、GPT-o1等现象级产品一次次点燃大众的热情,整个大模型领域都在跟进,每天谁家又做出来「类 Sora」 产品、谁家又超过GPT-4o……好不热闹。
在GPT-o1发布后,其推理能力惊艳,主要体现在数学与编程上。这不仅涉及到思维链的 scale-up,模型推理能力的数据来源、以及背后的训练方法也十分关键。
早在今年 4月底清华人工智能学院的成立大会上,多模态方向领先研究者、京东技术副总裁何晓冬就预测过,下一代大模型的训练大概率是通过模型生成的数据和标注、以及模型互相对抗这条“类强化学习”技术路线来推进。
k0-math 发布时,杨植麟也提出,基于强化学习的 scale-up 比简单预测下一个 token更能提升 AI 模型的思考能力,他认为多模态最重要的也是思考与交互,但思考的重要性远大于交互,思考决定了上限。
基干强化学习技术,AI模型具备像人一样思考的潜力:在遇到问题时,首先分析问题,并提出不同的解法,然后根据不同的解法进行不断试验、反思并改进。
自 AlphaGo 开始,深度强化学习一直被视为实现 AGI 的关键路径之一。但在过去,由于深度强化学习有两大缺陷:一是样本效率与计算效率低,二是算法安全性与鲁棒性低,其不适用于解决现实世界中交通、医疗、金融等关键领域的智能决策问题,因为这些领域的容错率低、一旦出错则风,险极高。
但大模型时代到来后,结合大模型的语义理解与 2022 年出现的思维链技术后,强化学习有了新的生命。通过在大模型产品交互中引入强化学习的过程奖励机制,对模型的推理过程进行逐步激励与惩罚,激励模型生成更详细、质是更高的推理过程。
Kimi 将基于强化学习技术的新一代模型,称为“思考模型”。
这是月之暗面创始人杨植麟技术路线思考的直观体现。
而在明确强化学习与AI思考能力放下之前,月之暗面也经历过战略调整,但最终决定要聚焦,聚焦Kimi。杨植麟称,这是他们主动做了业务减法的结果,聚焦去做离 AGI 上限最高的事情,然后做好。
从 k0 到 k1,月之暗面都给国内的大模型发展带来了惊喜,k1 之后,k2、k3、k4…会如何迭代呢?作为技术的领跑者,Kimi 正在定义属于自己的 AGI 路线。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。