【阅读】思维框架
思维框架
永远待在自己的能力圈范围内
不要对自己不理解的事情做决策,如果一定要决策,至少简单学习一下,包括看书和查资料,或者向有经验的人请教;但请教并非让对方直接给你决策,而是在自己经过调研后,带着问题出发,问题可以设计的由浅入深,先问自己了解的问题试探对方是否是对的人,是的情况下再请教自己不了解的深入问题。
第一性原理
苏格拉底式思考
澄清你的想法并解释想法的来源。(为什么我会这么想?我到底是怎么想的?)
对假设提出挑战。(我怎么知道这是真的?如果我的想法正好相反呢?)
寻找论据。(我该如何支撑自己的论点?论据来源于哪里?)
思考其他可能的视角。(别人可能有什么想法?我怎么知道自己是对的?)
探究后果和影响。(如果是我错了,该怎么办?如...
【AI】最近RL的一些发展
最近VLM Post-train RL的一些发展
前言
最近在开源社区涌现出了非常多性能很好的开源VLM,无一例外都在RL阶段引入了Reasoning能力,但各家的方法都不一样,RL本身目前属于百花齐放的状态,还没有走到类似于Pretrain和SFT非常标准化的流程,除了数据需要探索之外,如何最大化发挥Reasoning能力,并同时保证Human Alignment,是各家都在探索的话题。这篇文章不追求能够涵盖所有最先进的RL方法,但是致力于把最新的进展讲清楚,归纳好,这样在做技术规划的时候可以比较游刃有余。
INTERN-S1: A SCIENTIFIC MULTIMODAL FOUNDATION MODEL
数据
Intern-S1
...
【AI】Ovis-2.5 细节深挖
深挖Ovis-2.5技术细节
前言
阿里发布的基于Qwen3 LLM backbone的VLM,9B模型创下了40B大小下的SOTA指标。这种涨点一般来自于两个方面,首先LLM的升级,一般都能带来视觉推理类任务的提升;其次,数据和训练方式的升级也能带来提升。虽然技术报告一般不会透露过多细节,但一般来说看下还是能带来一些新的启发,细节是魔鬼,做好细节就能成功。
模型架构
和QwenVL的有所不同,Ovis没有把NaViT的结果直接做pooling投射到LLM的embedding space,而是把Qwen25VL的PatchMerger变成VisualEmbeddingTable,转化为Vision tokens(默认的vocab_size为65536)。
代码区别:
Q...
【AI】RL到底怎么涨点?
VLM RL如何涨点 - 实践和思考
前言
过去的一个月在比较高强度做RL,最近终于有了一些阶段性成果,整理了一下整体的迭代思路和最近踩过的坑,分享出来,与各位共勉。结果上,部分Benchmark取得了同size 模型1-2个点的涨幅,最高的单项能有8-10个点的涨幅。这个过程最大的感触是
No Silver bullet,从目标出发规划,做对10件小事,比做1件大事重要的多;
没做好数据基础就开始研究新算法的,要小心了,很可能长期做不出结果;
基础的RL算法,就能有较为明确的涨点,即使目标是做开源SOTA,也可以从最简单但正确的事情做起,千里之行,始于足下。
RL的目标
关于RL,我们不是第一批吃螃蟹的人,有很多前人的工作可以追溯,所以是站在巨人的肩膀上做事...
【AI】小米MiMo大模型 - 做好数据,全是细节
小米多模态大模型 - 全是细节
结论
[!NOTE]
经过测试,MIMo会优先出reasoning,但是部分任务,例如OCR、Grounding,会直接跳过reasoning出结果,是否reason无法通过template控制,但调整prompt可能可以控制;
RL并非对所有任务都有用,实际上部分OCR任务存在掉点情况,在做Post-train时候的指标变化情况可以借鉴。
Architecture
MiMo完全就是Qwen2VL的架构,甚至官方repo里面的inference代码都是用的QwenVLConditionalGeneration,这个无可厚非,Qwen确实是基座框架比较优秀的一批,选择这个框架做数据scaling训练也是很多...
【AI】Qwen3 - 基模搞得好,变现少不了
SAP跟阿里合作,因为千问基模更好?
Qwen最新新闻
看到最近SAP(思爱普)要和阿里巴巴合作有感而发,AI大模型的发展到现在如火如荼,整体在内的从业者也获得了丰厚的汇报,但是这里一直笼罩着一层乌云就是,基础大模型的发展方向到底在哪里?未来从事基础模型研究的人员能否在更长期的发展上获得保障?企业选择做基础模型更倾向闭源模型还是开源?我看到通义千问的发展,和最近看到的新闻,我觉得阿里把千问大模型开源做对了,这就是真是硬通货。
最新的合作,会把通义千问接入SAP应用及云上合作拓展,全球最大企业软件接入通义。现在有非常多的企业,在做基于AI的企业转型甚至是业务转型,这是一个大趋势,因为不接入生成式AI的企业未来是死路一条。
SAP这次的合作方向有两个:第一是会把现在对外提供的核心业...
共计 148 篇文章,19 页。