主页

大模型时代，数据质量远远大于数据质量。 在解决业务问题时，我们经常需要把大模型适用于各种不同的下游任务。此时一个常用的方法是有监督微调。例如情感识别，输入是，我今天被老师表扬了，输出是，高兴。我们可以构造这样输入输出对，就可以对大模型有监督微调。 那么，多少数据能够让模型以较高的准确率完成指令跟随呢？答案是仅需几百条。 在我们的场景下，我们仅筛选了400条高质量数据，对模型进行有监督微调，就能让这个模型的以较高的准确率完成该任务，更令人震惊的是，其中仅有24条包含某指令，而未来有类似指令的时候，模型也能准确识别到该指令的输入而产生对应的输出。 总结一下，当我们需求仅是指令跟随能力的较为简单的任务时，使用高质量数据远好于多个低质量数据。

把prompting交给他人：Prompting是提升效果的重要手段，这个步骤是必要的，可以把这步交给产品或者后端，你只用效果最好的Prompt； 只做一次数据清洗：数据对大模型效果有至关重要的作用，这步必须自己做，但这个过程可以结合自己对业务的理解做一次非常全的数据清洗，然后训练一版模型，跑一版benchmark，如果各个指标都有提升，剩下的交给产品或者后端做基于新训练的模型做prompting，自己再同步做别的事情； 理解模型元能力提升的关键：大模型的指令跟随能力，推理能力，上下文学习能力，都是模型的元能力，这些能力是由一些特殊的训练方法和数据习得的，掌握了提升模型元能力的方法，就能对整体效果的把控性更强，也能进阶成更好的大模型算法。可以在第二步中多多探索不同数据对于模型各...

https://arxiv.org/pdf/2311.05698.pdf AJ Piergiovanni，Google Research 场景与问题 解决不同模态之间的Heterogenious Input问题是一个重要课题。因为 输入体积上，视频和音频在体积上比文字大得多，因此这两者Input信息量是无法对齐的，需要通过模型对齐。 数据处理上，instruction following的Video QA模型的训练数据中包含提取出的文本信息（标题，简介等）是全局信息，而视频和音频都是和时间对齐的，其本身没有全局属性。 一般思路 Tokenize visual input - LLaVA

Pretrain Performance v.s. Data & Size For a given compute budget, the best performances are not achieved by the largest models, but by smaller models trained on more data. – from LLaMA 用更多的数据训练，Size小一点也会有更好的效果。 LLaMA Encoding: BPE Training Data: 1.4T token, Wikipedia和Books Domain训练了两个epochs Epoch meaning: In the context of mac...

Background 要解决AIGC业务落地的问题，在做特别hardcore的事情之前，至少有三个方向可以考虑。 Prompting，直接给LLM写好prompt，通过few-shots，CoT等技巧，直接让GPT生成结果。 Agent，设定一个目标，让GPT通过CoT生成Task，解决Task等方法最终直接解决问题。 SFT，直接在产出结果后面加一个layer，fine-tune一下，加上1和2的一些方法，能否达到预期的效果。 Prompt Engineering Roadmap Roadmap

Reference xlang-ai/OpenAgents: OpenAgents: An Open Platform for Language Agents in the Wild (github.com) Definition Agent 设定目标 breakdown the goal step by step setup tasks for the goal produce results for the goal OpenAI plugin Interact with external entities to accomplish a specific task.

算法视角，做AI原生产品的一些思考（一） 之前经常问自己的问题，作为算法，我应该做什么产品？ 做AI原生产品，没有AI模型就不存在的产品，AI能力的好坏直接关系到产品的生死。好处是这对算法能力的锻炼很大，在这里算法的话语权最大；坏处这对算法能力提出非常高的要求，个人的压力会比较大。 工作思考 用户体验类产品评估非常难，要做好长期指标和效果同时迭代的心理准备。用户体验，采纳率，付费率，这些都可能是用户体验产品的北极星指标，但指导不了算法优化。这个Gap要算法自己想办法来Cover。 不要依赖产品经理做指标拆解，但要充分对齐。两个原因，第一是AIGC产品领域是最近才有的，没有人是经验充足的，这意味着你业务上...

Reference 思维模型03 — First Principles 第一性原理 by ID.TIMW Medium What 第一原理（英语：First principle），哲学与逻辑名词，是一个最基本的命题或假设，不能被省略或删除，也不能被违反。第一原理相当于是在数学中的公理。最早由亚里斯多德提出。 苏格拉底式提问 对问题使用苏格拉底式提问是一个锻炼第一性原理思考的方法。 理清思维，寻找问题的源头：问题出在哪里，具体表现形式有哪些？ 挑战假设：这个情况总是发生么？什么因素会导致问题出现？ 证据为基础的论点：假设的证据在哪里？整理从哪里来的？证据是否可靠？ 替代观点和角度/冲击其它想法：有什么其他的观点可以反驳？有没有其它的方法可以解决...