主页

Background 要解决AIGC业务落地的问题，在做特别hardcore的事情之前，至少有三个方向可以考虑。 Prompting，直接给LLM写好prompt，通过few-shots，CoT等技巧，直接让GPT生成结果。 Agent，设定一个目标，让GPT通过CoT生成Task，解决Task等方法最终直接解决问题。 SFT，直接在产出结果后面加一个layer，fine-tune一下，加上1和2的一些方法，能否达到预期的效果。 Prompt Engineering Roadmap Roadmap

Reference xlang-ai/OpenAgents: OpenAgents: An Open Platform for Language Agents in the Wild (github.com) Definition Agent 设定目标 breakdown the goal step by step setup tasks for the goal produce results for the goal OpenAI plugin Interact with external entities to accomplish a specific task.

算法视角，做AI原生产品的一些思考（一） 之前经常问自己的问题，作为算法，我应该做什么产品？ 做AI原生产品，没有AI模型就不存在的产品，AI能力的好坏直接关系到产品的生死。好处是这对算法能力的锻炼很大，在这里算法的话语权最大；坏处这对算法能力提出非常高的要求，个人的压力会比较大。 工作思考 用户体验类产品评估非常难，要做好长期指标和效果同时迭代的心理准备。用户体验，采纳率，付费率，这些都可能是用户体验产品的北极星指标，但指导不了算法优化。这个Gap要算法自己想办法来Cover。 不要依赖产品经理做指标拆解，但要充分对齐。两个原因，第一是AIGC产品领域是最近才有的，没有人是经验充足的，这意味着你业务上...

Reference 思维模型03 — First Principles 第一性原理 by ID.TIMW Medium What 第一原理（英语：First principle），哲学与逻辑名词，是一个最基本的命题或假设，不能被省略或删除，也不能被违反。第一原理相当于是在数学中的公理。最早由亚里斯多德提出。 苏格拉底式提问 对问题使用苏格拉底式提问是一个锻炼第一性原理思考的方法。 理清思维，寻找问题的源头：问题出在哪里，具体表现形式有哪些？ 挑战假设：这个情况总是发生么？什么因素会导致问题出现？ 证据为基础的论点：假设的证据在哪里？整理从哪里来的？证据是否可靠？ 替代观点和角度/冲击其它想法：有什么其他的观点可以反驳？有没有其它的方法可以解决...

Problem to Solve Alignment Solutions Actor-Critic 要解决的问题 在RL的过程中，即学习策略，又学习价值函数，这样保证策略迭代的过程中，Value是逐渐变高的。 根本思想 为什么可以同时学习Value function和Policy function？ 因为使用了能将二者结合的损失函数，例如时序差分残差 可以在总回报中引入基线函数以减小方差，例如这种形式： \[\nabla_\theta J(\theta)=\mathbb{E}\left[\sum_{t=0}^{\infty} \nabla_\theta \log \pi_\...

Problem Trying to Solve 提升大模型对多模态（语音，图像，视频，文本）的理解和推理能力，从而实现多模态理解和生成的能力。 解决方法 LLaVA 要解决的关键问题 构建一个有reasoning ability的，可以follow instruction的多模态模型； Instruction following的MultiModal数据的缺失； 如何使用现有大模型把这几个功能融合在一起。 算法的根本思想 ==通过GPT-4 Prompting构建训练集（包括与图片相关的对话、细节描述和复杂推理）==，使用了预训练的Vision Encoder(CLIP)把Image ...

RL Recap RL Model LLM Description 根据上一个states，经过一个LLM，生成另一个states，一共生成max_tokens作为一次生成。生成的长度是prompt_len + max_token。 Modeling Objective 生成尽可能多的Correct Format。 States Input of current methods

Overview 为什么突然想写这样一篇文章？因为最近我发现所有东西想做好，都需要有一套自己的SOP。简单来说就是一个structural thinking，对于一个较为常见的问题，有一个固定的思考套路。当然这不是说这个套路就是固定不变的，是说首先需要有，其次是需要根据这个套路不断迭代，优化这个套路直到这个套路可以快速的解决问题。可以是学习相关的，可以是工作相关的，但总体来说，我认为人就是他自己方法论的总和，这些方法论优化的越好，事情做的漂亮的可能性就越大。 Study Algorithm Algorithm类的本身比较单点，就是一个算法，但是可以发散的很多。比如有些算法其实是另一些算法的改进版，那光了解这一个算法肯定是不行的，需要了解之前的算法，而当一个算法需要的背景知识过多...