算法视角,做AI原生产品的一些思考(一)
- 之前经常问自己的问题,作为算法,我应该做什么产品?
- 做AI原生产品,没有AI模型就不存在的产品,AI能力的好坏直接关系到产品的生死。好处是这对算法能力的锻炼很大,在这里算法的话语权最大;坏处这对算法能力提出非常高的要求,个人的压力会比较大。
- 工作思考
- 用户体验类产品评估非常难,要做好长期指标和效果同时迭代的心理准备。用户体验,采纳率,付费率,这些都可能是用户体验产品的北极星指标,但指导不了算法优化。这个Gap要算法自己想办法来Cover。
- 不要依赖产品经理做指标拆解,但要充分对齐。两个原因,第一是AIGC产品领域是最近才有的,没有人是经验充足的,这意味着你业务上不会的,产品经理也不一定会;第二是很多AIGC产品经理并不理解大模型的边界,如果不把主动权掌握在算法手中,往往会得到一些无法迭代也实现不了的目标,因此算法需要及时补位。要充分对齐原因在于,最终要所有人一起来背这个业务指标,所以你的迭代思路需要大家是Align的。
- 目标制定和指标拆解过程要考虑受众。算法迭代要依赖产运给出体验上的反馈,验证实际做的算法优化是否真正有效果。比如,对于ChatBot类型的产品,这个指标是采纳率,你的拆解是,采纳率→helpfulness→更准确的few-shots→相关文档召回的F1 score。对于更靠前台链路的产运,对齐到Helpfulness就可以了。剩下的可以在要求clarify的时候再深入讨论。
- 从解决问题的视角做模型优化。大模型确实解决了很多问题,但落地的时候一个大模型不能解决所有问题。做完指标拆解,到内部技术设计的时候,可以多尝试技术选型,并设计一些算法迭代的中间量。
- 做大模型的基础研究要慎重,两个原因,第一,大模型是一门实验科学,模型本身能力的提升需要trial and Error,需要非常多的时间和精力,能否在当前的环境下做,必须要做好充分对齐;第二,大模型训练耗费的资源非常多,且不一定能成功。要提前做好规划,一旦效果不符合预期,如何确定自己在Job market上的定位。
随机写到这里,剩下的想到接着写