主页

2024 大模型年终复盘 个人情况 个人情况：我是业务部门的大模型算法，主要负责在业务场景下应用大模型技术，优化之前的业务流或者实现新的业务功能。 工作职责： 从大模型视角设计全套技术解决方案，不止包含大模型本身。比如模型本身是多模态或者单模态大模型，我的工作需要考虑系统的业务流程，设计数据流、模型组合方案、模型训练、serving策略、结果评估等。 从业时间：从其他算法转行大模型时间1年2个月。 工作总结 效果评估：以终为始 如果我能重来一次，我肯定要先和业务方明确下游任务类型，并确定非常详细的评估标准，比如幻觉、准确度、多样性等业务指标。如果是美学标准，可以定义美学分数。然后以最快的速度拉齐一...

Got it! If your dataset consists of independent samples where each sample is either a positive (correct next token) or negative (incorrect next token) example, you can still leverage these negative samples effectively in training your model. Here’s how you can handle this scenario: 1. Binary Classification Approach: Since each sample is either...

Vision Encoder in VLM Survey TLDR 目标：本文主要关注VLM中Encoder的发展和最新进展，主要围绕Vision Transformer这个架构介绍； 主要脉路 CNN和ViT的基础架构 CLIP和SigLip两种让ViT架构实现zero-shot inference的训练思路 NaViT和其他扩展ViT支持动态分辨率或者节约训练成本的训练方法 ViT和VLM的结合（未完待续） 核心目标 本文主要关注VLM中的Vision Encoder，其核心目标是如何学习到图片的语义表征，并能低成本和Transforme...

VLM Survey 总览 多模态大模型（Vision Large Models）主要是能感知多模态输入（目前主要是图片和视频）并产出语言输出（也有直接的多模态输出架构）。目前常见的VLM架构有两种， Type A: Visual Encoder -> Cross Modality Connector -> LLM Type B: VQ-VAE -> Transformer 第一种能够利用到单模态训练时候的语言能力，具有计算资源需求少，且能达到较好效果的程度；缺点是基本只能语言模态输出，无法输出多模态内容；第二种能够直接把图片模态和文本模态进行tokenization，在decode的过程中可以直接产出多模态输出，但是VQ-VAE的训练难度比较大，...

MMEvol: 构造牛逼的instruction数据集 标题：MMEVOL: EMPOWERING MULTIMODAL LARGE LANGUAGE MODELS WITH EVOL-INSTRUCT 时间：2024.09.10 作者团队：阿里巴巴 作者：Run Luo, Haonan Zhang, Longze Chen, Ting-En Lin, Xiong Liu, Yuchuan Wu, Min Yang, Minzheng Wang, Pengpeng Zeng, Lianli Gao, Heng Tao Shen, Yunshui Li, Xiaobo Xia, Fei Huang, Jingkuan Song, Yongbin ...

MiniCPM-V：端侧图像大模型 标题：MiniCPM-V: A GPT-4V Level MLLMonYourPhone 时间：2024.8.03 作者团队：面壁智能 作者：Yuan Yao, Tianyu Yu, Ao Zhang, Chongyi Wang, Junbo Cui 有用指数：⭐️⭐️⭐️⭐️⭐️ 贡献程度：⭐️⭐️⭐️ 简单评价：主攻低参数大模型领域，提出了一个基于图片分片和压缩的处理方法，属于deep-fusion的一类模型。但训练过程较为复杂，光pretrain就分了三个训练阶段。

MiniCPM-V2.6：面壁智能端侧图像大模型 标题：MiniCPM-V: A GPT-4V Level MLLMonYourPhone 时间：2024.8.03 作者团队：面壁智能 作者：Yuan Yao, Tianyu Yu, Ao Zhang, Chongyi Wang, Junbo Cui 有用指数：⭐️⭐️⭐️⭐️⭐️ 贡献程度：⭐️⭐️⭐️⭐️⭐️ 简单评价： 优点：代码完备，基本无缝在自建场景开启训练；可配置化图片占据的token数量，如果场景需要建模视频，可直接配置减少一张图片token数量。 缺点：目前只有和Qwen2对齐的节点，实际训练结果有些许不理想。...

UMT - 长序列视频理解建模 标题：Unmasked Teacher: Towards Training-Efficient Video Foundation Models 时间：2023.3.28 作者团队：上海人工智能实验室 作者：Kunchang Li, Yali Wang, Yizhuo Li, Yi Wang, Yinan He, Limin Wang, Yu Qiao 有用指数：⭐️⭐️⭐️⭐️⭐️ 贡献程度：⭐️⭐️⭐️⭐️⭐️ 简单评价：在视觉编码器领域，主要有Knowledge distillation和mask modelling两个做法，这篇文章是较早提出这种方法的工作，给视频内容建模提供了一个比...