引言:大模型时代,我们怎么学术冲浪
在大模型浪潮方兴未艾的当下,算法从业者们每天打开 Google Scholar、Arxiv 等学术网站和各类自媒体平台时,迎接他们的都是雪片般飞来的新论文和相关的解读、讨论。据统计,2023 年发表的学术论文中含有“大语言模型”关键词者高达 20900 篇,相比 2022 年几乎翻了 20 倍 [1]。
面对这样的信息过载,有一定知识积累的研究者们要跟住最新进展尚不轻松,刚开始钻研 AI 知识的大学生更是常常抓不住头绪,有时面对冗长的论文找不到其核心贡献,有时想更深入了解文章提到的某项技术却不知从何学起,学习效率急需提高。
▲ 关键词中含有“大模型”、“大模型微调”、“大模型对齐”的论文数目逐年增长情况。图片引自综述论文【1】。
作为一名 AI 领域的知识分享博主,我每周都会更新好几篇前沿论文笔记,来跟上技术发展的浪潮,并和来自四面八方的同行们交流讨论。在时间相对自由的学生时代,技术写作的时间负担还不显著;毕业之后,要在工作之余筛选、精读文献,再认真码字排版输出,对我来说也是个不小的挑战。
好在用工具提升效率是 AI 研究者们的良好习惯,既然大模型正在改变千行百业,paper reading 这项日常工作是不是也可以找个大模型搭子来分担呢?AI 论文专业性强、时效性高,用哪家的大模型靠谱呢?
自从有了一位靠谱的搭子,我日常读论文和写笔记分享的效率蹭蹭提高,就连快 100 页的 Lllama-3 技术报告 [2],都能在十分钟内抓住重点、产出精炼的笔记。这位帮我高效学术冲浪的 AI 搭子就是:腾讯元宝。
论文地址:
https://arxiv.org/pdf/2407.21783
https://llama.meta.com/
即使这篇论文这么长、干货这么多,元宝也能在几秒内高效梳理论文内容,生成了一版十分精炼的笔记,基本满足了论文速递型笔记写作的要求:
当然,挑搭子也要货比三家。我也试过用同样的 prompt,让文心一言和最近很火的 Kimi 帮忙读这篇文章。文心一言面对近百页的论文直接提示输入过长,无法给出有效的回应;Kimi 产出的笔记虽然读起来也挺流畅,但谈到 Post-training 时只泛泛地提到了 SFT、拒绝采样和 DPO,没有体现 DPO 中的两项稳定训练的具体技术和最后使用的模型平均技术。
除了能生成精炼的简版笔记之外,元宝还贴心地专门为文档对话场景设计了“深度阅读”功能,用户只需点击“深度阅读该文档”,稍待片刻,元宝就会根据原文生成内容详尽、图文并茂的中文精读报告和学术海报,既降低了阅读者的理解成本,又为想要分享论文内容的同学省却了不少码字、排版、制图的功夫:
▲ 元宝为Llama-3技术报告生成的学术海报
由此可见,元宝很擅长将长文按使用者要求的格式进行系统梳理、产出笔记,还能去芜存菁、抓住论文的核心创新点体现在笔记中,对信息过载时代的AI学习者们来说堪称得力助手。
Prompt 设计:这是 xxx 大模型论文,帮我总结主要的技术创新点,可以从模型结构、训练数据、训练目标(损失函数)等几方面来总结。写成小红书的笔记格式,参考格式如下:
🌟简单概括论文主要贡献,给出论文标题
✈️模型结构:模型结构方面的技术方案概括,突出强调创新点
⛰️训练数据:训练数据方面的技术方案,主要是训练数据的数目、来源和配比
🔥训练目标:各阶段训练的目的和损失函数
💻实验评测:和现有大模型的实验对比,突出该模型的优越性能
细节追问,轻松学习重点
如果想把新论文和自己熟悉的前置工作进行纵向对比,以看清技术的演进趋势,可以继续追问元宝新论文和某篇老论文的异同点,元宝会继续联网搜索老论文相关的内容作为参考,整理输出详细的异同点和演进趋势。
由此可见,腾讯元宝既能究根问底,深挖当前论文的技术创新点,又能旁征博引,分析技术演进趋势,对 AI 学习的深度和广度都益处多多。看完论文有啥问题,追问元宝就对了~
Prompt 设计:
详细讲讲 xx 技术的细节和目的 xx 和 yy 在 zz 方面有哪些异同?xx 主要做了哪些改进?
想你所想,日常贴心助手
除了基本的摘要和对话追问功能外,在日常读论文时,我们还有许许多多的需求:
问题提炼:从论文中能不能提炼一些关键的技术问题,作为写作分享的切入点?
延伸学习:怎么快速找到近期的其他相关论文,进行延伸阅读?
元宝在体察用户需求方面也是大模型产品中的翘楚,在这些方面都能让用户按个键或者提个问就一站式解决问题,无需打开其他网站和工具。
▲ 文心只提了DPO原文和宽泛的改进方向,并未真正推荐相关论文
用好AI工具,为学术冲浪提效
从本文展示的 Llama-3 论文解读评测结果可以看出,腾讯元宝既能帮我们高效精准地总结论文、深挖技术亮点,又拥有问题提炼、文献推荐、封面生成等解决用户痛点的众多技能,和竞品相比在论文解读的精度和深度上都十分出色。目前腾讯元宝已经上线 PC Web、微信小程序、APP 三端服务,本文提及的功能均可无限制免费使用。
参考文献
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」