新闻资讯混排场景下的多目标融合实战（二）
《新闻资讯混排场景下的多目标融合实战（一）》，主要给大家介绍了今日要闻混排场景的背景以及基于网格搜索/随机搜索的方法。这篇会给大家介绍下贝叶斯优化以及分人群模型优化的做法。
贝叶斯优化
贝叶斯优化充分考虑了线上真实收益，通过收集多组小流量经验，基于小流量实验的评估结果进行参数优化。即根据高斯过程回归的结果构造采集函数，用于衡量每一个点值得探索的程度，计算下一组可能更优的采样点，并计算这组采样点的极值作为函数的极值。
贝叶斯优化与随机或网格搜索的不同之处在于，尝试新的超参组合时，贝叶斯优化会参考之前的评估结果，求解采集函数的极值从而确定下一个采样点，可以节省很多无效尝试。算法步骤如下：
贝叶斯优化算法受到业务目标、概率代理模型核函数、噪声级别、采集函数（收益）形式的影响，例如，不同的概率代理模型：GP（Gaussian Process）、TPE（Tree-Structured Parzen Estimator）、神经网络、决策树等。
我们使用GP作为概率代理模型，尝试了不同的采集函数：
UCB：比较的是置信区间内的最大值，看起来简单，实际效果却很好；
如何感知人群、环境差异化？
在网格搜索、随机搜索、贝叶斯优化的过程中，我们亦尝试了多种状态区分策略以使得融合公式具备一定的差异化，适配不同人群/context，如：
区分用户当前刷新状态为首刷和非首刷；
区分高活用户和中低活用户；
区分新闻客户端的不同频道；
区分不同介质，如图文、视频；
例如，区分用户刷新状态时，首刷和非首刷的公式相同，但分别利用首刷数据和非首刷数据分别寻参优化，以达到融合公式在不同场景下的适用性。
分人群模型优化
尽管我们尝试了人为区分首刷和非首刷、高活用户和中低活用户等策略，但融合公式的适用能力依然具备一定局限性，且区分多种状态的策略下，人工寻参使得资源和人力的消耗成倍增加，难以进一步提升个性化，也难以持续提升业务目标。
当前，简单状态区分策略显然已经难以迭代，公式的参数对于大部分用户来说是固定且一致的，然而，不同的人群适用的目标侧重点亦然不同，需要细粒度的人群区分能力。如何同时解决融合个性化需求和搜参资源的快速增长问题呢？
我们考虑收集更丰富的人群特征，利用深度模型替代人工状态区分策略，一方面使得公式参数具备个性化，适应不同人群的行为习惯和不同的context情况，千人千面。例如，不同网络环境、不同年龄段的人群所使用的公式参数是有差异的；另一方面，也再度打破了多目标优化的天花板，使得更多优化算法有了实践落地的可能。
如上图，要闻混排所使用的融合模型针对每个用户的请求，使用用户的实时人群特征生成视频/图文融合公式参数，替代原有固定的人工调整参数。通过模型生成公式参数，充分利用了人群属性特征和实时曝光特征，使得多目标的融合具有分群能力。模型底层视频和图文的人群特征表达共享，最后一层分别输出图文公式参数和视频公式参数，指导最终融合分数的产生。
在模型特征的选择上，我们考虑了三个方面的个性化能力：
1. 可以标识不同人群的个性化特征：年龄、性别、活跃度等；
2. 实时统计特征：session内曝光行为、点击行为，上一刷曝光行为、点击行为等；
3. 环境特征：网络状态、操作系统、刷次等；
其中，个性化特征帮助我们理解不同人群的用户偏好，例如：新用户可能更偏重于优化点击；短程统计特征可以对用户个人状态进行debias，例如，可以帮助模型感知边际效应，确定当前状态下用户是否已经趋于消费饱和，陷入疲倦状态；环境特征可以提供一些通用偏好，例如，wifi状态下，用户可能更偏向于消费较长视频。
实践中，公式参数模型化、个性化取得了要闻曝光用户人均图文深度消费PV 的显著上升以及客户端停留时长的显著上升。从下图中，可以更清晰地感受到不同人群间公式参数的变化情况：
不同人群的平均参数分布（图文）
不同人群的平均参数分布（视频）
区分图文和视频，我们抽取了部分单一特征值观察参数平均值变化，虽然某一特定特征值的平均参数值未考虑其他特征变化，有一定平滑，但还是能明显看到，不同的特征值上，公式的平均参数值是动态变化的，此时多目标融合具备了一定的人群个性化能力。
将图文时长weight缩放为1，点击weight等比缩放（点击weight / 时长weight），可以看到不同特征值下，点击weight的变化，例如，城市level的点击weight浮动较多。
将视频点击weight缩放为1，长点击weight 等比缩放（长点击weight * 5 / 点击weight），可观察到长点击weight在不同特征值的变化下是较为明显的：
本文主要给大家介绍了贝叶斯优化以及分人群模型优化的做法。在下一篇文章中会为大家介绍进化学习的做法，希望大家能持续关注。如果你喜欢我的文章或者我的公众号，记得分享、点赞、顺便点个在看再走哦！
欢迎大家关注计算广告那些事儿，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！