我们的论文《A Kernelised Stein Statistic for Assessing Implicit Generative Models》发表于NeurIPS 2022（第36届神经信息处理系统大会）。这项研究由Sentinel Assurance联合创始人Wenkai Xu，与牛津大学的Gesine D. Reinert共同完成。
这篇论文做了什么
- 提出了一种基于非参数Stein算子的核Stein差异（Kernelised Stein Discrepancy）类检验方法，专门针对隐式生成模型设计：这类模型可以被采样，却没有可计算的显式密度。
- 该方法可以灵活调整从生成器中抽取的样本数量，同时保持观测数据集固定，这对那些采样成本低、但与真实数据比对成本高的模型尤为重要。
- 在合成分布与经过训练的生成模型上，均展现出优于现有质量评估方法的表现。
我们的看法
生成模型正越来越多地成为其他系统（包括Agent）默认信任并依赖的组成部分。如果你无法写出一个模型输出分布的具体形式，你依然需要一套严谨的方法，来检验它的表现是否真的符合预期。在允许一个组件处于Agent决策的上游之前，这正是我们认为值得对它坚持的标准。