开源公告｜CenseoQoE-视觉感知画质评价框架正式开源

【导语】CenseoQoE 是一个针对图像与视频感知画质评价从算法模型训练到应用落地的完整框架，主要包括通用的质量评价模型训练框架 CenseoQoE-Algorithm 和可开箱即用的图像/视频质量评价工具CenseoQoE-SDK。项目由腾讯互娱品质管理部TuringLab团队研发，已应用于腾讯先游云游戏、微信视频号和腾讯视频等多款产品，应用场景包括画质监控、码率/分辨率/编码参数的优化定档、低质视频过滤、视频推荐的推荐因子、竞品分析等，有效地实现了传输带宽和人工成本的节省以及更有效的视频推荐等。

主要设计目标

CenseoQoE-Algorithm：针对图像/视频质量评价打造通用的模型训练框架，包含多个自研及业界开源的优秀算法，方便研发人员做模型的性能对比、训练和优化。

CenseoQoE-SDK：集成多个针对不同应用场景训练得到的画质评价模型，用户可直接用于对UGC、PGC、游戏、直播等视频进行无参考/有参考的画质评价。

主要的功能特点

3.1 CenseoQoE-Algorithm

1.统一的训练代码范式

将模型训练中的数据加载、模型、损失函数、优化器、学习率策略等模块解耦，通过配置文件将这些组件耦合，方便研发人员做模型的训练和优化。

2.提供简单但高性能的基础模型

我们提出了简单但高性能的图像/视频质量评价统一模型，支持有参考/无参考的训练，在多个公开数据集上均获得了Strong Baseline。后续会持续迭代并集成更多业界开源的优秀的算法模型。

3.开源多种业务场景下的预训练模型

我们对不同的应用场景（比如UGC视频、带编解码压缩的PGC视频和游戏视频等）进行主观实验、构建相应的数据集并基于CenseoQoE-Algorithm训练模型，用户可以直接使用或基于这些预训练模型在私有业务数据上进行微调和优化。

3.2 CenseoQoE-SDK

1.多种业务场景下开箱即用的画质评价工具

集成了多种业务场景下训练得到的画质评价模型，支持针对UGC、PGC、游戏、直播等视频做有参考/无参考画质评价。

2.优秀的性能表现

集成的模型基于CenseoQoE-Algorithm在真实的业务场景及严格的主观实验数据上训练得到，相比VMAF等开源的画质评价工具在SRCC、PLCC等性能指标上表现更优。

3.跨平台支持&便捷接入

全部基于C++实现，支持多个平台的编译运行。输入读取、预处理、模型推理等模块完全公开透明，用户可以便捷地接入自己的模型或做额外的功能开发。

项目未来规划

• CenseoQoE-Algorithm 持续集成更多学术界及业界的优秀算法模型
• 开源更多腾讯业务场景下的图像/视频质量评价预训练模型
• CenseoQoE-SDK性能优化

开源地址

https://github.com/Tencent/CenseoQoE

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

 国内镜像地址：

https://git.code.tencent.com/Tencent_Open_Source

（登录后才能访问公开项目）

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像