【rainbowzhou 面试14/101】技术提问--用户画像的质量如何保障？

在用户画像平台架构图&构成？中，我详细描述了用户画像的构成，今天聊聊用户画像的质量保障，希望对大家有所帮助。

用户画像质量保障体系方案

质量保障需要透过现象看本质，用户画像平台全流程测试，即需要保证数据采集、ETL处理、查询计算和可视化展示均正确。通过参考用户画像架构图设计，我们将测试流程拆分为4个阶段：数据采集、实时数据处理、离线数据处理、数据查询展示。每个阶段的测试步骤和测试方法如图所示。

用户画像架构图

用户画像测试方法

数据采集阶段测试

数据采集阶段是指外部数据或埋点数据产生写入Kafka的阶段。该阶段主要是验证数据采集的完整性（数据是否丢失）、一致性（打点操作数据、日志数据、采集的数据这三者是否一致）、性能（高并发下的数据采集效率），以及数据预处理逻辑（格式校验、类型校验、ID mapping等是否正确）等。

埋点测试的做法，可参考【rainbowzhou 面试10/101】技术提问--如何进行埋点测试？

实时数据处理阶段测试

实时数据处理阶段是指从kafka消费数据到写入到文件系统、数据库的阶段。该阶段需要验证代码逻辑的正确性，数据结果的一致性，以及代码运行的及时性、稳定性和性能等。

离线数据处理阶段测试

离线数据处理阶段是指数据经过ETL过程后，加工到数据仓库对应的ODS层、DW层、DM层的阶段。离线阶段测试重点是验证数据的完整性、一致性、唯一性、准确性和合法性。

ETL测试的做法，可参考rainbowzhou 面试6/101】技术提问--举例说明你写的ETL用例？

数据查询展示阶段测试

数据查询展示阶段是指从Web前端到数据查询服务DAS的阶段。在该阶段我们需要验证SQL模板的正确性、SQL拼接的正确性、查询性能、易用性，以及数据的准确性和一致性。数据查询展示阶段涉及业务逻辑且SQL拼接较复杂，因此该阶段往往耗时最久。以用户单击“看板”并查看为例，用户单击看板后，触发的操作和相应的功能测试点如下图所示。

参考资源：

• 大数据测试技术与实践

看完今天的分享对你是不是有所启发呢，有任何想法都欢迎大家后台私信我，一起探讨交流。