Search Experience
& Quality Optimization

@bilibili

Product OperationsInternal Tools

Making search quality visible, actionable, and scalable.

在bilibili搜索产品组实习期间,我通过搜索评测与用户反馈分析持续识别体验问题,并参与AI评测能力优化、内部 CASE 管理工具设计,探索如何提升搜索体验,让搜索质量评估更加准确、高效和可持续。

搜索体验质量优化项目封面

在搜索业务中,增长与用户体验之间存在天然的目标张力。团队承担搜索体验质量监控工作,客诉量是重要的体验监测指标之一。

我参与日常搜索质量评测、用户反馈标注与问题归因,通过对 case 的持续分析,识别真正影响搜索体验的问题类型,帮助团队从零散的用户反馈中定位体验问题,并观察其变化趋势。

搜索相关性评测原本高度依赖人工判断,随着评测量增加,人力成本较高。团队因此尝试引入AI进行自动化相关性评测,在保证评测质量的同时提升效率。

我参与人工与 AI 评测结果的对比分析,针对判断不一致的 case 进行归因,归纳AI在不同搜索场景中的典型误判模式,并将分析结果反馈给研发团队,支持后续模型迭代。

通过持续的 case 分析与模型调优,AI 评测准确率提升超过 20%。

随着日常评测与用户反馈不断积累,大量 case 与统计数据长期分散在在线文档中,逐渐面临历史数据检索困难、分类统计繁琐、趋势分析与可视化效率低等问题。

为了将重复性的人工流程工具化,我参与了需求梳理、PRD 撰写和后台原型设计,将原本分散的 case 整理、筛选、统计和可视化流程整合到统一的内部工具中,满足数据管理及结果可视化两大核心需求。

CASE MANAGEMENT TOOL 07 PROTOTYPES
DCG 评测原型
DCG Evaluation
客诉标注原型
Feedback Annotation
日常反馈结果页原型
Feedback Results
导流词原型
Query Routing
导流词详情原型
Query Routing Detail
导流词分析原型
Query Routing Analysis
AI 客诉管理系统原型
AI Feedback Management

MOVE TO EXPLORE · SCROLL TO ASSEMBLE