【听见课堂 HarmonyOS NEXT 实战系列 01】从“听不清”到“可追溯”听障课堂助手如何建立证据闭环对听障学生来说课堂中的困难往往不是单纯“没听清一句话”而是信息在短时间内连续流失教师讲解没有留下文字黑板内容来不及抄口头布置的作业散落在不同时间点课后也无法确认某条记录到底来自课堂原话、板书照片还是人工补录。“听见课堂”是一个面向 HarmonyOS NEXT 的多模态无障碍课堂助手。它没有把实时字幕、板书扫描和任务整理做成三个彼此孤立的工具而是围绕一条更重要的主线展开让课堂信息从瞬时内容变成可确认、可回看、可追溯的证据。一、产品目标不是“功能越多越好”如果只看功能列表这类应用很容易被设计成录音、OCR、待办事项的集合。但真实课堂中用户最关心的是三个问题这段文字来自哪里它发生在什么时候它是否已经经过我的确认因此听见课堂把产品主流程归纳为四个阶段实时字幕把课堂语音转成可阅读的文本片段板书扫描把黑板、投影或纸面内容转成图像证据和识别文本人工确认用户对机器生成的内容进行修正、确认或删除任务沉淀将已确认的信息整理成课后任务并保留来源关系。这个顺序很关键。机器识别结果不能直接成为“事实”任务也不能脱离来源自动出现。系统可以辅助提取但最终确认权应留给用户。二、领域模型先记录来源再追求界面好看项目在common-core模块中定义了课堂核心数据。以字幕片段和扫描笔记为例模型不只包含展示文本还记录了时间、说话人、重点标记、识别置信度和来源exportclassTranscriptSegment{id:string;timestamp:string;speaker:string;text:string;isKeyPoint:boolean;}exportclassScanNote{id:string;title:string;text:string;confidence:number;source:string;}这里的timestamp、speaker、confidence和source不是多余字段。它们决定了后续能否回答“这条内容来自哪里”“这段信息是否需要复核”等问题。当前模型以TaskItem.confirmed表示任务是否确认以TranscriptSegment.isKeyPoint表示人工重点标记它没有伪造一个统一的“所有证据均已确认”字段。在界面层用户看到的是一段字幕、一张扫描卡片或一个任务在数据层它们必须仍然能回到对应课程、时间点和原始证据。这样设计后复习页不只是信息堆叠而是一条能够解释自身来源的证据链。三、人工确认是闭环的核心节点无障碍场景中的 AI 结果尤其不能被包装成绝对准确。教室噪声、多人说话、方言、远距离收音、模糊板书和反光都会影响识别结果。听见课堂把人工确认落在任务流中并在复习快照里统一聚合字幕重点、扫描数量、完成率和待办数量。Service 层负责业务计算页面只消费处理后的结果asyncgetReviewSnapshot():PromiseReviewSnapshot{constcourse:CourseSummaryawaitthis.repository.getTodayCourse();consttranscript:ArrayTranscriptSegmentawaitthis.repository.getTranscript();constscans:ArrayScanNoteawaitthis.repository.getScanNotes();consttasks:ArrayTaskItemawaitthis.repository.getTasks();constconfirmedTaskstasks.filter((item:TaskItem)item.confirmed);constkeyPointCounttranscript.filter((item:TranscriptSegment)item.isKeyPoint).length;// 后续统一计算完成率、掌握度、待办数与复习时间线}这段分层带来两个好处页面不需要重复编写统计规则手机、平板和 2in1 可以共享同一业务口径未来增加更细粒度的证据确认状态时可以先扩展领域模型和 Service而不是在多个页面中各写一套判断。四、本地优先不等于忽略能力边界项目采用本地优先策略课程、字幕、扫描记录和任务由本地 Repository 管理。这样可以降低网络不稳定对课堂主流程的影响也能减少敏感课堂内容不必要的外传。但“本地优先”不能被写成“所有 AI 能力都已离线且完全可用”。项目对能力状态做了明确区分字幕链路已经接入应用结构但真实课堂中的识别质量仍需持续用设备验证OCR 已接入扫描流程但清晰度、反光和拍摄角度仍会影响成功率任务规则当前属于可验证的本地规则能力不应描述成已经接入云端大模型多设备能力当前主要体现在手机、平板、2in1 的布局适配不应等同于跨设备协同已经上线。这类边界最好直接体现在产品状态中例如“能力准备中”“识别结果待确认”“当前设备不支持”而不是让按钮看起来能用、点击后却没有明确反馈。五、从一次课堂到一次完整回看一条理想的用户路径可以这样串联用户进入课程并启动实时字幕系统持续生成带时间戳的字幕片段遇到重点板书时用户拍照并保存识别结果课后进入复习页对字幕重点、OCR 文字和任务候选进行人工复核已确认任务进入任务中心字幕与扫描作为复习证据保留用户可以从任务回到对应课程证据而不是只看到一条失去上下文的待办。这个闭环把“识别能力”转化成了“可用的学习过程”。对无障碍产品来说真正的价值不是 AI 输出了多少文字而是用户能否理解、修正并掌控这些文字。六、验证时要把四种证据分开这类项目至少应区分四个验证层级验证层级能证明什么不能证明什么静态检查模型、路由、资源和 ArkTS 规则基本正确真机上的能力可用性hvigor 构建工程能够产出 HAP/APP页面一定可操作、AI 结果一定准确真机冷启动Ability、模块安装和首页加载正常所有课堂环境都稳定场景测试某台设备、某类噪声或图片下流程可用所有设备和所有场景均已覆盖听见课堂现有交付记录已经分别保存构建、真机与能力验证结果。写文章时也要保留这种边界已集成不等于已在所有设备验证成功构建也不等于真实课堂效果已经达标。总结听障课堂助手的核心不是把字幕、OCR、任务三个功能放在同一个首页而是用统一的数据模型和确认流程把它们连成一条可信的课堂证据链。下一篇将拆解听见课堂的 Stage Model 多模块架构看看entry、common-core、common-ui和shared-business如何分工以及 HAR 与 HSP 在真实安装流程中分别承担什么角色。