尧图网站建设 
VoiceStudio 语音工作区统一化Clone 与 Design 双标签合并为 Profile 中心的 Voice 工作区【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio导读本文基于 VoiceStudio 仓库的 voice-studio-unification 规范文档完整解析该项目将原有相互独立的Clone克隆与Design设计两个标签页重构为单一Voice 工作区studio的设计方案以已保存的语音 Profile音色档案为枢纽把从音频克隆与按参数设计统一为定义同一 Profile 的两种方式同时把生成历史从左栏迁移到右侧的 workspace 级面板。你将了解到布局重构、导航模式收敛、数据库迁移kind判别字段与vd_states设计参数、设计语音的确定性样例渲染seed 42、POST /profiles与POST /generate的接口语义变更、分阶段落地顺序与测试计划——这套方案在仓库中已部分落地可对照源码逐一印证。一、方案概览三个锁定的产品决策规范文档开篇即明确了三个用户驱动的、已经锁定的决策整个实现都围绕它们展开完整 UI 合并只保留一个 Voice 工作区已保存的 Profile 是中心from audio克隆与 by design设计是定义同一个 Profile 对象的两种方式。历史右移左侧边栏只保留Projects Downloads每个工作区自己的生成历史放在右侧。设计语音保存时渲染参考 WAV保存时尝试用确定性种子seed 42合成一条样例音频存为ref_audio_path同时持久化设计参数以便再次编辑——这套机制与 archetypes音色原型库完全相同。保存动作绝不依赖已加载的 TTS 模型对应 issue #476若引擎未就绪例如没有任何模型的全新 Docker 镜像行记录仍以样例待渲染状态持久化确定性样例会在首次预览/使用时惰性渲染此时该行的vd_statesinstruct已足以让音色完全可用合成退化为仅 instruct 条件化。同时明确了不在范围内的内容Dub 与 Stories 工作区仅共享同款右侧历史面板不做其他改动不做实时/流式合成不做语音混合voice-mixing。约束来自 CLAUDE.md既有的voice_profiles/generation_history行继续可用、无需手工迁移alembic0005有升级路径测试行为在 macOS/Windows/Linux 上完全一致纯前端布局 后端逻辑无平台相关默认值变更持续合并到 main任何描述 Clone/Design 标签页的文档须在同一 PR 内更新docs-sync 规则。二、布局重构从左右双栏到三栏工作区2.1 现状与目标对比当前CloneDesignTabfrontend/src/pages/CloneDesignTab.jsx用.clone-split-grid渲染左右两栏[ App sidebar: Proj | Hist(58) ] [ PROMPT ] [ VOICE SOURCE ] [ lang | steps ] [ overrides/synth]目标布局为一个语音库轨道 一个定义列 一个生成历史轨道[ ACTIVE VOICE ] [ PROMPT ] [ GENERATION HISTORY ] [ Saved voices ] [ ........(textarea)..... ] [ [All][Clone][Design] ] [ • Maya ] [ tags / [CMU] ] [ ▸ plain 0:01 ◀ play ] [ • Storyteller ] [ VOICE SOURCE ] [ ▸ studio 0:01 ] [ ] [ • from audio / design ] [ ▸ Hello… 0:02 ] [ ] [ language | steps ] [ … ] [ ] [ ▸ Production overrides ] [ ] [ ] [ [ Synthesize Audio ] ] [ ]2.2 具体改动点.studio-with-history拥有三列voices固定 280px、definition弹性宽度、history固定 340px。窄屏下先堆叠 definition再显示 voices 与 history。把现有的 PROMPT 面板CloneDesignTab.jsx:221-284与 VOICE SOURCE 面板CloneDesignTab.jsx:313-532放进同一个definition 列Prompt 在上。Language/steps 与 Production Overrides Synthesize 仍留在该列底部。左侧库轨道.studio-voices承载WorkspaceVoices右侧列.studio-right将WorkspaceHistory撑满高度见 §四。Voice 工作区解散左侧边栏hideSidebar包含clone/design。原本位于侧边栏 Projects 标签里的已保存 Profile 列表迁入WorkspaceVoices下载入口仍可通过 OmniDrive 访问。Dub 暂时保留侧边栏直到 §五把右侧面板模式推广过去。本节不涉及任何后端改动。三、统一 Voice 工作区导航与模式收敛3.1 单一 AppModestudio目前clone与design都落到CloneDesignTabApp.jsx:1125 的 else 分支。方案是将其替换为单一 idstudio——注意避开既有voiceprofile 详情页和generate模式。在uiSlice.ts的AppMode中移除clone | design新增studio并保留向后兼容 shim恢复持久化 UI 状态或历史项时若mode为clone/design见 useAppData.js:137 与 App.jsx 的restoreHistory映射为studio并预置对应的define method。3.2 工作区内的 Define voice 分段控件工作区内部用分段控件切换定义方式From audio原clone拖放/录制/选择参考音频、转录文本、style。CloneDesignTab.jsx:344-405By design原design描述框 personality 标签 分类滑杆。CloneDesignTab.jsx:436-528Saved profile选中 profile 卡片后根据profile.kind隐式决定方法。原CloneDesignTab内部基于mode的分支mode clone ? … : …变为局部defineMethod状态audio | design由所选 profile 或上次使用的方法初始化。生成请求的形态不变——它本来就按profile_id/ref_audio/instruct取键与标签名无关。3.3 文件重命名与导航将CloneDesignTab.jsx重命名为StudioTab.jsx保持导出可用并更新 App.jsx:1128 的懒加载 importNavRail 标签改为 Voice。Profile 是枢纽已保存 profile 列表CloneDesignTab.jsx:319-342移到 Voice Source 顶部且无论何种定义方式都始终可见选中某个 profile 会填充表单并设置方法 New 则清空选择、回到空白定义。四、Profile 数据模型统一kind判别字段与vd_states4.1 迁移0005_unified_profiles今天的voice_profilesbackend/core/db.py:39-53无法把设计语音表示为头等 Profile且POST /profiles强制要求ref_audio文件backend/api/routers/profiles.py:40。迁移为表增加判别字段与设计参数ALTER TABLE voice_profiles ADD COLUMN kind TEXT DEFAULT clone; -- clone | design ALTER TABLE voice_profiles ADD COLUMN vd_states TEXT DEFAULT NULL; -- JSON of design category picks -- ref_audio_path stays TEXT/nullable (SQLite: already nullable). no audio. UPDATE voice_profiles SET kindclone WHERE kind IS NULL OR kind;该迁移已实际落地为 backend/migrations/versions/0005_unified_profiles.py实现要点与规范完全对应沿用0002_voice_profile_demo_fields.py的幂等_has_column()模式基于PRAGMA table_info探测fresh install 上_BASE_SCHEMA已含列升级为空操作回填安全所有既有 profile 都带有真实或渲染出的ref_audio_path包括 archetype 物化的因此默认kindclone在语义上成立无需迁移用户数据、无需重渲染在 db.py 的_BASE_SCHEMA CREATE TABLE中镜像新列让全新安装直接收敛downgrade()用_has_column保护后删除两列SQLite ≥ 3.35。4.2 统一后的 Profile 形态interface Profile { id: string; name: string; kind: clone | design; ref_audio_path: string | null; // clone: user audio. design: rendered sample (seed 42) ref_text: string; instruct: string; // style; for design buildDesignInstruct(vd_states) ⊕ free text vd_states: Recordstring,string | null; // design only — for re-editing the sliders language: string; seed: number | null; is_locked: boolean; locked_audio_path: string; created_at: number; }前端 types.ts:107-119 早已声明kind/ProfileKind但从未真正收到它——本次使其落地为真实数据vd_states也在此补充。注意personality列db.py0002 新增保持未用本规范不重新定义其用途。五、右侧生成历史面板5.1 组件WorkspaceHistory新组件 frontend/src/components/WorkspaceHistory.jsx读取useAppData.js已加载的history过滤到当前工作区Voice 工作区的判定是item.mode ∈ {clone, design}按最新优先渲染。顶部一行过滤芯片[All] [Clone] [Design]仅 Voice切换item.mode默认All。实际实现中还扩展了Starred过滤见组件内FILTERS常量。每行复用共享的WaveformPlayer以及从 Sidebar.jsx:382-416 提升出来的既有行操作Save-as-profile、Lock有profile_id时、Export、Load-configrestoreHistory、DeleteCLONE/DESIGN 模式徽章保留。实时更新无需新机制generation_historyWS 事件本就会触发loadHistory()useAppData.js:115、useRealtimeEvents.js。实现细节上组件通过IntersectionObserver懒挂载WaveformPlayerLazyWaveform避免服务端一次返回最多 50 行历史时面板挂载瞬间并发 50 个音频请求。5.2 API可选的 mode 过滤参数列表端点backend/api/routers/generation.py:2525 的list_history目前返回全部混合的 50 条。规范要求增加可选查询参数完全向后兼容不传参即维持现行为GET /history?modeclone|designlimit50前端 v1 可继续用客户端过滤50 行上限使其代价很低仅当历史增长后再采用该查询参数。规范预留该参数是为了让右侧面板未来能按模式分页、而无需一次加载全部数据。5.3 已保存语音面板WorkspaceVoicesfrontend/src/components/WorkspaceVoices.jsx 已落地把侧边栏的已保存 profile 列表clone → 参考音色 profiledesign → 设计音色 profile迁移到撑满高度的.studio-voices左轨道卡片样式与操作select、preview、open、try-voice、unlock、delete保持一致并新增本地搜索。点击卡片执行handleSelectProfile把 profile 载入定义表单。中间 Voice Source 原先的内联 profile 块被移除单一事实来源。5.4 侧边栏清理App.jsx的hideSidebar现在包含clone/design→Voice 工作区的左侧边栏被解散其合成历史块仅为 Dub 保留下载入口迁移到 OmniDrive。六、后端Profile 创建与解析6.1POST /profiles语义变更backend/api/routers/profiles.py:43 的create_profile已按规范改造ref_audio变为可选Optional[UploadFile] File(None)新增kind默认clone与vd_statesJSON 字符串可选表单字段。校验规则kindclone→ref_audio必填维持今天的规则。kinddesign→vd_states必填instruct不必填全 Auto 的设计为空 instruct 也仍是合法、可保存的音色。服务端机会式地渲染样例 WAV复用archetypes.py的渲染器以_PREVIEW_SEED42合成sample_script存为ref_audio_path并始终持久化vd_states 派生instructseed42。渲染非致命issue #476引擎未就绪时行记录以ref_audio_pathNULL样例待定保存GET /profiles/{id}/audio在首次请求时惰性渲染并缓存若引擎仍不可用则返回精确的 503 model not ready — finish setup / download a model。源码层面的强校验还包括vd_states必须是 JSON 对象且按 core/describe_voice.py:52 的CATEGORY_ORDER (Gender, Age, Pitch, Style, EnglishAccent, ChineseDialect)补齐缺失分类键为Auto根因修复 #983instruct 统一经heal_design_instruct/sanitize_instruct清洗杜绝 [object Object] 之类的污染值#550 #571 #594 #596。返回体包含kind与vd_statesGET /profiles、GET /profiles/{id}同步返回。6.2POST /generate的 profile 解析用显式的profile.kind分支取代脆弱的is_lockedinstruct推断backend/api/routers/generation.py:310-335其逻辑现已抽取为_resolve_profile_conditioning供/convert等路由复用见 generation.py:128clone→ref_audio_path锁定则locked_audio_pathref_textinstruct。design→ 使用渲染出的ref_audio_path作为身份确定性instruct若缺失则退化为仅instruct。vd_states在合成时不需要已烘焙进instruct/样例但返回给编辑器使用。历史mode列逻辑generation.py:399-405保持clone if ref_audio_path else design但现在有profile.kind作为权威来源——当生成由 profile 驱动时写入mode profile.kind。6.3 前端保存/加载hooks/useProfiles.jshandleSaveProfileuseProfiles.js:37define method 为design时POSTkinddesignvd_states来自 store 的vdStatesinstructbuildDesignInstruct不传音频文件audio时行为不变。handleSelectProfileuseProfiles.js:62若profile.kinddesignsetVdStates(profile.vd_states)并把 define method 设为design否则填充refText/instruct并设为audio。修复了当前选中从不恢复滑杆的缺口。6.4 设计参数的生成instruct 的构建vd_states到合成指令的转换遵循 core/describe_voice.py 的统一逻辑按CATEGORY_ORDER遍历跳过值为Auto的分类其余以 , 连接成 instruct 标签串describe_voice.py:320。这正是 archetypes 构建 instr 的同一套机制backend/core/archetypes.py:202-218保证了设计音色与原型音色在合成条件上完全同构。七、确定性样例渲染seed 42 的复用规范反复强调设计语音保存时渲染样例必须复用archetypes 的渲染路径而不是复制一份单一事实来源以 seed 42 合成样例 → 存为 profile。在 archetypes 侧每个原型通过_build()携带sample_scriptarchetypes.py:255脚本为空的语音永远不会回退到空文本——空文本会合成出静音archetypes.py:220-222预览渲染走_PREVIEW_SEED42的确定性通道。在 profiles 侧设计语音保存时调用api.routers.archetypes的_render_archetype_wav把{language, sample_script, instruct}交给同一渲染器profiles.py:127-139失败被捕获且不阻断保存——行记录照常持久化样例进入待渲染状态。这一设计带来的可验证行为同一设计音色跨多次运行的生成结果确定seed 42 固定 instruct 确定测试计划中对此有专门断言。八、分阶段落地continuous-to-main每阶段可独立发布P1 —WorkspaceHistory 右列暂不合并在既有 clone/design 标签右侧渲染历史从侧边栏移除。纯前端复用WaveformPlayer。风险最低、立即可见的收益。P2 — 布局重排Prompt 置于 Voice Source 之上的单一definition列。仅前端/CSS。P3 — Profile 数据模型迁移0005、POST /profiles可选音频 kind/vd_states、按kind解析 generate、设计 profile 的保存/加载。后端 少量前端。P4 — 导航合并clonedesign→studio定义方式控件CloneDesignTab→StudioTab重命名legacy 模式 shim。前端。P5 — 把右历史模式扩展到 Dub/Storiesetc并在必要时采用GET /history?mode分页。从当前仓库状态看P1/P3 的核心组件与迁移均已落地WorkspaceHistory.jsx、WorkspaceVoices.jsx、0005_unified_profiles.py均存在且有配套测试P2/P4 的纯前端重构按规范分批演进。九、风险与待办事项Mode-id 变更冲击localStorage与generation_history.mode中持久化的mode:clone|design必须继续可解析。useAppDatarestore restoreHistory中加 shim绝不重命名历史mode的取值仍为clone/design只改导航模式 id。Archetype 路径复用设计保存的渲染必须与archetypes.py物化共享同一 helper不得复制以 seed 42 合成样例 → 存为 profile保持单一来源。personality列db.py0002 新增保持未用本规范不重新定义其用途。跨平台本方案所有默认行为均平台无关无需 opt-in 门控录音/麦克风今天已存在。文档同步P4 PR 中必须更新所有提及 Clone tab/Design tab 的docs/**与 README 段落docs-sync 硬性规则。十、测试计划规范给出了覆盖四个层面的完整测试计划可作为验证清单迁移全新安装经 base schema 收敛出kindvd_states从0002数据库升级回填kindclone降级干净删除两列。既有 profiles 仍可合成。后端POST /profiles拒绝design 无vd_states与clone 无音频design 创建产出可播放的ref_audio_pathGET /history?modedesign正确过滤design profile 的生成跨运行确定。前端选中 design profile 恢复滑杆 define method保存 design 音色完整往返右侧历史过滤芯片可用历史从侧边栏移除WaveformPlayer播放每行legacymode:clonelocalStorage 打开 Voice 工作区并处于 audio 方法。回归既有 clone profiles、lock/unlock、以及 archetype Use voice → profile 流程此前刚接入的变更仍然工作。仓库中已有对应的实现级测试可佐证例如 WorkspaceHistory.test.jsx、WorkspaceVoices.test.jsx、WorkspaceHistoryClear.test.jsx 与 workspaceHistoryReflow.test.js可作为阅读这些行为的入口。结语Voice Studio Unification 是一次典型的产品级 UI/数据模型协同重构产品上把两种音色创作范式收敛为一个 Profile、两种定义方式数据上用kindvd_states把设计音色提升为头等公民工程上以保存不依赖模型加载#476与渲染单一来源seed 42 复用 archetypes 通道两条原则保证鲁棒性与确定性。对希望理解 VoiceStudio 工作区架构或计划在此基础上做类似合并式重构的开发者本文列出的 规范文档、迁移脚本 0005_unified_profiles.py 与两个核心组件 WorkspaceHistory.jsx、WorkspaceVoices.jsx 是三条最直接的深入路径。【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 VoiceStudio 语音工作区统一化：Clone 与 Design 双标签合并为 Profile 中心的 Voice 工作区
VoiceStudio 语音工作区统一化Clone 与 Design 双标签合并为 Profile 中心的 Voice 工作区【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio导读本文基于 VoiceStudio 仓库的 voice-studio-unification 规范文档完整解析该项目将原有相互独立的Clone克隆与Design设计两个标签页重构为单一Voice 工作区studio的设计方案以已保存的语音 Profile音色档案为枢纽把从音频克隆与按参数设计统一为定义同一 Profile 的两种方式同时把生成历史从左栏迁移到右侧的 workspace 级面板。你将了解到布局重构、导航模式收敛、数据库迁移kind判别字段与vd_states设计参数、设计语音的确定性样例渲染seed 42、POST /profiles与POST /generate的接口语义变更、分阶段落地顺序与测试计划——这套方案在仓库中已部分落地可对照源码逐一印证。一、方案概览三个锁定的产品决策规范文档开篇即明确了三个用户驱动的、已经锁定的决策整个实现都围绕它们展开完整 UI 合并只保留一个 Voice 工作区已保存的 Profile 是中心from audio克隆与 by design设计是定义同一个 Profile 对象的两种方式。历史右移左侧边栏只保留Projects Downloads每个工作区自己的生成历史放在右侧。设计语音保存时渲染参考 WAV保存时尝试用确定性种子seed 42合成一条样例音频存为ref_audio_path同时持久化设计参数以便再次编辑——这套机制与 archetypes音色原型库完全相同。保存动作绝不依赖已加载的 TTS 模型对应 issue #476若引擎未就绪例如没有任何模型的全新 Docker 镜像行记录仍以样例待渲染状态持久化确定性样例会在首次预览/使用时惰性渲染此时该行的vd_statesinstruct已足以让音色完全可用合成退化为仅 instruct 条件化。同时明确了不在范围内的内容Dub 与 Stories 工作区仅共享同款右侧历史面板不做其他改动不做实时/流式合成不做语音混合voice-mixing。约束来自 CLAUDE.md既有的voice_profiles/generation_history行继续可用、无需手工迁移alembic0005有升级路径测试行为在 macOS/Windows/Linux 上完全一致纯前端布局 后端逻辑无平台相关默认值变更持续合并到 main任何描述 Clone/Design 标签页的文档须在同一 PR 内更新docs-sync 规则。二、布局重构从左右双栏到三栏工作区2.1 现状与目标对比当前CloneDesignTabfrontend/src/pages/CloneDesignTab.jsx用.clone-split-grid渲染左右两栏[ App sidebar: Proj | Hist(58) ] [ PROMPT ] [ VOICE SOURCE ] [ lang | steps ] [ overrides/synth]目标布局为一个语音库轨道 一个定义列 一个生成历史轨道[ ACTIVE VOICE ] [ PROMPT ] [ GENERATION HISTORY ] [ Saved voices ] [ ........(textarea)..... ] [ [All][Clone][Design] ] [ • Maya ] [ tags / [CMU] ] [ ▸ plain 0:01 ◀ play ] [ • Storyteller ] [ VOICE SOURCE ] [ ▸ studio 0:01 ] [ ] [ • from audio / design ] [ ▸ Hello… 0:02 ] [ ] [ language | steps ] [ … ] [ ] [ ▸ Production overrides ] [ ] [ ] [ [ Synthesize Audio ] ] [ ]2.2 具体改动点.studio-with-history拥有三列voices固定 280px、definition弹性宽度、history固定 340px。窄屏下先堆叠 definition再显示 voices 与 history。把现有的 PROMPT 面板CloneDesignTab.jsx:221-284与 VOICE SOURCE 面板CloneDesignTab.jsx:313-532放进同一个definition 列Prompt 在上。Language/steps 与 Production Overrides Synthesize 仍留在该列底部。左侧库轨道.studio-voices承载WorkspaceVoices右侧列.studio-right将WorkspaceHistory撑满高度见 §四。Voice 工作区解散左侧边栏hideSidebar包含clone/design。原本位于侧边栏 Projects 标签里的已保存 Profile 列表迁入WorkspaceVoices下载入口仍可通过 OmniDrive 访问。Dub 暂时保留侧边栏直到 §五把右侧面板模式推广过去。本节不涉及任何后端改动。三、统一 Voice 工作区导航与模式收敛3.1 单一 AppModestudio目前clone与design都落到CloneDesignTabApp.jsx:1125 的 else 分支。方案是将其替换为单一 idstudio——注意避开既有voiceprofile 详情页和generate模式。在uiSlice.ts的AppMode中移除clone | design新增studio并保留向后兼容 shim恢复持久化 UI 状态或历史项时若mode为clone/design见 useAppData.js:137 与 App.jsx 的restoreHistory映射为studio并预置对应的define method。3.2 工作区内的 Define voice 分段控件工作区内部用分段控件切换定义方式From audio原clone拖放/录制/选择参考音频、转录文本、style。CloneDesignTab.jsx:344-405By design原design描述框 personality 标签 分类滑杆。CloneDesignTab.jsx:436-528Saved profile选中 profile 卡片后根据profile.kind隐式决定方法。原CloneDesignTab内部基于mode的分支mode clone ? … : …变为局部defineMethod状态audio | design由所选 profile 或上次使用的方法初始化。生成请求的形态不变——它本来就按profile_id/ref_audio/instruct取键与标签名无关。3.3 文件重命名与导航将CloneDesignTab.jsx重命名为StudioTab.jsx保持导出可用并更新 App.jsx:1128 的懒加载 importNavRail 标签改为 Voice。Profile 是枢纽已保存 profile 列表CloneDesignTab.jsx:319-342移到 Voice Source 顶部且无论何种定义方式都始终可见选中某个 profile 会填充表单并设置方法 New 则清空选择、回到空白定义。四、Profile 数据模型统一kind判别字段与vd_states4.1 迁移0005_unified_profiles今天的voice_profilesbackend/core/db.py:39-53无法把设计语音表示为头等 Profile且POST /profiles强制要求ref_audio文件backend/api/routers/profiles.py:40。迁移为表增加判别字段与设计参数ALTER TABLE voice_profiles ADD COLUMN kind TEXT DEFAULT clone; -- clone | design ALTER TABLE voice_profiles ADD COLUMN vd_states TEXT DEFAULT NULL; -- JSON of design category picks -- ref_audio_path stays TEXT/nullable (SQLite: already nullable). no audio. UPDATE voice_profiles SET kindclone WHERE kind IS NULL OR kind;该迁移已实际落地为 backend/migrations/versions/0005_unified_profiles.py实现要点与规范完全对应沿用0002_voice_profile_demo_fields.py的幂等_has_column()模式基于PRAGMA table_info探测fresh install 上_BASE_SCHEMA已含列升级为空操作回填安全所有既有 profile 都带有真实或渲染出的ref_audio_path包括 archetype 物化的因此默认kindclone在语义上成立无需迁移用户数据、无需重渲染在 db.py 的_BASE_SCHEMA CREATE TABLE中镜像新列让全新安装直接收敛downgrade()用_has_column保护后删除两列SQLite ≥ 3.35。4.2 统一后的 Profile 形态interface Profile { id: string; name: string; kind: clone | design; ref_audio_path: string | null; // clone: user audio. design: rendered sample (seed 42) ref_text: string; instruct: string; // style; for design buildDesignInstruct(vd_states) ⊕ free text vd_states: Recordstring,string | null; // design only — for re-editing the sliders language: string; seed: number | null; is_locked: boolean; locked_audio_path: string; created_at: number; }前端 types.ts:107-119 早已声明kind/ProfileKind但从未真正收到它——本次使其落地为真实数据vd_states也在此补充。注意personality列db.py0002 新增保持未用本规范不重新定义其用途。五、右侧生成历史面板5.1 组件WorkspaceHistory新组件 frontend/src/components/WorkspaceHistory.jsx读取useAppData.js已加载的history过滤到当前工作区Voice 工作区的判定是item.mode ∈ {clone, design}按最新优先渲染。顶部一行过滤芯片[All] [Clone] [Design]仅 Voice切换item.mode默认All。实际实现中还扩展了Starred过滤见组件内FILTERS常量。每行复用共享的WaveformPlayer以及从 Sidebar.jsx:382-416 提升出来的既有行操作Save-as-profile、Lock有profile_id时、Export、Load-configrestoreHistory、DeleteCLONE/DESIGN 模式徽章保留。实时更新无需新机制generation_historyWS 事件本就会触发loadHistory()useAppData.js:115、useRealtimeEvents.js。实现细节上组件通过IntersectionObserver懒挂载WaveformPlayerLazyWaveform避免服务端一次返回最多 50 行历史时面板挂载瞬间并发 50 个音频请求。5.2 API可选的 mode 过滤参数列表端点backend/api/routers/generation.py:2525 的list_history目前返回全部混合的 50 条。规范要求增加可选查询参数完全向后兼容不传参即维持现行为GET /history?modeclone|designlimit50前端 v1 可继续用客户端过滤50 行上限使其代价很低仅当历史增长后再采用该查询参数。规范预留该参数是为了让右侧面板未来能按模式分页、而无需一次加载全部数据。5.3 已保存语音面板WorkspaceVoicesfrontend/src/components/WorkspaceVoices.jsx 已落地把侧边栏的已保存 profile 列表clone → 参考音色 profiledesign → 设计音色 profile迁移到撑满高度的.studio-voices左轨道卡片样式与操作select、preview、open、try-voice、unlock、delete保持一致并新增本地搜索。点击卡片执行handleSelectProfile把 profile 载入定义表单。中间 Voice Source 原先的内联 profile 块被移除单一事实来源。5.4 侧边栏清理App.jsx的hideSidebar现在包含clone/design→Voice 工作区的左侧边栏被解散其合成历史块仅为 Dub 保留下载入口迁移到 OmniDrive。六、后端Profile 创建与解析6.1POST /profiles语义变更backend/api/routers/profiles.py:43 的create_profile已按规范改造ref_audio变为可选Optional[UploadFile] File(None)新增kind默认clone与vd_statesJSON 字符串可选表单字段。校验规则kindclone→ref_audio必填维持今天的规则。kinddesign→vd_states必填instruct不必填全 Auto 的设计为空 instruct 也仍是合法、可保存的音色。服务端机会式地渲染样例 WAV复用archetypes.py的渲染器以_PREVIEW_SEED42合成sample_script存为ref_audio_path并始终持久化vd_states 派生instructseed42。渲染非致命issue #476引擎未就绪时行记录以ref_audio_pathNULL样例待定保存GET /profiles/{id}/audio在首次请求时惰性渲染并缓存若引擎仍不可用则返回精确的 503 model not ready — finish setup / download a model。源码层面的强校验还包括vd_states必须是 JSON 对象且按 core/describe_voice.py:52 的CATEGORY_ORDER (Gender, Age, Pitch, Style, EnglishAccent, ChineseDialect)补齐缺失分类键为Auto根因修复 #983instruct 统一经heal_design_instruct/sanitize_instruct清洗杜绝 [object Object] 之类的污染值#550 #571 #594 #596。返回体包含kind与vd_statesGET /profiles、GET /profiles/{id}同步返回。6.2POST /generate的 profile 解析用显式的profile.kind分支取代脆弱的is_lockedinstruct推断backend/api/routers/generation.py:310-335其逻辑现已抽取为_resolve_profile_conditioning供/convert等路由复用见 generation.py:128clone→ref_audio_path锁定则locked_audio_pathref_textinstruct。design→ 使用渲染出的ref_audio_path作为身份确定性instruct若缺失则退化为仅instruct。vd_states在合成时不需要已烘焙进instruct/样例但返回给编辑器使用。历史mode列逻辑generation.py:399-405保持clone if ref_audio_path else design但现在有profile.kind作为权威来源——当生成由 profile 驱动时写入mode profile.kind。6.3 前端保存/加载hooks/useProfiles.jshandleSaveProfileuseProfiles.js:37define method 为design时POSTkinddesignvd_states来自 store 的vdStatesinstructbuildDesignInstruct不传音频文件audio时行为不变。handleSelectProfileuseProfiles.js:62若profile.kinddesignsetVdStates(profile.vd_states)并把 define method 设为design否则填充refText/instruct并设为audio。修复了当前选中从不恢复滑杆的缺口。6.4 设计参数的生成instruct 的构建vd_states到合成指令的转换遵循 core/describe_voice.py 的统一逻辑按CATEGORY_ORDER遍历跳过值为Auto的分类其余以 , 连接成 instruct 标签串describe_voice.py:320。这正是 archetypes 构建 instr 的同一套机制backend/core/archetypes.py:202-218保证了设计音色与原型音色在合成条件上完全同构。七、确定性样例渲染seed 42 的复用规范反复强调设计语音保存时渲染样例必须复用archetypes 的渲染路径而不是复制一份单一事实来源以 seed 42 合成样例 → 存为 profile。在 archetypes 侧每个原型通过_build()携带sample_scriptarchetypes.py:255脚本为空的语音永远不会回退到空文本——空文本会合成出静音archetypes.py:220-222预览渲染走_PREVIEW_SEED42的确定性通道。在 profiles 侧设计语音保存时调用api.routers.archetypes的_render_archetype_wav把{language, sample_script, instruct}交给同一渲染器profiles.py:127-139失败被捕获且不阻断保存——行记录照常持久化样例进入待渲染状态。这一设计带来的可验证行为同一设计音色跨多次运行的生成结果确定seed 42 固定 instruct 确定测试计划中对此有专门断言。八、分阶段落地continuous-to-main每阶段可独立发布P1 —WorkspaceHistory 右列暂不合并在既有 clone/design 标签右侧渲染历史从侧边栏移除。纯前端复用WaveformPlayer。风险最低、立即可见的收益。P2 — 布局重排Prompt 置于 Voice Source 之上的单一definition列。仅前端/CSS。P3 — Profile 数据模型迁移0005、POST /profiles可选音频 kind/vd_states、按kind解析 generate、设计 profile 的保存/加载。后端 少量前端。P4 — 导航合并clonedesign→studio定义方式控件CloneDesignTab→StudioTab重命名legacy 模式 shim。前端。P5 — 把右历史模式扩展到 Dub/Storiesetc并在必要时采用GET /history?mode分页。从当前仓库状态看P1/P3 的核心组件与迁移均已落地WorkspaceHistory.jsx、WorkspaceVoices.jsx、0005_unified_profiles.py均存在且有配套测试P2/P4 的纯前端重构按规范分批演进。九、风险与待办事项Mode-id 变更冲击localStorage与generation_history.mode中持久化的mode:clone|design必须继续可解析。useAppDatarestore restoreHistory中加 shim绝不重命名历史mode的取值仍为clone/design只改导航模式 id。Archetype 路径复用设计保存的渲染必须与archetypes.py物化共享同一 helper不得复制以 seed 42 合成样例 → 存为 profile保持单一来源。personality列db.py0002 新增保持未用本规范不重新定义其用途。跨平台本方案所有默认行为均平台无关无需 opt-in 门控录音/麦克风今天已存在。文档同步P4 PR 中必须更新所有提及 Clone tab/Design tab 的docs/**与 README 段落docs-sync 硬性规则。十、测试计划规范给出了覆盖四个层面的完整测试计划可作为验证清单迁移全新安装经 base schema 收敛出kindvd_states从0002数据库升级回填kindclone降级干净删除两列。既有 profiles 仍可合成。后端POST /profiles拒绝design 无vd_states与clone 无音频design 创建产出可播放的ref_audio_pathGET /history?modedesign正确过滤design profile 的生成跨运行确定。前端选中 design profile 恢复滑杆 define method保存 design 音色完整往返右侧历史过滤芯片可用历史从侧边栏移除WaveformPlayer播放每行legacymode:clonelocalStorage 打开 Voice 工作区并处于 audio 方法。回归既有 clone profiles、lock/unlock、以及 archetype Use voice → profile 流程此前刚接入的变更仍然工作。仓库中已有对应的实现级测试可佐证例如 WorkspaceHistory.test.jsx、WorkspaceVoices.test.jsx、WorkspaceHistoryClear.test.jsx 与 workspaceHistoryReflow.test.js可作为阅读这些行为的入口。结语Voice Studio Unification 是一次典型的产品级 UI/数据模型协同重构产品上把两种音色创作范式收敛为一个 Profile、两种定义方式数据上用kindvd_states把设计音色提升为头等公民工程上以保存不依赖模型加载#476与渲染单一来源seed 42 复用 archetypes 通道两条原则保证鲁棒性与确定性。对希望理解 VoiceStudio 工作区架构或计划在此基础上做类似合并式重构的开发者本文列出的 规范文档、迁移脚本 0005_unified_profiles.py 与两个核心组件 WorkspaceHistory.jsx、WorkspaceVoices.jsx 是三条最直接的深入路径。【免费下载链接】VoiceStudioVoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription audiobook creation in 646 languages.项目地址: https://gitcode.com/GitHub_Trending/om/VoiceStudio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考