ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Fay 开源数字人框架快速上手:3 个版本接通大模型,让数字人真正开口干活

Fay 开源数字人框架快速上手:3 个版本接通大模型,让数字人真正开口干活 Fay 开源数字人框架快速上手:3 个版本接通大模型,让数字人真正开口干活【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay给直播间配一个能回弹幕、懂商品的虚拟主播,或者给门店立一个能语音问答、顺手关灯开灯的 3D 导购——这件事不用自己写一堆胶水代码。Fay 是一个开源数字人框架,把 2.5D/3D 数字人或任意 OpenAI 兼容大模型(GPT、DeepSeek 等),和弹幕、知识库、日程、设备控制这些业务系统连成一套能自主决策的 agent。 一句话说清它是什么把 Fay 想成数字人的神经系统:形象和渲染跑在端上(UE5、Live2D、网页、移动端),Fay 负责听(FunASR 语音识别)、想(大模型)、说(TTS 合成),再按你的业务规则决定什么时候该说什么。 三步跑起来克隆仓库,三个版本的代码都在里面:git clone https://gitcode.com/GitHub_Trending/fay/Fay切到目标版本分支,带货 / 助理 / agent 版各对应一条:git checkout fay-assistant-edition(带货版用fay-sales-edition,agent 版用fay-agent-edition)打开config.ini,把大模型接口(云端 API 或本地 VLLM 地址)和 TTS 密钥填好,按该分支说明启动服务:vim config.ini️ 核心能力拆解直播间带货:弹幕有人接,冷场有人救监听 B 站、微信视频号弹幕,违规内容和违禁词先过滤再回复,本地可配违禁词库回复带优先级:商品问题 VIP 用户 普通闲聊,不瞎答接情绪分析(百度 / Azure)和情感 TTS,观众问急了语气也会跟着变闲时自动播报话术,直播间不冷场门店与桌面助理:动口不动手FunASR 实时语音识别,支持热词定制,行业词也听得清接入本地 PDF 知识库(RAG),产品手册丢进去就能问答理解口语指令,按你说的开关设备、管理日程TTS 支持 Azure / 阿里云 / GPTSoVITS 等多种引擎,声音风格可选自主 Agent:不用你事事下指令接到任务自己拆解、调工具、给结果,还能主动联系主人汇报内置工具:网页内容获取、Python 执行器、日程管理、知识库查询、微信消息推送大模型随意换:OpenAI 兼容接口、DeepSeek、Moonshot,或 VLLM 本地模型聊天记录按 agent / LLM 来源分开存储,方便排查它为什么这么答⚖️ 版本/方案怎么选版本核心能力典型场景适合谁带货版多平台弹幕监听、商品问答、违规过滤虚拟主播、线上导购有直播 / 电商业务,要快速上线助理版语音对话、本地知识库、设备控制门店导购、展厅、私人助理需要面对面语音交互的团队Agent 版自主决策、工具调用、主动触达企业机器人、智能中控想跑通 agent 全流程的开发者三个版本共用同一套形象载体(2.5D / 3D / UE5 / 移动端 / 网页),差异只在大脑里的业务逻辑,选错了切换成本也不高。❓ 上手前必知的 3 件事大模型只能调云端 API 吗?不是。任何 OpenAI 兼容接口都行——GPT、DeepSeek、Moonshot 都可以;想省费用或数据不出内网,用 VLLM 起本地模型(如 ChatGLM3-6B)也能直接接。TTS 和情绪分析怎么配?在config.ini里选引擎填密钥即可,情感语音走 Azure 的 emotion 参数;百度情绪分析密钥留空时会自动跳过,不会卡启动。形象文件放哪儿、怎么和 Fay 对接?Fay 只负责大脑,形象与渲染在端侧(UE5 工程、Live2D、移动端、网页),两者走消息协议对接;网页和移动端自带文本输入框和语音按钮,调试时不用只靠麦克风。 写在最后挑对版本、填好配置,Fay 就能把数字人接上你现有的业务系统,剩下的精力留给形象和话术。各分支的详细说明与对接文档入口,见 README.md。【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表