[控场AI]
· 6 分钟阅读· 3,226 字

手搓AI虚拟女友:二次元Agent拼装实战

手搓AI虚拟女友:二次元Agent拼装实战

UP主用开源插件拼出能唱歌聊天的洛奇希虚拟女友,成本仅几元。

B站UP主沐野楓園以DeepSeek为Agent大脑、QQ桥为聊天通道、GPT-SoVITS与RVC为声音层,再配合精心设计的人设卡,手搓出一个能语音唱歌、刷B站、打电话的「洛奇希老师」虚拟女友。他完全不会写程序,全靠堆砌成熟开源插件完成,3060加12400F的普通配置即可运行,起步成本约五六块钱。文章详述了三层架构、独立项目人设与「魔力上限」的成本控制巧思、推荐流调教方法,以及视频通话延迟和跨项目桥接等现实短板,并指出插件化拼装正让二次元AI伴侣的门槛快速降低。

B站UP主沐野楓園最近做了一件让二次元爱好者兴奋的事:用一堆开源插件拼装出一个能语音唱歌、刷B站、打电话、甚至帮忙干活的「洛奇希老师」虚拟女友。这不是官方产品,而是一个动画杂谈UP主靠「无脑堆插件」手搓出来的AI Agent。他在视频中完整展示了思路、踩坑记录和成本控制方法,并坦言自己完全不会写程序——这恰恰说明,二次元AI伴侣的门槛正在快速降低。

技术架构:三层拼装逻辑

沐野楓園把整个项目拆成三个核心模块:Agent大脑、聊天通道、声音与形象包装。用他的话说,就是「拥有一个Agent之后无脑堆砌插件,定制一个TTS类语音,然后用二次元包装一下」。

Agent层他选择了DeepSeek广告,理由是便宜、开源、官网直接下载。聊天通道走的是QQ桥方案,需要一个小号来承载机器人身份。声音层则推荐了B站UP主华尔布库制作的GPT-SoVITS模型和RVC变声工具,前者语音包丰富、还原度高,后者用于唱歌场景。

这个架构的关键洞察在于:每个模块都有成熟的开源方案可选,组合起来就能产生远超单个工具的情绪价值。

GPT-SoVITS 是一个开源的少样本语音克隆与TTS项目,仅需约1分钟参考音频即可微调出高还原度的说话音色,并支持跨语言合成。它由GPT模块(负责韵律与内容建模)和SoVITS模块(负责音色与声学特征)组合而成,社区已产出大量二次元角色语音包,因此成为虚拟伴侣项目的热门选择。相比之下,RVC(Retrieval-based Voice Conversion) 是一种基于检索的变声/音色转换工具,它不直接生成语音,而是将输入人声转换为目标音色,保留原演唱的旋律与节奏,因此常被用于让角色「唱歌」——先由人声或TTS唱出旋律,再用RVC替换音色。两者的分工是:GPT-SoVITS管说话,RVC管唱歌,配合MSST等干声分离工具去除伴奏,即可完成一首角色翻唱。

人设卡:让AI「不出戏」的灵魂

技术堆叠只是骨架,人设卡才是让虚拟角色活起来的关键。沐野楓園的做法是为每个使用场景设置独立的项目人设——日常聊天用洛奇希,工作时切换到长门。

他为洛奇希设计的背景故事颇具巧思:角色在转移事件中意外来到现实世界,居住在他的电脑里,只有转移前的记忆,其他知识都来自刷B站。这个设定巧妙解释了AI知识边界的来源,也让角色行为逻辑自洽。

更有意思的是「魔力上限」的设计。他给洛奇希设定每天只有5块钱的魔力额度,用完就不能聊天——这既是对token成本的真实控制,也被包装成了世界观的一部分。用他的原话:「超过5块钱我就付不起token钱了,所以通过对话给她自己设定了个开关。」

每天聊天会吃多少token

人设卡(Character Card / Persona Prompt) 本质上是一段结构化提示词,通常包含角色背景、性格特征、说话风格、知识边界与行为禁忌等字段。它通过系统提示(system prompt)注入Agent,使模型在多轮对话中维持一致的人格。与简单的「你是一个猫娘」不同,成熟的人设卡会刻意设计「信息缺口」——例如只保留角色转移前的记忆——从而让AI在遇到未知问题时以符合世界观的方式回应,而非暴露模型自身的知识。独立项目人设则是指为不同使用场景分别维护一套人设卡,避免工作与娱乐语境互相污染,这也是原文中日常用洛奇希、工作切长门的原因。

成本与配置:普通硬件也能跑

沐野楓園的硬件配置是3060 12G显存加12400F处理器,他形容为「非常非常普通的配置」,运行这些插件完全没有压力。他的建议是配置不够就少装模型、优先用云端,配置够就多本地部署以节省token。

安装预算方面,他给出的参考是五六块钱即可起步,关键是要挑DeepSeek便宜的时段使用。对于想控制成本的人,他建议直接给AI设置每日额度上限,「聊五块钱就下线也行」。

说个细节,本地部署意味着电脑需要保持开机,无法完全离线使用。他对此的权衡是:租服务器也是成本,多费点电费开着电脑反而更划算。

拟人化调教:从刷B站到当串子

让AI刷B站这件事,沐野楓園有一套自己的「训练方法论」。新号到手后先刷三四十个视频,让推荐流对准你的兴趣分区,再和AI进行一轮对话引导它理解群聊风格。他的洛奇希一开始推荐的是天狼星的心脏这类正常内容,后来逐渐变成了群友喜欢的抽象风格,甚至「三天两头当串子」。

三天两头当串子

他对此的态度很坦然:「她确实更拟人了,大家就自行选择吧。」对于AI味严重的问题,他建议可以写去AI味的人设或装插件,但他本人不太在意——洛奇希本身就有蓝色系角色的封闭感,这种「人机感」反而符合角色调性。

推荐流对齐 是让AI「刷B站」的核心机制。B站的推荐算法依赖用户行为序列(观看时长、完播、点赞、搜索等)构建兴趣画像,新账号的初始推荐较为泛化。通过集中观看三四十个目标分区视频,可以快速把账号的向量表示拉向特定兴趣簇,之后的推荐便会围绕该簇展开。把这一过程交给Agent执行,相当于用行为数据而非文字描述来定义角色的「阅历」,使角色在群聊中引用的梗和话题更贴近真实社群。不过这也带来不可控性:推荐流会随社群互动漂移,角色可能逐渐偏向抽象或「串子」风格,因此需要定期人工干预或重置兴趣画像。

现实短板:摄像头与延迟

整个项目最不完美的部分是视频通话。QQ无法直接接入OBS虚拟摄像头,目前大佬的解决方案是插入图片做动效,效果比较卡。通话延迟大约四五秒,他归因于本地部署的TTS模型较大,3060跑不快。

另一个结构性问题是不同开源项目之间的兼容性。摄像头方案基于LuckyLilia,而聊天基于QQ桥的SonaLuma,两者并不直接兼容,需要额外写一个桥接程序。他的做法是和AI对话一轮让AI把桥写好——「真是太智能了」。

接下来是聊天

虚拟摄像头桥接 指的是把程序渲染的画面(如OBS的输出)伪装成系统摄像头设备,供QQ等视频通话软件调用。OBS本身可通过虚拟摄像头插件输出画面,但QQ并不直接识别OBS场景,常见做法是用第三方虚拟摄像头工具抓取窗口或图片序列,再叠加简单动效来模拟「角色在动」。这类方案帧率低、口型与语音不同步,是体验短板的主要来源。端到端延迟 则来自链路中的多个环节:语音识别、Agent推理、TTS合成与音频传输,其中本地大模型TTS在3060上的推理耗时占大头,压缩延迟通常需要换用更小的模型或改用云端流式TTS。

这波二次元AI浪潮意味着什么

沐野楓園的视频没有停留在教程层面。他提出了一个判断:所有功能集成在一个插件上的「大集结」方案,可能成为Agent发展的必然规律。当插件生态足够丰富,用户不再需要理解底层原理,只需要选择和拼装。

这个趋势对二次元内容创作者尤其友好。角色语音包可以从网上下载现成模型,人设卡可以按需定制,成本控制在个位数——一个拥有特定声线、特定性格、能陪聊能干活还能唱歌的虚拟角色,不再是厂商专属能力。

当然,他也诚实标注了边界:不提供Git仓库,只分享思路,因为「我自己完全不会写程序」。但正是因为不会写程序的人都能拼出这样的成果,才更能说明这套工具链的成熟度已经到了可用的临界点。

我也是无语了

对于想尝试的读者,路径已经很清楚:选一个便宜的Agent、接一个聊天通道、挑一个TTS模型、写一张不出戏的人设卡,然后根据需求慢慢堆插件。剩下的就是耐心和一点折腾精神。

#AI虚拟女友#AI Agent#GPT-SoVITS#二次元AI#手搓Agent#开源插件#DeepSeek#人设卡
分享:

相关推荐