每日AI新鲜事·08月02日晚间版：EU AI Act生效与模型压缩极限

今天AI圈的新闻挺杂的，有技术的有政策的，咱们先快速过一遍。

先说一条Hacker News上的消息，澳大利亚之前搞的那个青少年社交媒体禁令，现在基本宣告失败了。

路透社报道说研究显示大多数青少年还是照样在线上活跃，政府虽然嘴硬在辩护，但数据摆在那儿。

这个其实意料之中。你用立法手段去堵一个技术问题，永远是道高一尺魔高一丈。

小孩子比监管者更懂怎么绕过限制，VPN、换设备、借家长账号，方法太多了。

确实，这种一刀切的禁令执行成本太高了，而且效果还适得其反。

接着看，Reddit编程社区有人写了一篇长文讨论软件中的对象身份问题，把接口、组件系统、ECS、领域实体这些都串起来了。

哦这个话题挺经典的，状态和能力在变，但identity保持稳定。分布式系统里天天跟这个打交道。

嗯，作者说他是在多个系统中反复发现这个pattern之后才总结出来的，算是一篇偏哲学的编程思考。

然后还有一条也是Reddit上的，有人在从零训练一个13亿参数的LLM。

13亿参数，这个规模现在个人其实是可以搞的，一张好点的卡就行。不知道他用了什么架构，标题说是某种特定架构但没展开。

对，可能是想验证某个新的架构设计。这种动手派我挺佩服的。

最后Hacker News上还有个开源项目，叫Comp AI CRM，主打agentic-first的CRM系统。

Agent-first的CRM，意思是让AI agent来主导客户关系管理流程？这个方向现在确实不少人在探索。

不过这个项目目前关注度不高，零评论，可能还在早期阶段。

好了新闻就先聊到这儿，接下来咱们聊聊最近特别火的两个话题。第一个就是EU AI Act，今天正式生效了。

对，8月2号，就是今天。LocalLLaMA社区昨天就在讨论了，帖子标题直接带个小丑emoji，态度很明显。

社区的情绪这么大？

你想啊，本地跑模型的那帮人，最在意的就是自由度。EU AI Act对高风险AI系统有一堆合规要求，虽然主要针对商业部署，但大家担心的是寒蝉效应。

等等，这个法案不是分阶段生效的吗？今天具体是哪些条款开始执行？

今天是全面生效日。之前那些禁止类的条款、通用AI模型的透明度要求、高风险系统的合规义务，从今天起全部有法律约束力了。

那对开源社区的影响到底有多大？比如在LocalLLaMA上分享模型权重这种事。

法案对开源有一定豁免，但界限模糊。如果你开源的模型被归类为通用AI模型，还是得满足透明度要求，比如公开训练数据的摘要。

关键问题是执行层面。欧盟有没有能力对每个开源项目去审查？大概率没有。但大公司肯定会更谨慎。

所以社区的担心更多是长期的，怕这套框架以后越收越紧？

没错。而且你看澳大利亚社交媒体禁令的例子就知道，立法和执行之间的gap可以非常大。EU AI Act可能也面临类似困境。

这倒是个有意思的类比。不过AI监管和社交媒体禁令还是有本质区别的，AI涉及到安全问题确实需要某种框架。

我同意需要框架，但这个框架是不是得跟技术发展速度匹配？法案从起草到今天生效，好几年了，AI的能力已经完全不是当初立法时的水平。

这确实是监管科技领域永恒的难题。好，咱们再聊另一个话题，也是LocalLLaMA上很火的讨论——模型到底能压缩到多小？

有人问了一个很根本的问题：是不是存在一个极限，模型小到一定程度就不可能再保持智能了？

这个问题太好了。我的回答是：肯定存在这个极限，但我们可能还远没到那个边界。

你看最近Laguna S 2.1刚放出FP8和NVFP4的官方权重，NVFP4就是4比特的数值格式。模型在这种极致压缩下还能保持相当不错的表现。

FP8到NVFP4，这个压缩幅度意味着什么？给不太了解的听众解释一下。

简单说，FP8是用8个bit表示一个参数，NVFP4只用4个bit。从FP16到FP4，模型体积缩了四倍，显存需求也跟着降。

但精度损失不是线性的。从FP16到FP8，损失很小。从FP8到FP4，就开始有明显衰减了。再往下到2bit、1bit，那基本就是另一个模型了。

所以这个极限不只是参数量的问题，还跟量化精度有关？

对，两个维度。一个是参数数量——你用多少个参数来编码知识。另一个是每个参数的精度——每个参数能携带多少信息。

理论上存在一个信息论的下界。你要编码人类语言的复杂度，最少需要多少bit？这个问题目前没人能给出精确答案。

那从工程实践来看呢？之前有人在三张MI50上跑DeepSeek V4 Flash，那个模型体量可不小。但社区其实更想要的是真正小的、能在手机上跑的模型。

对，这是两个方向。一个是把大模型塞进更少的硬件，靠量化。另一个是训练本身就小的模型，靠蒸馏或者更好的架构。

我的判断是，10亿参数级别的模型在特定任务上已经很强了，但通用智能可能需要至少几十亿参数的规模才能涌现。

那Laguna S 2.1出NVFP4权重这个事，是不是说明业界在积极推动这个极限？

绝对是。官方直接出4bit权重说明他们验证过质量是可接受的。这比社区自己量化要靠谱得多，因为官方可以在训练时就考虑量化友好性。

所以结论是，极限存在，但我们还在不断逼近它的路上，而且每次觉得快到了又会有新突破？

差不多就是这个意思。两年前大家觉得7B是本地能用的下限，现在3B甚至1.5B在某些场景下都能用了。这个boundary一直在被重新定义。

行，那今天就聊到这儿。EU AI Act生效加上模型压缩极限的讨论，一个是政策面一个是技术面，挺互补的。

嗯，一边在限制你能做什么，一边在扩展你能在多小的硬件上做到什么。有意思的张力。

好的，那我们明天见。