科技爱好者周刊（第 404 期）提供了关于AI内存知识的深度探讨。文章指出，尽管目前市场上存在多种硬件选择，但独立显卡和板载芯片组的迷你电脑在处理大型AI模型时各有优势和限制。特别是对于内存需求较大的模型，如70B参数的模型，RTX 5090显卡无法有效运行，而AMD的迷你电脑则能提供足够的内存支持。然而，内存带宽的限制也成为了瓶颈，尤其是在处理大批量数据时。此外，混合专家模型（MoE）的出现为解决这一问题提供了新的思路，它通过激活部分参数而非一次性读取所有参数来提高计算效率。
--91likeyou---
我问大家，哪种硬件更好？
大部分人可能不假思索，就会选择独立显卡，毕竟独立显卡的算力远大于板载芯片组。
根据我查到的资料，下面是两者的单精度32位浮点数算力（FP32）。
- 独立显卡（RTX 5090）：104.8 TFLOPS
- 板载芯片组（AMD Ryzen AI Max+ 395）：14.8 TFLOPS
可以看到，独立显卡的算力，足足是板载芯片组的7倍。如果是更小位数的浮点数计算（比如 FP16 和 FP4），算力差距就更大了。
但是，我告诉你，正确的答案其实是"不确定"。很多时候，板载芯片组的迷你 PC，才是更好的本地 AI 模型解决方案。
原因很简单，大多数的 AI 模型（只要参数规模稍大），RTX 5090 根本运行不了。
问题出在它的 32GB 显存实在太少了。一个 70B 参数的模型，如果每个参数使用4位精度，那么将所有参数的权重读入内存，大约需要 32.6GB 的内存，这超出了 RTX 5090 的显存大小，它根本跑不起来。
相比之下，AMD 迷你电脑的板载内存有 128GB，载入模型毫无困难。板载芯片组的内存是显卡和 CPU 共用的，所以称为"统一内存"。它的好处是可以分出尽可能多的内存给单个处理器，所以能处理内存消耗量很大的 AI 模型。
苹果的 M 系列芯片一直是这种"统一内存"架构，其他厂商现在也跟进了，AMD 的 Strix Halo、NVIDIA 的 DGX Spark、In Core Ultra 和高通的 Snapdragon X 都采用这种架构。除了内存容量大，它的价格也比独立显卡低。
读到这里，你可能会问，既然板载芯片组有这些优点，还有必要购买独立显卡吗？
回答是，内存有两个指标，除了容量大小，还有一个指标"内存带宽"。板载芯片组的弱点，恰恰就是内存带宽。
所谓"内存带宽"，指的是内存向处理器传送数据的速度。虽然 RTX 5090 显存不多，但是内存带宽极大，达到了 1792GB/s，而 AMD 的内存带宽只有 256GB/s。
AI 模型每生成一个 Token，需要处理器从内存中读取整个模型，进行计算。如果内存带宽是 256GB/s，那么 40GB 大小的模型，处理器一秒只能读取6次（256除以40），也就是说每秒只能生成6个 Token（这是理论值，实际可能还达不到）。这样的龟速，谁能忍受？
即使是内存带宽最大的苹果 M3 Ultra 芯片，带宽为 819GB/s，每秒可以生成20个 Token，远不如 RTX 5090 的 1792GB/s。
所以，内存大小和内存带宽，两者都是 AI 模型的瓶颈。这也是高带宽内存（HBM）价格涨疯了的原因。
如果你选择板载芯片组的迷你电脑，就要做好心理准备，忍受非常慢的 Token 生成速度。
好在为了节省计算量，出现了"混合专家模型（MoE）"这种架构，它计算 Token 时，不需要读取全部参数，只需要激活一部分参数即可。
以 Qwen3-30B-A3B 模型为例，它包含 30B 个参数，但每次只激活 3B 个参数，因此每个 Token 需要读取的数据量不是 20GB，而是 2GB。那么在 AMD 迷你电脑上，每秒理论上可以生成100多个 Token，这样的速度就相当不错了。
因此，如果你用"统一内存"模式的迷你电脑，就选用 MoE 模型吧。
另外，迷你电脑还有一个很大的缺点，跟内存无关，而跟它的算力慢有关。
我们知道，模型必须先处理用户的提示词，然后才能生成 Token。因为迷你电脑的算力慢，所以它处理提示词也很慢。
根据实际测算，AMD 迷你电脑使用 70B 的模型，提示词处理速度是每秒95个 Token。那么，用户提交4000个 token 的一个文档，大约需要40秒才能处理完，然后才能输出第一个 Token。
可以想象，一旦用户往上下文窗口塞入更多的内容，单单是处理提示词，就会变成几分钟到几十分钟。
总之，现阶段想在本地电脑运行大模型，无论是独立显卡还是板载芯片组，都有缺陷。你最多只能运行一些中等规模的 MoE 模型，而且提示词不能很长。
布尔变量如何起名
传说中，编程有两大难题，一个是缓存失效，另一个是变量起名。
其中，布尔变量尤其难起名。怎样才能贴切地表达，这个变量是表示"真"（true）和"伪"（false）的布尔值呢？
我最近读到一篇文章《布尔变量起名的艺术》，提出使用四个前缀就能给布尔变量正确起名，我觉得很有启发。
（1）is-：描述事物的状态，后面跟形容词，比如 isActive，isDeleted，isEmpty。
（2）has-：描述事物的所有权或包含关系，后面跟名词，比如 hasAccess，hasChildren，hasValidationErrors。
（3）can-：描述事物的能力或权限，比如 canEdit，canDelete，canRetry。
（4）should-：描述事物的意图或逻辑，比如 shouldRetry，shouldCacheResponse。
除了这四个前缀，起名还有另一条规则：永远不在布尔变量名中使用否定词。
比如，不使用 isDisabled，而要用 isEnabled = false。
科技动态
1、OpenAI 键盘
OpenAI 公司刚刚推出了一款便捷键盘，方便操作 AI 代理。
键盘下方是一排快捷键，用于批准、否决、语音输入等操作。上方是一排 RGB 灯，表示 AI 代理目前的状态（思考、运行、等待、完成）。
这东西售价230美元，看上去毫无新意，也未必比普通键盘方便。
著名设计师乔纳森·艾维（Jony Ive）离开苹果公司后，现在负责 OpenAI 硬件设计。大家都盼望，他能拿出让人眼前一亮的智能硬件，但最先亮相的这个小键盘真是让人失望。
2、小行星 2016HO3
天问二号探测器于2025年5月发射，经过约400天的飞行，终于到达了目标----小行星 2016HO3，并传回了照片。
这个小行星长度在20米左右，只比半个标准篮球场大一点，形状不规则，并有尖角，这表明它应该是碰撞后的碎片，而不是熔岩冷却形成的。
天问二号拍摄照片时，距离这个小行星20公里，下一步将按照计划，采集这个小行星的岩石样本，送回地球。
这件事的难点在于，天问二号翼展达到15米，只比这个小行星小一点，采样时可能会改变小行星的轨道。
3、风力编织机
一个荷兰设计师发明了家用的风力编织机，可以安装在阳台或楼顶。
风力带动叶片，在一个圆形的编制转盘上，将毛线编织成围巾。
风大的时候，编织速度非常快。它看上去是一个纯粹的机械装置，没有用到风力发电。
设计师的原意是向人们展示，在城市的楼宇里，也可以利用风力。
文章
1、机器学习博士求职指南（英文）
作者是一个美国的机器学习博士毕业生，已经进入了 DeepMind 工作，本文是求职过程回顾和总结。
另有一篇类似的文章。
2、使用 DNS 通过 ACME 认证（英文）
免费 HTTPS 证书需要通过 ACME 协议颁发。该协议要求认证域名所有权，一种认证方法就是使用 DNS，本文介绍这是怎么回事。
3、Go 语言的困境（英文）
本文认为，Go 语言的处境尴尬，前途不看好。"随着慢语言变得更快，难语言变得更容易，Go 所占据的中间地带将不复存在。"
4、JavaScript 哈希算法速度比较（英文）
MD5 和 SHA256 都是常用的哈希算法，本文探讨在 JavaScript 语言中，这两种哈希算法，谁的生成速度更快？答案可能跟你想的不一样。
5、终端控制字符一览表（英文）
作者做了一张图（上图），列出命令行可以使用的控制符快捷键（比如快捷键 Ctrl-C 是终止当前命令），一共33个。
6、理查德·费曼加入我的创业公司（英文）
作者回忆著名物理学家理查德·费曼，曾经加入他的创业公司，一起开发超级计算机，有很多有趣的内容。
工具
1、WhatCable
macOS 的顶部菜单栏应用，可以显示当前插入电脑的 usb-c 电缆特征。
2、amber
一种简化 Bash 语法的新语言，它的脚本可以编译成 Bash。
3、 Ant
一种轻量级的 JS/TS 语言运行时，好像是自己从头开始写的，二进制文件只有 8MB。
4、屏译（Screen Translator）
开源安卓应用，实时屏幕翻译工具。（@ciddwd 投稿）
5、TurboOCR
使用 GPU 进行高速文字识别（OCR）的工具。（@nataell95 投稿）
另有一个纯本地的文字识别库 light-ocr，提供 JS/C++ API。（@eric8810 投稿）
6、Visprex
该网站可以上传 CSV 数据文件，自动生成可视化图形。
7、Loro
一个开源的 CRDT 的同步算法库，用来多人实时同步状态。
8、File Wizard
一个自托管的、基于 Web 的常见文件格式转换服务，还支持图像 OCR、音频转文字。
AI 相关
1、Oh My HuggingFace
非官方的 Hugging Face 开源跨平台客户端，用来浏览和下载模型、数据集等。（@fzlzjerry 投稿）
2、pi-auto-approval
编程代理 Pi agent 的插件，自动批准低风险的权限确认，高风险依然会交给用户确认。（@Europa2061 投稿）
3、GPT Crawler
这个工具将指定网站的内容，抓取成一个 JSON 文件，然后上传到 ChatGPT，从而生成该网站的聊天机器人，允许你跟该网站聊天。
4、Tokenwiz
一个模仿 OpenAI 将输入文本进行词元分解（tokenization）的开源实现。
资源
1、Goto Onion
暗网 Tor 网站的网关，使得普通浏览器可以访问 Onion 网址。
2、Fading Maize
一个很有意思的网站，一支美国大学乐队在2001年录制了专辑，随后就解散了。
现在，他们让 AI 将当年的录音改成2026年的风格。该网站就将两种录音同时放出来，让大家比较。
音乐真是很神奇，20多年前的音乐，毫无时光的痕迹，吉他声仿佛还是昨天。
3、迷宫算法（Maze Algorithms）
这个网站收集各种迷宫生成算法。
图片
1、海底环岛
环岛一般都在交通繁忙的路口，但是在大西洋的法罗群岛，有全世界独一无二的海底环岛。
上图是法罗群岛的海底隧道示意图，在黄圈处，隧道一分为二，通向两个不同的岛屿。这里就建了一个海底环岛。
为了引起司机的注意，政府请了艺术家，将其画成水母的形状。
文摘
1、AI 本应节省时间，减少工作量
人们本以为 AI 会节省时间，减少工作量，加州大学的一项调查发现，事实恰恰相反。AI 增加了工作量，让工作强度变大，使得人们产生职业倦怠。
为什么 AI 不仅没有减少工作，反而增加了工作呢？ 原因可能有下面几点。
（1）工作职责范围扩大。产品经理现在开始编写代码，研究人员开始维护服务器，人们的工作职责不再那么分明，而变得模糊不清。员工们开始处理职责范围之外的工作，AI 让这种转变变得切实可行。
这产生了连锁反应。工程师们突然发现，自己需要审查、纠正和指导非程序员同事的代码，因为那些同事正在"氛围编码"（vibe coding）。
在自己专业以外进行工作自动化的人，实际上是给其他人带来了更多的工作。
（2）工作/生活界限模糊化。AI 的对话式界面让工作变得轻松便捷，不再有面对空白页面的无助感，也没有令人望而生畏的学习曲线。
因此，员工们开始在离开办公桌前（比如上厕所前）发送"快速提示"，让 AI 在他们离开期间处理一些琐事。许多人甚至在休息时间也输入提示词，让 AI 去跑。这些在非工作时间使用 AI 处理的工作累积起来，导致休息时间减少，工作时长大幅增加。
（3）多任务处理激增。由于 AI 给人一种错觉，任务可以在后台处理，因此员工被要求同时管理多个工作流程。
这样做表面上可以提升生产力，但实际上往往转化为不断切换注意力以及更长的任务清单。
（4）以上因素的自我强化循环。 AI 让事情变得更简单，于是员工们做了更多事情，导致更加依赖 AI 来简化这些事情。如此循环往复，最终导致倦怠。
研究人员指出："一些参与者表示，虽然他们感觉工作效率更高了，但并没有感觉轻松，反而感觉比以前更忙了。"
（5）解决方法。研究人员提出，为了解决 AI 带来的职业倦怠，公司应该制定有意识的对策，规范员工如何使用 AI。
言论
1、
如果你是太阳，我就是黑洞。
---- 史蒂芬·霍金
2、
AI 模型的世界就像一个城市，里面有五个企业总部区域，以及一个中国城。
-- 《奇点越来越近了》
3、
AI 是一个完全的黑箱，这意味着所谓的"AI 工程"或"提示工程"完全是骗局，任何声称能够以某种巧妙的方式操控黑箱的说法都是虚假的。
你无法探究 AI 的运行逻辑，它只是一种机器实现的"相信我，兄弟"。
-- 《AI 是一个糟糕的工具》
4、
我有一台面包机，它几乎包办一切：揉面、发酵、烘焙。我把原料倒进去，按下一个按钮，三个小时后面包就出炉了。
嗯，三年里我大概只用过这台机器两次。相反，我每周都会去超市买一条包装好的预切片面包。
这解释了为什么即使 AI 可以轻松生成代码，SaaS 公司仍远未走向衰落。
-- 《为什么便利总是胜出，以及为什么 SaaS 不会消亡》
往年回顾
稳定币的博弈（#357）
不要看重 Product Hunt（#307）
黄仁勋的 Nvidia 故事（#257）
汽车行业的顶峰可能过去了（#207）
（完）
文档信息
- 版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证）
- 发表日期： 2026年7月17日
🔥 热词：#ai tweaker 内存 · #ai吃内存 · #aitc内存 · #内存黑科技 · #ai技术内参 · #ai内存多少 · #ai tweaker 内存频率