Thanks to visit codestin.com
Credit goes to v2ex.com

$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 rmrf 打赏,数额会 100% 进入 rmrf 的钱包。
 rmrf 最近的时间轴更新
rmrf

rmrf

V2EX 第 62533 号会员,加入于 2014-05-13 11:15:57 +08:00
今日活跃度排名 5409
Ladybird 浏览器宣布采用 Rust 语言逐步替代原有 C++ 代码
  •  1   
    浏览器  •  rmrf  •  1 天前  •  最后回复来自 shyangs
    17
    买了 Qoder ,此前公司有提供来着
    程序员  •  rmrf  •  5 天前  •  最后回复来自 rmrf
    14
    大家千万别随便点击链接了, npm 上 18 个流行的软件包又被投毒了
  •  1   
    信息安全  •  rmrf  •  2025 年 9 月 11 日  •  最后回复来自 marktask
    17
    看完小孩 2025 EWC 街霸六 卫冕冠军,很有感触
    游戏  •  rmrf  •  2025 年 8 月 26 日  •  最后回复来自 chixinzei
    47
    买了个马鞍椅,现在对正确坐姿有了新的看法
    健康  •  rmrf  •  2025 年 8 月 16 日  •  最后回复来自 rmrf
    8
    给 Ladybird 浏览器捐赠了 10 美元
    浏览器  •  rmrf  •  2025 年 8 月 5 日  •  最后回复来自 ThinkCat
    41
    公司下午放假了
    上海  •  rmrf  •  2025 年 7 月 31 日  •  最后回复来自 coryxu
    18
    推荐个游戏 Neva
    游戏  •  rmrf  •  2025 年 6 月 29 日  •  最后回复来自 rmrf
    3
    尝试了一下 Brave 浏览器
    Chrome  •  rmrf  •  1 月 19 日  •  最后回复来自 NicholasZhan
    18
    rmrf 最近回复了
    4 小时 51 分钟前
    回复了 fingerxie 创建的主题 程序员 阿里云 CodingPlan 计划太坑了吧
    火山和阿里云都买了,火山多一天,是 29 天 [哈哈]
    4 小时 58 分钟前
    回复了 BeanzZ 创建的主题 程序员 这一次,让 AI 真正拥有“长久记忆”!-TiMem
    很赞! 我研究一下。

    但是 https://timem.ai/ 网站证书不太对,打开之后浏览器会告警,建议更新一下
    不过现在想想,能早点儿换,总比后面再换的好。
    @hopeofsteadylife 。。。其实我这里 db 就是简单的 数据库 (database) 的意思,就是:比数据库检索数据还快。
    @Geon97 还在替换代码,估计要更久了
    @restkhz 是的,非常赞同,这个技术绝对是 2026 年非常非常有重量的,非常有想象力的做法。

    想想一下,那些对速度有非常高要求的垂直场景:高速行驶的汽车、具身机器人的大脑的部分功能(或者小脑)

    另外据我了解,中国的公司因为 llm 训练 gpu 技术不行,其实一直都在押宝 ASIC 芯片路线的。
    今天看到 https://www.anuragk.com/blog/posts/Taalas.html 这里讲的:技术原理

    1. 固定功能 ASIC 架构
    Taalas 的芯片是一种固定功能 ASIC (专用集成电路),类似于 CD-ROM 、游戏卡带或印刷书籍——只能运行一个特定模型,无法重写。
    他们将 Llama 3.1 的 32 层网络结构直接蚀刻到硅片上,模型权重成为物理晶体管,而非存储在内存中的数据。

    2. 突破"内存墙"
    传统 GPU 的瓶颈:GPU 需要从 VRAM/HBM 反复读取每一层的权重矩阵,进行计算后将中间结果存回内存。这种频繁的内存读写造成延迟和能耗(即"内存墙"或冯·诺依曼瓶颈)。
    Taalas 的方案:输入向量直接流入第一层物理晶体管,通过他们发明的"魔法乘法器"(单个晶体管实现 4-bit 数据存储和乘法运算),电信号通过物理导线直接流入第二层,依此类推,直到生成最终 token 。无需外部内存来回搬运数据。

    3. 芯片制造策略
    他们设计了带有大规模通用逻辑门和晶体管网格的基础芯片。
    针对特定模型,只需定制最上面的两层光罩即可,无需从头制造芯片。
    为 Llama 3.1 8B 开发专用芯片仅用了 2 个月——在 AI 领域虽显漫长,但在定制芯片领域已属极快。

    4. 内存使用
    不使用外部 DRAM/HBM ,但包含少量片上 SRAM:
    存储 KV Cache (对话的上下文窗口)
    支持 LoRA 适配器进行微调
    @catazshadow 这才开始,后面慢慢优化起来,很有想象力啊。
    @renfei 是的,精度不行,但这推理速度,让很多事情很有想象力了。尝试了一下大段翻译,超级快,而且基本正确。
    5 天前
    回复了 rmrf 创建的主题 程序员 买了 Qoder ,此前公司有提供来着
    @hongye 多谢提醒,我去看看
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3038 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:57 · PVG 21:57 · LAX 05:57 · JFK 08:57
    ♥ Do have faith in what you're doing.