
分布式推理的门槛,很多时候不是显卡,是那张几万块的 InfiniBand 网卡。有人用一坨内核代码加几根雷电线,把它干掉了:两台 128GB 的 Strix Halo 机器,跑 230B 的 MoE 模型,20 tok/s。
项目叫 donnerkeule,fork 自 hellas-ai 的 thunderbolt-ibverbs,一个研究性质的 Linux 内核模块加用户态库。它干的事一句话说清:把 USB4/Thunderbolt 4 的 DMA 通道,伪装成一个标准 InfiniBand RDMA 设备。不买网卡,不买交换机,你的 vLLM、NCCL、UCX 照常以为自己在用真 IB。
2026/10/2大约 5 分钟
