英伟达发布新一代 ai 加速芯片,官方称在推理吞吐与能效比上较上代显著提升,单卡可承载更大模型或更长的上下文。

对云服务与自建算力方,这意味着同样的预算能跑更多并发,有望进一步压低大模型 api 与推理服务的价格。

短期内高端卡仍可能供不应求,建议关注云厂商的实例上线节奏,以及新架构对现有框架的适配进展。

英伟达新一代 AI 芯片发布,推理成本再降