跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

2 条精选近 30 天 1 条共收录 27 条

更新

部署工程的精选

10月8日周四第 1–2 条
  1. GitHub Blog · AI & ML60

    GitHub 推出基于 ModernBERT 的密钥检测分类器,将防护前移到 push 环节

    GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,候选批次评估耗时不到 2 毫秒,可将可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度的数据说明密钥泄露压力来自代码量增长,并给出用分类器把防护前移到 push 环节的思路。

7月29日周三
  1. Berkeley AI Research60

    从 CUDA 到 MLX:K-Search 如何把内核优化经验迁移到 Apple Silicon

    Berkeley Sky Lab 团队为 K-Search 演化式内核搜索框架新增 MLX 后端,并设计结构化 CUDA-to-MLX 翻译层,让搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。

    推荐理由:作者把 CUDA 优化知识整理成结构化上下文,让演化搜索在 Apple Silicon 上接近专家内核水平,方法可迁移到其他硬件生态。