1200行代码逆袭 DeepS：eek工程师开源轻13%量级vLLM 【吞吐量逼】近原版

机器之心报道

机器之心编辑部

开源社区的人应该对 vLLM 不陌生，它是一个由加州大学伯克利分校团队开发的高性能、开源 LLM 推理和服务引擎，核心目标是提升 LLM 的推理速度（吞吐量）和资源利用率（尤其是内存），同时兼容 Hugging Face 等流行模型库。

简单来说，vLLM 能让 GPT、Mistral、LLaMA 等主流模型系列跑得更快、消耗更少资源，取得这些效果的关键是其创新的注意力机制实现方案 ——PagedAttention。

近日，DeepSeek AI 研究者、深度学习系统工程师俞星凯从零开始构建了一个轻量级 vLLM 实现 ——Nano-vLLM，将代码简化到了 1200 行。

目前，该项目在 GitHub 上收获了 200 多的 Star。

GitHub 地址：https://github.com/GeeeekExplorer/nano-vllm/tree/main

具体来讲，Nano-vLLM 具有以下三个核心功能：

一是，Fase 离线推理。推理速度与 vLLM 相当。

二是，易读代码库。实现非常简洁，Python 代码减少到了 1200 行以下。

三是，优化套件。提供 Prefix 缓存、Torch 编译、CUDA 计算图等功能。

俞星凯在基准测试中采用了以下测试配置：

硬件：RTX 4070

模型：Qwen3-0.6B

总请求：256 个序列

输入长度：100–1024 tokens 之间随机采样

输出长度：100–1024 tokens 之间随机采样

基准测试结果如下表所示，Nano-vLLM 与 vLLM 的输出 token 相同，时间略长，推理速度（吞吐量）稍逊一点点。整体而言，二者表现相当。

作者简介

Nano-vLLM 开发者俞星凯目前就职于 DeepSeek，参与过 DeepSeek-V3 和 DeepSeek-R1 的开发工作。

有意思的是，根据其 GitHub 主页，他还曾开发过一个植物大战僵尸 Qt 版，该项目也已经收获了 270 多星。此外，由于毕业于南京大学，他还曾参与了不少南京大学的计算机项目，包括南京大学计算机图形学绘图系统、南京大学分布式系统 Raft 算法最简实现、南京大学操作系统 OSLab 等。

而根据其 LinkedIn 页面可知，他曾先后在腾讯、幻方（DeepSeek 母公司）和字节跳动实习过。2023 年后入职 DeepSeek 成为深度学习系统工程师。

你是 vLLM 用户吗？会考虑尝试 Nano-vLLM 吗？

包含无敌六皇子全本免费TXT的词条

六皇子云峥是小说《无敌六皇子》的主角。这部作品的作者是梁山老鬼，归类于穿越和古装题材。至2024年1月10日，小说已更新至第三百八十八章。故事节奏明快，情节设计巧妙，环环相扣，让读者如临其境。作者对细节的刻画入微，营造出强烈的现场感和紧张感。小说的精彩之处在于：云峥穿越至大乾王朝，成为。。

六皇子云峥是小说《无敌六皇子》的主角。该小说的作者是梁山老鬼，归类为穿越和古装题材。至2024年1月10日，小说已更新至第三百八十八章。故事节奏明快，情节设计巧妙，彼此关联紧密，能够让读者如临其境。梁山老鬼对细节的处理和描绘入微，增强了故事的现场感和紧迫感。剧情简介：云峥穿越至大乾王朝，。。

1. 《无敌六皇子》是一本在七猫小说网开始连载的爱情小说，作者是梁山老鬼。小说已于2021年7月完本。2. 本书的故事背景设定在一个虚构的古代王朝，主角云铮是皇帝的第六个儿子，以其聪慧和得到父皇的宠爱而闻名。3. 尽管出身庶出，云铮的母亲地位不高，使他面临其他皇子和贵女们的排挤和诽谤，但这。。

六皇子云铮的小说叫《无敌六皇子》。《无敌六皇子》是一部以六皇子云铮为主角的小说，讲述了他如何在宫廷斗争中逐渐崛起，成为无敌的存在。云铮是一个聪明、机智、勇敢的皇子，他在宫廷中经历了无数的考验和挑战，但始终坚守自己的原则和信念。他善于利用自己的智慧和谋略，化解危机，保护自己和身边的人。。

云铮六皇子为主角的穿越小说是《无敌六皇子》。该小说是一本始发于七猫小说的爱情类小说，作者为：梁山老鬼。本书已于2021年7月完结。类型标签为：爱情。小说情节跌宕起伏、剧情波澜壮阔，是一本情节与文笔俱佳的作品。故事背景设定在一个虚构的古代王朝，主角是云铮，他是皇帝第六个儿子，被人称为“六。。

（内容来源：中国基金报）