必备条件:
关键词：kvcache、vLLM
优先条件:
无
岗位职责:
1、代码深度剖析与优化：深度分析 vLLM、SGLang 代码逻辑，研究其模型加载、推理执行、调度等核心功能实现，挖掘性能瓶颈，针对性进行代码优化与重构，提升推理效率与资源利用率。
2、框架扩展与功能开发：基于业务需求对 vLLM、SGLang 框架进行功能扩展，实现定制化推理功能开发，如优化 KV Cache 机制、开发动态批处理策略等，满足不同场景下的推理需求。
3、性能调优与测试：结合 GPU 等硬件特性，对 vLLM、SGLang 代码进行性能调优，通过 CUDA、OpenCL 等技术实现底层加速；设计并执行性能测试，验证优化效果，持续改进推理性能。
4、系统集成与协作：将 vLLM、SGLang 框架集成到整体推理平台，与模型训练、数据处理等模块协同开发，确保系统稳定运行；与团队成员紧密合作，共同解决开发过程中的技术难题。
5、技术跟踪与创新：关注行业前沿技术，研究 vLLM、SGLang 相关的新技术、新方法，探索在项目中的应用，推动推理平台技术创新与升级。
任职要求:
1、教育背景与专业：计算机科学与技术、软件工程、人工智能等相关专业本科及以上学历，具备扎实的计算机理论基础。
2、专业技能：精通 Python 编程，熟悉 C/C++ 语言，能够熟练阅读和编写复杂代码。
3、深入理解 vLLM、SGLang 框架，熟悉其代码结构与运行机制，有相关框架使用或二次开发经验者优先。
4、熟悉 GPU 编程，掌握 CUDA、OpenCL 等技术，具备 GPU 性能调优经验。
5、了解深度学习原理，熟悉主流深度学习框架（如 TensorFlow、PyTorch），对大模型推理有一定认知。
6、具备良好的系统设计与架构能力，能够独立完成模块开发与系统集成工作。