- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
大模型推理框架 vLLM 源码解析（一） - marsggbo
1. Quick Start 创建如下代码，命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗？" ] # 输入prompts sam
-
vllm 安装踩坑 (The NVIDIA driver on your system is too old) - marsggbo
我的环境如下： nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2，该版本要求的 cuda 版本是 11.8，所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system
-
IEEE 浮点数表示原理 - marsggbo
原文： https://zhuanlan.zhihu.com/p/144697348
-
LLM 学习笔记-Deepspeed-MoE 论文 - marsggbo
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限：
-
AttributeError: module 'torch' has no attribute 'fx'解决办法 - marsggbo
这个报错原因很好解决，只需要在引入包的时候调用下面的语句就可以了 import torch.fx