- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
vllm 安装踩坑 (The NVIDIA driver on your system is too old) - marsggbo
我的环境如下: nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2,该版本要求的 cuda 版本是 11.8,所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system
-
IEEE 浮点数表示原理 - marsggbo
原文: https://zhuanlan.zhihu.com/p/144697348
-
LLM 学习笔记-Deepspeed-MoE 论文 - marsggbo
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战: 场景局限:
-
AttributeError: module 'torch' has no attribute 'fx'解决办法 - marsggbo
这个报错原因很好解决,只需要在引入包的时候调用下面的语句就可以了 import torch.fx
-
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么? - marsggbo
闲言碎语 我在刚开始接触 huggingface (后简称 hf) 的 transformers 库时候感觉很冗杂,比如就模型而言,有 PretrainedModel, AutoModel,还有各种 ModelForClassification, ModelForCausalLM, AutoMode