- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
vllm 安装踩坑 (The NVIDIA driver on your system is too old) - marsggbo
我的环境如下： nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2，该版本要求的 cuda 版本是 11.8，所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system
-
IEEE 浮点数表示原理 - marsggbo
原文： https://zhuanlan.zhihu.com/p/144697348
-
LLM 学习笔记-Deepspeed-MoE 论文 - marsggbo
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限：
-
AttributeError: module 'torch' has no attribute 'fx'解决办法 - marsggbo
这个报错原因很好解决，只需要在引入包的时候调用下面的语句就可以了 import torch.fx
-
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？ - marsggbo
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode