- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
IEEE 浮点数表示原理 - marsggbo
原文： https://zhuanlan.zhihu.com/p/144697348
-
LLM 学习笔记-Deepspeed-MoE 论文 - marsggbo
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限：
-
AttributeError: module 'torch' has no attribute 'fx'解决办法 - marsggbo
这个报错原因很好解决，只需要在引入包的时候调用下面的语句就可以了 import torch.fx
-
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？ - marsggbo
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode
-
LLM 入门笔记-Tokenizer - marsggbo
以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。 1. Normalization normalize