- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
Prompt-Tuning、P-Tuning和Prefix-Tuning区别和代码实现【转】 - marsggbo
原文：https://blog.csdn.net/weixin_43863869/article/details/134760405
-
Deepspeed ZeRO系列算法原理+通信开销详解 - marsggbo
原文: https://sumanthrh.com/post/distributed-and-efficient-finetuning/#zero-powered-data-parallelism
-
NSCC集群使用笔记 - marsggbo
1. 账号申请 如果是 NUS，NTU 或者 ASTAR 的学生，可以直接用自己的学校 ID 登录。登录不上的话可以发邮件联系 nscc 工作人员即可，基本上第二天就会回复解决。 2. VSCode 连接 账号申请下来后进官网设置你的 ssh key 之类的东西就可以登录了。第一次登录成功后，可以参
-
TACC 集群使用笔记
-
Pytorch 使用 storage 实现 offload 参数示例