LiBai 进展和计划

[CPFLAME]

2022.08.15

上周进展

1. 目前LiBai已经支持 models部分替换Libai的layer, Fix to global #350, 具体表现形式就是: 替换成LiBai的layer可以完成模型并行的训练以及推理, 其他的layer默认使用数据并行 (@CPFLAME )
2. Inference已经支持自定义pipeline_stage_id和分布式推理, 用LiBai的pretrain model验证已经可以跑通. (@CPFLAME )
3. swinv2和swin的3d并行完善，Multi card testing in swin and swinv2 #348. (@xiezipeng-ML )
4. vit和swin2的ModelLoader的添加(可以加载huggingface的权重对其输出)，add vit loader #354 ，add swinv2_loader into libai #353. (@xiezipeng-ML)
5. 添加data_preprocess.py的tutorial使用，add a tutorial #351. (@xiezipeng-ML)
6. 完成pytorch版本dalle2模型的迁移，目前完成oneflow和torch模型输出对齐。(@ofhwei)

本周计划

1. Inference还差可以load hugging face的模型直接进行分布式推理的功能, 目前需要对一下输出是否一致即可. (@CPFLAME )
2. 实现mt5的LiBai权重转HuggingFace脚本. (@xiezipeng-ML)
3. 实现HuggingFace版本的完整MT5训练. (@xiezipeng-ML)
4. 等inference 功能ready之后，在libai下验证dalle2模型的分布式推理.(@ofhwei )
5. 再跑一组LiBai未优化pipeline_stage_id的实验. (@xyn1201 )
6. swin 进度对齐.(@shaoshitong )

[CPFLAME]

2022.08.22

上周进展

1. inference 分支 load hugging face的功能已经验证过了, , 但是在使用体验上需要做一些优化, 比如logger信息的输出等. Fix inference #355 (@CPFLAME )
2. 完善了ModelLoader的logger功能，在使用pipeline并行时提示修改train.dist.pipeline_num_layers，并添加dist.get_pipeline_parallel_size()方法 add logger to model loader #362 (@xiezipeng-ML)
3. 提供t5、mt5的libai权重转huggingface脚本 Add utils into mt5 #360 (@xiezipeng-ML)
4. dalle2模型耗时优化分析，基本和torch版本持平。(@ofhwei )
5. libai下dalle2模型分布式推理，单机四卡下存在一些问题，待定位(@ofhwei )
6. libai未优化pipeline_stage_id的实验 https://github.com/Oneflow-Inc/OneTeam/issues/1435#issuecomment-1218994171 gpt2的3D并行和数据并行不带Acc 与Megatron-Deepspeed的对比 https://github.com/Oneflow-Inc/OneTeam/issues/1435#issuecomment-1219168195 (@xyn1201 )

本周计划

1. inference优化体验, 并验证多机多卡或者pineline并行下, inference是否支持(@CPFLAME )
2. 解决多机可能无法使用ModelLoader的问题 (@xiezipeng-ML)
3. 解决libai下dalle2模型分布式推理问题(@ofhwei )

[CPFLAME]

2022.08.29

上周进展

1. inference 分支: load torch model只在rank0上进行, 在单机多卡上可以跑通模型并行和流水并行, 但是在多机多卡的时候, 程序会卡住, Fix inference #355 (@CPFLAME )
2. 在LiBai下添加了RWKV-v4的修正版, 但目前根据用户反馈, 吞吐和显存还有优化的空间, 需要配合oneflow底层的机制来一起改进.(@BBuf , @CPFLAME )
3. 添加BleuEvaluator和T5Layernorm，Add bleu evaluator #369 (@xiezipeng-ML )
4. 修复一下tokenizer并添加speacial_tokens的功能， Updata tokenizer #370 (@xiezipeng-ML )
5. 添加inference中的generate以及相关组件，497f778275cb (@xiezipeng-ML )
6. 完成dalle2在libai下数据并行和模型并行的实验(单机四卡), 并添加dalle2从零迁移到libai的文档 (@ofhwei )
7. Libai 在 k8s 上的启动，启动一个 global tensor 单测：PyTorchJob 的方式在 Kubernetes 多机多卡启动 libai 执行 #367 (@doombeaker @strint )

本周计划

1. 解决多机多卡时, 代码卡住的问题 (@CPFLAME )
2. 尝试在libai的代码中, 加入转onnx的脚本(@CPFLAME )
3. 添加model_test中的eager下的pipeline单测(@xiezipeng-ML )
4. 添加model_loader_test中的backward部分的测试(@xiezipeng-ML )
5. 继续generate的进度(@xiezipeng-ML )
6. 对接 add segformer model #346 (@ofhwei )
7. Libai 在 k8s 上的启动，启动libai：PyTorchJob 的方式在 Kubernetes 多机多卡启动 libai 执行 #367 (@doombeaker @strint )

[CPFLAME]

2022.09.05

上周进展

1. 跑通了inference模块的多机多卡分布式推理(load libai model 以及 load hugging face model), inference基类的代码已经撰写完毕, PR处于review状态, 可合并. Fix inference #355 (@CPFLAME )
2. 添加libai model loader的反向验证 Add loader backward test #373 (@xiezipeng-ML )
3. 添加libai egaer下的pipeline测试 add pipeline eager test #374 (@xiezipeng-ML )
4. 测试和refine了 Add generations #375 (@xiezipeng-ML )
5. 对接 add segformer model #346 (@ofhwei @xiezipeng-ML )

本周计划

1. 推进inference代码PR的合并 (@CPFLAME )
2. 尝试在libai的代码中, 加入转onnx的脚本 (@CPFLAME )
3. 推进generator (@xiezipeng-ML )
4. 推进合并Dalle2 Dev add dalle2 #344 (@ofhwei )

[CPFLAME]

2022.09.13

上周进展

1. 推进合并了basic inference的PR. Fix inference #355 (@CPFLAME )
2. 编写了mt5 转onnx的脚本, Dev export onnx #383, 目前缺少一些op, 详情见 LiBai MT5 不支持的op oneflow_convert#87 (@CPFLAME , @BBuf )
3. 完成发版的MT5，add mt5 #382 (@xiezipeng-ML)
4. 合并了egaer下的pipeline测试 (@xiezipeng-ML)
5. 优化了一下dalle2的代码结构 (@ofhwei )

本周计划

1. 推进在libai的代码中, 加入转onnx的脚本 (@CPFLAME )
2. 推进generator (@xiezipeng-ML)
3. 推进合并Dalle2 Dev add dalle2 #344 (@ofhwei )
4. 学习模型转onnx (@xiezipeng-ML @ofhwei)

[CPFLAME]

2022.09.19

上周进展

1. 为了使得LiBai使用oneflow_convert工具转onnx更加的丝滑, 在oneflow_convert代码仓库下面添加了 支持graph下globle tensor的构图. fix export onnx in libai oneflow_convert#88, 目前LiBai不用修改前向代码的写法, 就可以直接使用oneflow_convert. (@CPFLAME )
2. 体验了一下dalle2的推理. 提了一些优化的建议, Dev add dalle2 #344 (@CPFLAME )
3. 撰写了一下libai 分布式推理的说明, 还未完成, 在撰写中LiBai下分布式推理说明 #386 (@CPFLAME )
4. 合并了model loader的梯度对齐：Add loader backward test #373 (@xiezipeng-ML )
5. 合并了0.3.0发版计划中的MT5：add mt5 #382 (@xiezipeng-ML )
6. 添加了generation中的多项式采样：Add generations #375 (@xiezipeng-ML )
7. 根据@CPFLAME @xiezipeng-ML的建议对dalle2代码进行优化(@ofhwei )

本周计划

1. 发版LiBai 0.3.0 (@CPFLAME , @xiezipeng-ML, @ofhwei)
2. 合并dalle2的PR (@ofhwei @CPFLAME )
3. 撰写完成libai 分布式推理的说明 (@CPFLAME )
4. 推进generation (@xiezipeng-ML )

[CPFLAME]

2022.09.26

上周进展

1. libai inference文档的编写完成了70% ~ 80%左右, LiBai下分布式推理说明 #386 (@CPFLAME, @xiezipeng-ML )
2. dalle2 inference 提了修改建议, 已经approve, 以及添加了各个步骤的logger info, 为了防止用户误解程序卡住了.(@ofhwei @CPFLAME )
3. 添加couplenet预测对联的网络, 已经完成了分布式的训练和推理(模型并行) Dev add couplets #390. (@CPFLAME )
4. 在LiBai下把projects中的MAE和官方实现进行了超参的对齐, 并在libai中加入了以epoch形式进行eval和save的功能, Align MAE pretrain #388, Align accuracy for MAE finetune #385 (@leaves-zwx )
5. 推进model.generate()功能：Add generations #375 (@xiezipeng-ML)
6. 根据 @CPFLAME 和 @xiezipeng-ML 的建议完善了dalle2 (@ofhwei)

本周计划

1. 合并couplenet的pr, 并交付给姚迟 (@CPFLAME )
2. 写完libai inference的文档 (@CPFLAME )
3. 推进model.generate()功能 (@xiezipeng-ML)