课程信息

本课程包括大模型基础，大模型指令微调，常用的开源模型微调，大模型对齐，垂直领域大模型应用5个阶段，内容涵盖大模型微调应用场景，大模型基座，LoRA参数微调，模型压缩，QLoRA参数微调，DeepSpeed训练框架解析，Megatron-LM训练框架解析，Flash Attention技术应用，微调模型Benchmark，ChatGLM，LLaMA，Mistral，MoE，大模型对齐，RLHF，DPO，垂直领域大模型应用等前沿技术等全方位知识讲解，并结合8个实战项目，帮助同学们实现学以致用。

课程目录

├── 01 第一周

│ └── 01 第一节 2024年1月21日

│ └── 01 开营+大模型介绍、Transformer

│ ├── 01 开营.mp4 168.87M

│ ├── 02 大模型爆发式发展.mp4 240.49M

│ ├── 03 大模型是如何炼成的.mp4 88.29M

│ ├── 04 Transformer的应用.mp4 183.06M

│ └── 05 Self-Attention.mp4 329.29M

├── 02 第二周

│ └── 01 第二节 2024年1月28日

│ └── 01 Transformer、Encoder、Advanced

│ ├── 01 Transformer Part1.mp4 264.37M

│ ├── 02 Transformer Part2.mp4 289.36M

│ ├── 03 Encoder-based and Decoder Based LLMs.mp4 80.86M

│ └── 04 Advanced Topics.mp4 190.11M

├── 03 第三周

│ └── 01 第三节 2024年2月25日

│ └── 01 大模型微调概览 Lora微调

│ ├── 01 大模型微调概览.mp4 283.11M

│ ├── 02 Lora微调-Lora算法.mp4 302.03M

│ └── 03 Lora微调-从零实现Lora到Roberta.mp4 437.58M

├── 04 第四周

│ └── 01 第四节 2024年3月3日

│ └── 01 Alpaca、AdaLoRA、QLoRA

│ ├── 01 Alpaca.mp4 788.33M

│ ├── 02 AdaLoRA.mp4 464.62M

│ └── 03 QLoRA.mp4 372.41M

├── 05 第五周

│ └── 01 第五节 2024年3月17日

│ └── 01 Prefix Tuning、Quantization

│ ├── 01 Prefix Tuning.mp4 354.09M

│ ├── 02 Quantization01.mp4 194.50M

│ ├── 03 Quantization02.mp4 277.51M

│ └── 04 Quantization Methos for LLM.mp4 83.60M

├── 06 第六周

│ └── 01 助教补充课 2024年3月24日

│ └── 01 llama介绍&运行&量化&部署&微调

│ ├── 01 llama介绍&运行&量化&部署&微调01.mp4 566.44M

│ └── 02 llama介绍&运行&量化&部署&微调02.mp4 927.33M

├── 07 第七周

│ └── 01 第六节 2024年3月31日

│ └── 01 Distributed Computing、Flash Attention

│ ├── 01 GPU时间计算.mp4 411.05M

│ ├── 02 Distributed Computing.mp4 328.60M

│ ├── 03 ZeRO-123 and FSDP.mp4 459.57M

│ └── 04 Flash Attention.mp4 403.36M

├── 08 第八周

│ └── 01 第六节补充课

│ └── 01 Flash Attention cont、微调Mistral 7B

│ ├── 01 Flash Attention cont.mp4 123.50M

│ ├── 02 Self-Attention的分块计算.mp4 557.51M

│ ├── 03 分块模式中计算O.mp4 285.88M

│ ├── 04 Mixture of Expert Model.mp4 77.97M

│ └── 05 微调Mistral 7B.mp4 730.47M

├── 09 第九周

│ └── 01 第七节 2024年4月14日

│ └── 01 强化学习

│ ├── 01 RLHF介绍.mp4 687.34M

│ ├── 02 强化学习.mp4 282.09M

│ ├── 03 Multi-armed Bandit.mp4 343.90M

│ └── 04 The goal of Agent.mp4 542.45M

├── 10 第十周

│ └── 01 第七节补充课 2024年4月17日

│ └── 01 Optimal Policy、Intro to Monte Carlo

│ ├── 01 Optimal Policy.mp4 434.36M

│ └── 02 Intro to Monte Carlo.mp4 229.36M

└── 资料.zip 196.44M