基于 MiniMind 的轻量级 LLM 训练与推理实践|个人项目|PyTorch
基于 MiniMind 完成 25.8M 轻量语言模型的端到端训练与推理实践,覆盖数据清洗、预训练、SFT、DPO 与文本生成等环节。通过拆解 Tokenizer、Embedding、Attention、Feed Forward、Loss 等核心模块,理解不同训练策略下的生成质量与训练成本权衡。训练过程使用本地 RTX-4060 运行并落地可复现的实验流程。• 数据处理:数据清洗到可训练输入准备• 训练类型:SFT 与 DPO 的模型对齐训练• 任务:文本生成与推理验证• 产出:可在 GPU 上复现实验的训练/推理脚本与流程