大模型开发,微调学习笔记
这篇blog简单记录,我在学习大模型开发过程中使用过的一些资料
理论篇
LLM原理篇(transformer,Tokenizer, PEFT)
这里推荐一个github上的rope,可以结合paper看
GitHub - kebijuelun/Awesome-LLM-Learning: Learning Large Language Model (LLM)(大语言模型学习)
实践篇
langchain,llamaIndex,autoGen AI开发工具教学
视频入门课程:
这个平台里面也有一些关于RAG基础原理的讲解(比如embedding,Semantic Search)
langchain官网:
LlamaIndex官网:
集成化模型微调工具推荐:
Llamafactory: