Yangyehan&UndGround.

大模型开发笔记

Word count: 160Reading time: 1 min
2024/06/30

大模型开发,微调学习笔记

这篇blog简单记录,我在学习大模型开发过程中使用过的一些资料

理论篇


LLM原理篇(transformer,Tokenizer, PEFT)

这里推荐一个github上的rope,可以结合paper看

GitHub - kebijuelun/Awesome-LLM-Learning: Learning Large Language Model (LLM)(大语言模型学习)

实践篇


langchain,llamaIndex,autoGen AI开发工具教学

视频入门课程:

DLAI - Learning Platform

这个平台里面也有一些关于RAG基础原理的讲解(比如embedding,Semantic Search)

langchain官网:

Introduction | 🦜️🔗 LangChain

LlamaIndex官网:

LlamaIndex, Data Framework for LLM Applications

集成化模型微调工具推荐


Llamafactory:

https://github.com/hiyouga/LLaMA-Factory

CATALOG
  1. 1. 大模型开发,微调学习笔记
    1. 1.1. 理论篇
    2. 1.2. 实践篇
    3. 1.3. 集成化模型微调工具推荐: