README.md 894 B

llama

(Large Language model) Facebook开源轻量版ChatGPT,,参数量只有后者的10%,只需要单张GPU就能运行。

基于RLHF(基于人类反馈的强化学习)进行训练

会发现它实际上集成了四个部分——

  • DeepSpeed 开源深度学习训练优化库,包含名叫Zero的现存优化技术,用于提升大模型训练能力,具体指帮模型提升训练速度、降低成本、提升模型可用性等

  • RLHF方法 采用奖励模型来对预训练模型进行微调。奖励模型即先用多个模型生成问题问答,再依靠人工对问答进行排序,让它学会打分;随后,基于奖励学习给模型生成的回答进行打分,通过强化学习的方式增强模型能力

  • LLaMA 大语言模型应用开发库

  • 基于 LangChain agent生成的数据集

pip install langchain

https://github.com/hwchase17/langchain