llama

llama

（Large Language model） Facebook开源轻量版ChatGPT，，参数量只有后者的10%，只需要单张GPU就能运行。

基于RLHF（基于人类反馈的强化学习）进行训练

会发现它实际上集成了四个部分——

• DeepSpeed 开源深度学习训练优化库，包含名叫Zero的现存优化技术，用于提升大模型训练能力，具体指帮模型提升训练速度、降低成本、提升模型可用性等

• RLHF方法 采用奖励模型来对预训练模型进行微调。奖励模型即先用多个模型生成问题问答，再依靠人工对问答进行排序，让它学会打分；随后，基于奖励学习给模型生成的回答进行打分，通过强化学习的方式增强模型能力

• LLaMA 大语言模型应用开发库

• 基于 LangChain agent生成的数据集

pip install langchain

https://github.com/hwchase17/langchain