从0到1！得物如何打造通用大模型训练和推理平台
Source :
mp.weixin.qq.com
Author :
linggong
近期，GPT大模型的发布给自然语言处理（NLP）领域带来了令人震撼的体验。随着这一事件的发生，一系列开源大模型也迅速崛起。依据一些评估机构的评估，这些开源模型大模型的表现也相当不错。一些大模型的评测情况可以去这里查询：Huggingface的Open LLM排行榜，UC伯克利发布大语言模型排行榜等。 随着大模型的发展，大模型的训练与部署技术变的非常重要了。我们调研了LORA与QLORA等微调训练技术，以及GPTQ量化部署技术。在跑通最小Demo并验证效果后，把这些技术集成到KubeAI平台(得物AI平台)，提供给大家去快速上手。
