前端大模型入门（四）：教你如何根据场景选择合适的长文本分割方式

Source : mp.weixin.qq.com Author : 想飞的雪糕

在前端开发大模型应用的时候，处理和分割文本是常见需求，毕竟现在的大模型输入输出都有限-嵌入等也是有token限制的，合理的文本分割能显著提高模型的表现。Langchain提供了多种文本分割方式，本文将对比五种文本分割器