langchain-text-splitters (JavaScript/TypeScript)

概述

文本分割器将大型文档分成更小的块，这些块适合模型上下文窗口并实现有效检索。适当的分块对于 RAG 系统性能至关重要——块必须足够小以便检索，但也必须足够大以保留上下文。

核心概念

• 块大小：每个文本块的目标大小（以字符或令牌为单位）
• 块重叠：块之间重叠的字符/令牌数量（保留上下文）
• 分隔符：用于分割文本的字符（换行符、句号、空格）
• 元数据：在分割期间保留和丰富（包括 start_index）

分割器选择决策表