文本分割工具

功能

将文本分割成指定大小的块，保持语义完整性，便于后续的批处理和分析。

使用场景

• 处理超长文本，将其拆分为智能体可处理的片段。
• 进行文本预处理，为后续的内容分析、摘要或评估任务提供标准化输入。
• 优化文本处理流程，确保每个处理单元的大小可控且语义完整。

核心能力

• 语义完整性优先: 在分割时尽量避免截断句子或段落，优先在自然边界处（如句号、换行符）分割，确保每个块的语义完整性。
• 保持原始格式: 在分割过程中，努力保留文本的原始格式和结构，例如Markdown、HTML标签等。
• 精确控制块大小: 严格按照指定的大小限制进行分割，确保每个文本块不超过预设的最大长度。
• 多种分割策略: 支持基于字符数、token数、段落数或特定分隔符等多种分割策略。