langchain-document-loaders (JavaScript/TypeScript)

概述

文档加载器将来自各种来源和格式的数据提取到 LangChain 的标准化文档格式中。它们对于构建 RAG 系统至关重要，因为它们将原始数据转换为可处理的文本块和元数据。

核心概念

• 文档：具有 pageContent（文本）和 metadata（来源信息、页码等）的对象
• 加载器：从特定来源/格式提取内容的类
• 元数据：在加载期间保留的上下文信息（URL、文件路径、页码）
• 延迟加载：流式传输文档而不将所有内容加载到内存中

加载器选择决策表