langchain-multimodal (JavaScript/TypeScript)

概述

多模态支持让您能够处理图像、音频、视频和其他非文本数据。具有多模态功能的模型可以处理和生成这些不同格式的内容。

核心概念：

• 内容块（Content Blocks）：多模态数据的结构化表示
• 视觉（Vision）：使用 GPT-4V、Claude、Gemini 进行图像理解
• 音频/视频：新模型中出现的支持
• 标准格式：跨提供商的内容块结构

决策表

多模态的模型选择