Airbyte

Airbyte 提供数百个资源和强大的工具

LangChain

LangChain 提供先进的转型逻辑和最大的集合集合与包装模型和 vectorstores

首先，Airbyte 提供了数百个数据源以及强大的编排逻辑，同时还提供了创建自定义数据源的工具。让我们聚焦于编排逻辑。当您创建一个用于访问数据索引的聊天机器人时，您希望的不仅仅是建立一次索引然后忘记它。您希望能够按照计划定期重新索引，以保持数据的最新状态。而这正是 Airbyte 擅长并一直在不断发展的数据管道。

其次，数据摄取过程不仅仅是将数据从源头移动到目标地。为了实现高效的检索，还需要进行一些重要、关键而微妙的转换操作。其中最为重要的便是文本分割和嵌入。

文本分割的重要性在于您需要将数据分块存储到向量存储中。您希望这些数据块本身具有语义意义，以便在进行检索时能够有更多的可理解性。这也是为什么针对每 1000 个字符进行分割的文本分割方式要更加复杂。我们在 LangChain 提供了15种以上不同的文本分割方法，并针对不同种类的文本（如 Markdown 和 Python 代码等）进行了优化。为了帮助您更好地探索这些文本分割器的功能，我们将其开源并托管在一个互动的平台上供您进行探索。

嵌入对于检索这些数据块非常重要，通常是通过将用户查询的嵌入与摄取文档的嵌入进行比较来实现的。目前有很多提供嵌入服务和托管平台的供应商，LangChain 已与其中的50多家进行了集成。

总的来说，我们对LangChain与Airbyte的集成感到非常兴奋。它为摄取任务提供了强大的编排和调度功能，同时也利用了LangChain的转换逻辑和集成功能。我们认为还需要添加更多功能（以及集成）来为数据摄取的生产环境做好准备 - 请继续关注我们在接下来几周内将推出的更多功能。