分类标签归档：NLP
Meta刚刚发布了LLaMa 2，这是迄今为止ChatGPT最强大的开源竞争对手🤯
它的商业使用是免费的。对于开源社区来说，这是一个令人兴奋的新篇章！以下是10种快速使用的方法
Perplexity AI https://llama.perplexity.ai/
Vercel AI SDK Playground
https://sdk.vercel.ai/s/EkDy2iN
WizardMath-70B 的性能优于（在 GSM8K 上）最著名的闭源 LLM，例如 ChatGPT3.5、Claude Instant1 和 PaLM2 540B？🤯
许多最重要的LLM 应用 都涉及将LLM连接到外部数据源。执行此操作的先决条件是将数据提取为LLM可以轻松连接到的格式。 大多数时候，这意味着将数据提取到矢量存储中。这样做的先决条件是将原始文本分割成更小的块。
虽然这看起来微不足道，但这是一个微妙且被忽视的步骤。分割文本时，您需要确保每个块都具有连贯的信息 - 例如，您不只是想在句子中间进行分割。“连贯信息”的含义也可能因文本类型而异。 - 例如，使用 Markdown 时，您##可能希望将它们保留在一起，而对于拆分 Python 代码，您可能希望将所有类和方法保留在一起。
该工具旨在帮助探索不同类型的文本拆分。可以调整不同的参数并选择不同
Airbyte 提供数百个资源和强大的工具
LangChain 提供先进的转型逻辑和最大的集合集合与包装模型和 vectorstores
首先，Airbyte 提供了数百个数据源以及强大的编排逻辑，同时还提供了创建自定义数据源的工具。让我们聚焦于编排逻辑。当您创建一个用于访问数据索引的聊天机器人时，您希望的不仅仅是建立一次索引然后忘记它。您希望能够按照计划定期重新索引，以保持数据的最新状态。而这正是 Airbyte 擅长并一直在不断发展的数据管道。
其次，数据摄取过程不仅仅是将数据从源头移动到目标地。为了实现高效的检索，还需要进行一些重要、关键而微妙的转换
随着Llama 2和Falcon等开源大模型的出现，人们对于AI的潜力的认识正在迅速改变。这些新的开源大模型将有助于实现多个新的业务用例或改进/优化现有的用例。
然而，将大模型部署和管理到生产环境中需要专门的基础设施和工作流程。在本文中，我们将向您展示如何使用基础设施即代码（Infrastructure as Code）和AWS Cloud Development Kit（AWS CDK）来部署和管理Llama 2。AWS Cloud Development Kit（AWS CDK）是一个开源的软件开发框架，允许您使用代码来定义、提供和管理AWS上的云基础设施
“思想骨架：大型语言模型可以并行解码” 提出了一种新的方法来解决LLM中常遇到的生成延迟问题。
这个新方法叫做“思想骨架”（SoT）。这篇论文指出，LLM中高生成延迟的原因之一是顺序解码方法。就是顺序一个个生成词语，导致计算时间很长。为了解决这个问题，研究人员提出了SoT方法，它教导LLM先生成答案的“骨架”，然后通过并行调用或批处理来并行生成每个“骨架点”的内容。这个方法的好处有好几个哦！
首先，SoT大大提高了生成速度，研究人员观察到在11个不同的法学硕士中，使用SoT可以加速高达2.39倍！这个加速是通过并行化生成过程来实现的，从而
经过多次尝试构建本地文档问答、构建思维链解决复杂场景问答、自定义构建Agent解决特定场景问答后，我开始察觉到其所存在的限制。
通信带宽的有限性限制了上下文容量。这限制了历史信息、详细说明、API调用上下文和响应的包含。对于系统设计来说，必须应对这种限制。长期的上下文窗口有助于自我反思机制和从过去的错误中学习。虽然向量存储和检索可以提供对更大知识库的访问，但它们的表示能力不如充分关注那么强大。
开源LLM们在加大上下文容量的最新进展
长期规划和有效探索解决方案空间仍然
• 人工智能思维是未来教育的重点之一。 首先，我们需要对AI是如何工作的有大致的理解。 其次，我们需要分辨人类能力、机器能力或人工智能能力。 最后，我们将有能力与人工智能一起工作人工智能帮助我们完成其他工作。 这三个重点是人工智能思维的核心，也是未来教育的重点。
• 设计思维是一种方法，可以让更好地创新。 它有一些可以遵循的步骤，包括同情、定义、构思原型和测试。通过这种方法论，我们可以让自己变得比自己更有创意。设计思维是教育中的重要部分，可以帮助我们从0到1地创新。
• ChatGP
LMFlow一个可扩展、方便、高效的工具箱，用于微调大型机器学习模型，旨在用户友好、快速、可靠，并且可供整个社区使用。