作者文章归档:菜鸟一号

【置顶】Meta开源可商用Llama2


Meta刚刚发布了LLaMa 2,这是迄今为止ChatGPT最强大的开源竞争对手🤯

10种快速使用Llama2的方法

它的商业使用是免费的。对于开源社区来说,这是一个令人兴奋的新篇章!以下是10种快速使用的方法

  1. Perplexity AI https://llama.perplexity.ai/

  2. Vercel AI SDK Playground
    https://sdk.vercel.ai/s/EkDy2iN

    • 同时支持Llama 2, Claude 2, gpt-3.5-turbo, and gpt-4
  3. some Playground: http://llama2.ai

Read more

【置顶】最新火热开源LLM<WizardMath-70B>


WizardMath-70B 的性能优于(在 GSM8K 上)最著名的闭源 LLM,例如 ChatGPT3.5、Claude Instant1 和 PaLM2 540B?🤯

  • WizardMath 在 GSM8k 基准测试中获得第五名,超过了Claude Instant 1(81.6 vs. 80.9)、ChatGPT(81.6 vs. 80.8)和 PaLM 2 540B(81.6 vs. 80.7)
Gradio演示在这里
  • 70B:http://47.103.63.15:50083/
  • 13B:http://47.103.63.15:50082/
  • 7B:http://47.103.63.

Read more

【置顶】使用text split explorer检查调整文本分割策略


许多最重要的LLM 应用 都涉及将LLM连接到外部数据源。执行此操作的先决条件是将数据提取为LLM可以轻松连接到的格式。 大多数时候,这意味着将数据提取到矢量存储中。这样做的先决条件是将原始文本分割成更小的块。

虽然这看起来微不足道,但这是一个微妙且被忽视的步骤。分割文本时,您需要确保每个块都具有连贯的信息 - 例如,您不只是想在句子中间进行分割。“连贯信息”的含义也可能因文本类型而异。 - 例如,使用 Markdown 时,您##可能希望将它们保留在一起,而对于拆分 Python 代码,您可能希望将所有类和方法保留在一起。

该工具旨在帮助探索不同类型的文本拆分。可以调整不同的参数并选择不同

Read more

【置顶】LangChain结合Airbyte-让llm agent 使用更多工具


Airbyte

Airbyte 提供数百个资源和强大的工具

LangChain

LangChain 提供先进的转型逻辑和最大的集合集合与包装模型和 vectorstores


首先,Airbyte 提供了数百个数据源以及强大的编排逻辑,同时还提供了创建自定义数据源的工具。让我们聚焦于编排逻辑。当您创建一个用于访问数据索引的聊天机器人时,您希望的不仅仅是建立一次索引然后忘记它。您希望能够按照计划定期重新索引,以保持数据的最新状态。而这正是 Airbyte 擅长并一直在不断发展的数据管道。

其次,数据摄取过程不仅仅是将数据从源头移动到目标地。为了实现高效的检索,还需要进行一些重要、关键而微妙的转换

Read more

【置顶】Langchain与Elasticsearch结合交互式分析数据库


简介

使用LLM将问题转换为 Elasticsearch 查询,对 Elasticsearch 数据库执行查询,并使用结果回答原始问题。

Langchain链: ElasticsearchDatabaseChain

该链通过 Elasticsearch DSL API(过滤器和聚合)构建搜索查询。 Elasticsearch 客户端必须具有索引列表、映射描述和搜索查询的权限。

如何使用ElasticsearchDatabaseChain

安装

pip install elasticsearch

构建测试数据

from elasticsearch import Elasticsearch
ELA

Read more

【置顶】如何使用 Claude 2 聊天机器人


介绍

在人工智能领域,Claude 2 是由 Anthropic 开发的一款出色的人工智能聊天机器人,Anthropic 是一家致力于推进该领域发展的创新公司。凭借其令人印象深刻的功能和用户友好的界面,Claude 2 在人工智能社区中引起了极大的关注。在本文中,我们将探讨 Claude 2 的特性和功能,以及如何有效使用这个强大的聊天机器人的分步指南。让我们深入探索克劳德 2 的世界吧!

Claude2.0版本与1.0版本区别

Claude2.0版本与1.0版本相比,进行了很多升级与优化:

  1. 提高了自然语言处理能力,可以进行更加顺畅、人性化的对话。

  2. 拓展了知识图谱,提升了回答开放领域问

Read more

【置顶】使用AWS CDK部署开源大模型LLM【LLMOps】


使用AWS CDK部署开源大模型

随着Llama 2和Falcon等开源大模型的出现,人们对于AI的潜力的认识正在迅速改变。这些新的开源大模型将有助于实现多个新的业务用例或改进/优化现有的用例。

然而,将大模型部署和管理到生产环境中需要专门的基础设施和工作流程。在本文中,我们将向您展示如何使用基础设施即代码(Infrastructure as Code)和AWS Cloud Development Kit(AWS CDK)来部署和管理Llama 2。AWS Cloud Development Kit(AWS CDK)是一个开源的软件开发框架,允许您使用代码来定义、提供和管理AWS上的云基础设施

Read more

【置顶】Animagine XL:高分辨率潜在文本生成模型【AIGC】


Animagine XL 是一款高分辨率的潜在文本生成模型,使用精选的优质动漫风格图像数据集,在学习率为 4e-7、批量大小为 16 的情况下进行了 27000 个全局步骤的微调。该模型派生自 Stable Diffusion XL 1.0。

你可以使用以下工具:

像其他动漫风格的 Stable Diffusion 模型一样,它也支持 Danbooru 标签生成图像。

例如:面部焦点,可爱,杰作,最佳质量,1 女孩,绿色头发,毛衣,看着观众,上半身,无檐帽,室外,夜间

Read more

【置顶】英伟达 CALM 虚拟角色定制模型开源


什么是CALM

它可以生成多样化且可定向行为的角色。该方法通过模仿学习来学习语义运动表示,以捕捉人体运动的复杂性和多样性,并能够直接控制角色运动。该方法联合学习控制策略和运动编码器,该编码器可以重建给定运动的关键特征,而不仅仅是复制它。该方法分为三个阶段:第一阶段是低级训练,CALM 学习编码器和解码器;第二阶段是方向性控制,高级任务驱动策略被用来选择潜在变量,这些变量被提供给生成所请求的动作的低级策略;第三阶段是推理,先前训练的模型(低级策略和方向控制器)组合起来组成复杂的动作。在这个阶段,用户可以生成一个包含标准规则和命令的有限状态机 (FSM),这些决定了执行哪个动作。该方法的实验结果表

Read more