分类标签归档：LLM
Meta刚刚发布了LLaMa 2，这是迄今为止ChatGPT最强大的开源竞争对手🤯
它的商业使用是免费的。对于开源社区来说，这是一个令人兴奋的新篇章！以下是10种快速使用的方法
Perplexity AI https://llama.perplexity.ai/
Vercel AI SDK Playground
https://sdk.vercel.ai/s/EkDy2iN
许多最重要的LLM 应用 都涉及将LLM连接到外部数据源。执行此操作的先决条件是将数据提取为LLM可以轻松连接到的格式。 大多数时候，这意味着将数据提取到矢量存储中。这样做的先决条件是将原始文本分割成更小的块。
虽然这看起来微不足道，但这是一个微妙且被忽视的步骤。分割文本时，您需要确保每个块都具有连贯的信息 - 例如，您不只是想在句子中间进行分割。“连贯信息”的含义也可能因文本类型而异。 - 例如，使用 Markdown 时，您##可能希望将它们保留在一起，而对于拆分 Python 代码，您可能希望将所有类和方法保留在一起。
该工具旨在帮助探索不同类型的文本拆分。可以调整不同的参数并选择不同
“思想骨架：大型语言模型可以并行解码” 提出了一种新的方法来解决LLM中常遇到的生成延迟问题。
这个新方法叫做“思想骨架”（SoT）。这篇论文指出，LLM中高生成延迟的原因之一是顺序解码方法。就是顺序一个个生成词语，导致计算时间很长。为了解决这个问题，研究人员提出了SoT方法，它教导LLM先生成答案的“骨架”，然后通过并行调用或批处理来并行生成每个“骨架点”的内容。这个方法的好处有好几个哦！
首先，SoT大大提高了生成速度，研究人员观察到在11个不同的法学硕士中，使用SoT可以加速高达2.39倍！这个加速是通过并行化生成过程来实现的，从而