Giraffe 简介
- 新的长上下文法学硕士Giraffe 是在 Llama 和 Llama 2 上进行微调的**
Giraffe 扩展了上下文长度，包括 4K、16K 和 32K（在 Llama 2 上进行了微调）。
发布内容包括： - 论文 - 训练代码 - 评估数据集， - 评估脚本 这些模型可用于研究需要更大上下文容量的用例，例如从大型数据语料库中检索信息。它还可以帮助减少需要在较长文档中进行更复杂检索的任务中的错误
。这些模型还可以更好地支持人工智能驱动的聊天机器人，以维持更长时间的对话。本文还报告了几种
上下文长度外推方法的实验结果。他们还提出了自己的称为截断的策略，用于修改位置编码的基础，并取得了有希望的结果。这是一篇很棒的论文，探讨了法学硕士中扩展上下文长度的空间，因此它还包括对从业者和研究人员有用的有趣见解。