把LLaMA-2的上下文扩展到32K。
Together.ai发布了LLaMA-2-7B-32K模型。这个模型在LLaMA-2的基础上把上下文扩展到了32K。
其官方博客介绍了训练方法： http://t.cn/A60NOx8c ​