LaMini-LM🦙这个项目挺牛的，它对一堆（目前15个）迷你大语言模型进行了微调，这些模型最大的只有1.5B参数，调出来后的性能非常好，其中GPT-2微调后的性能媲美前不久刚开源的LLaMa的Alpaca-7B。

一些局限性：
- 可能从ChatGPT中继承偏见和错误。
- 有时会产生错觉。
- 编程和数学能力不佳。
- 难以处理复杂指令。
- 不适用于多轮对话。

模型和数据仅供研究使用。

BTW：GPT-2是完全开源的，感觉基于它微调也可以做不少事情。

论文：http://t.cn/A6NC031D
项目首页：🔗github.com/mbzuai-nlp/LaMini-LM🐱