http://t.cn/A6NxQFlm 大家都在学 #LLM# ，我们基于 RWKV 1.5B基模型。 主要是在RWKV提供的1.5B参数的基础之上，使用CSDN的问答数据和博客数据进行增量预训练，经过指令微调，得到拥有IT行业知识体系的大语言模型。欢迎大家来尝试。
发布于 湖南
程序员邹欣 23-05-05 10:34
http://t.cn/A6NxQFlm 大家都在学 #LLM# ，我们基于 RWKV 1.5B基模型。 主要是在RWKV提供的1.5B参数的基础之上，使用CSDN的问答数据和博客数据进行增量预训练，经过指令微调，得到拥有IT行业知识体系的大语言模型。欢迎大家来尝试。