对很多人来说，他们就是一个本地小模型。
1.参数量极小，可能不到2B。
2.训练数据极少，大部分都是污染数据，充满偏见和噪声。
3.预训练轮数少，通常不收敛。
4.上下文容量小，不超过500字。
5.注意力是稀疏的。
6.联网能力差，不知道多维度验证信息。
7.思维链是没有的。
8.输出的要么是幻觉要么过拟合。
发布于 甘肃
钟本聪Dylan
对很多人来说，他们就是一个本地小模型。
1.参数量极小，可能不到2B。
2.训练数据极少，大部分都是污染数据，充满偏见和噪声。
3.预训练轮数少，通常不收敛。
4.上下文容量小，不超过500字。
5.注意力是稀疏的。
6.联网能力差，不知道多维度验证信息。
7.思维链是没有的。
8.输出的要么是幻觉要么过拟合。