国外某AI公司为了给大模型找“干净”的训练数据,开始大规模收购旧书、二手书,甚至稀有古籍。买回来之后切掉书脊,高速扫描,然后把纸质原件直接送去粉碎或回收。理由很直接:2022年之前出版的书,几乎没有AI生成的“垃圾文本”污染,质量高、密度大,法律上也更好操作。
数据要干净,书却脏了。这大概是AI时代最荒诞的一幕之一。
发布于 广西
国外某AI公司为了给大模型找“干净”的训练数据,开始大规模收购旧书、二手书,甚至稀有古籍。买回来之后切掉书脊,高速扫描,然后把纸质原件直接送去粉碎或回收。理由很直接:2022年之前出版的书,几乎没有AI生成的“垃圾文本”污染,质量高、密度大,法律上也更好操作。
数据要干净,书却脏了。这大概是AI时代最荒诞的一幕之一。