腾讯发布了一个超级快的翻译模型,就是Hy-MT1.5-1.8B-1.25bit。
把这个翻译模型量化到了1.25bit,才460M。
速度快的一比,在手机上跑都没有问题。
翻译质量和谷歌翻译不相上下。
定制的推理引擎会基于llama.cpp推出。
就是说以后在手机上,电脑上做大批量的翻译,不用联网也可以做到。
模型地址:www.modelscope.cn/models/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/summary
发布于 江苏
