做过GPT API层封装的同学应该都知道,流式输出SSE是一个很麻烦的事情,一堆长连接几十秒不断,还一直在输出内容。自己架服务器单机人一多就被拉宕机了,要靠谱还得做弹性集群,各种麻烦。本来云函数非常适合干这个事情,但之前只有部分地域支持SSE。
不过今天有个好消息,经过半个月的灰度测试,腾讯云函数全地域支持流式输出了。预计以后不光是OpenAI,其他跟随者也会通过SSE来输出内容。都能用的上。
视频是实录的SSE输出,广州节点。 http://t.cn/A6NScDJc
发布于 重庆
