以下是一些维度： 质量 延迟：像“思维链”（ , ）这样的技术非常有效地提高了质量并减少了幻觉现象。
但它们需要成员从未预想过的，因此增加了成员感知到的延迟。 吞吐量 延迟：在运行大模型时，通常情况是“首个响应时间”（, ）和“间响应时间”（, ）会随着使用率的增加而增加。
有时延迟甚至会呈现线性增长。如果你愿意牺牲这两个方面的度量，获得每秒数（, ）的两倍或三倍增加是很容易的，但我们最初必须将它们限制得很紧。
（注：否则用户会觉得慢） 成本：集群并不容易获得且成本高昂。在初期，我们甚至不得不为产品测试设定时间表，因为测试会消耗太多并阻止开发人员工作。
端到端流式传输：一个完整的答案可能需要 约旦 telegram 手机号码列表 几分钟才能完成，因此我们让所有请求进行流式传输以减少感知到的延迟。
更重要的是，我们实际上在流程内部实现了端到端的流式传输。例如，大语言模型（）的响应会逐步解析出应调用的，并在参数准备好后立即发起调用，而无需等待完整的响应。
最终合成的响应也会通过我们的实时消息传递基础设施进行流式传输，并对信任负责任的分类等内容进行增量处理，直至到达客户端。
（注：就是通过流式提升可感知的响应速度，非流式会导致你等半天突然所有结果出来了） 异步非阻塞管道：由于调用可能需要很长时间来处理，我们通过构建一个完全异步非阻塞的管道来优化服务吞吐量，该管道不会因阻塞的线程而浪费资源。
这些因素之间有时会产生有趣的相互作用。举个例子，我们最初只限制了首个响应时间（, ），因为这对于我们初期产品延迟有直接影响。