今天,@曹名 推出了针对医疗和金融行业的优秀新型专用大语言模型(LLM)。最先进的模型应当享受最先进的推理性能。借助 Baseten 和 TensorRT-LLM,Writer 在其新的定制模型上看到了 TPS 提高了 60%。https://baseten.co/customers/writer/