Abso 是一个开源的 LLM 代理,可根据提示复杂度自动在快速和慢速模型之间路由请求。它使用各种启发式方法来选择合适的模型。它非常快速且延迟低。
安装和设置
pip install langchain-abso
聊天模型
请参阅 Abso 聊天集成文档.
Abso 是一个开源的 LLM 代理,可根据提示复杂度自动在快速和慢速模型之间路由请求。它使用各种启发式方法来选择合适的模型。它非常快速且延迟低。
pip install langchain-abso
请参阅 Abso 聊天集成文档.