>TruLens is an open-source 一个为基于大型语言模型（LLM）的应用提供检测和评估工具的包。

本页介绍如何使用 TruLens 来评估和跟踪基于 langchain 构建的 LLM 应用。

安装和设置

安装 trulens-eval Python 包。

pip install trulens-eval

uv add trulens-eval

快速入门

请参阅 TruLens 文档.

跟踪

创建 LLM 链后，您可以使用 TruLens 进行评估和跟踪。 TruLens 提供了多种 开箱即用的反馈函数, 同时也是一个可扩展的 LLM 评估框架。

创建反馈函数：

from trulens_eval.feedback import Feedback, Huggingface,

# Initialize HuggingFace-based feedback function collection class:
hugs = Huggingface()
openai = OpenAI()

# Define a language match feedback function using HuggingFace.
lang_match = Feedback(hugs.language_match).on_input_output()
# By default this will check language match on the main app input and main app
# output.

# Question/answer relevance between overall question and answer.
qa_relevance = Feedback(openai.relevance).on_input_output()
# By default this will evaluate feedback on main app input and main app output.

# Toxicity of input
toxicity = Feedback(openai.toxicity).on_input()

链

设置好用于评估 LLM 的反馈函数后，您可以用 来包装您的应用，以获取 LLM 应用的详细跟踪、日志记录和评估。

注意：相关代码请参阅 chain 中的创建过程 中的 TruLens 文档.

from trulens_eval import TruChain

# wrap your chain with TruChain
truchain = TruChain(
    chain,
    app_id='Chain1_ChatApplication',
    feedbacks=[lang_match, qa_relevance, toxicity]
)
# Note: any `feedbacks` specified here will be evaluated and logged whenever the chain is used.
truchain("que hora es?")

评估

现在您可以探索您的 LLM 应用了！

这样做可以帮助您一目了然地了解 LLM 应用的运行情况。在迭代 LLM 应用的新版本时，您可以比较所有已设置的质量指标下的性能表现。您还可以查看每条记录的评估结果，并探索每条记录的链元数据。

from trulens_eval import Tru

tru = Tru()
tru.run_dashboard() # open a Streamlit app to explore

更多关于 TruLens 的信息，请访问 trulens.org