【机器学习可解释性】开源 | 将人类可读的程序转换为transformer模型的权重的“编译器”——Tracr

论文地址： http://arxiv.org/pdf/2301.05062v1.pd

来源： ETH Zurich

论文名称：Tracr: Compiled Transformers as a Laboratory for Interpretability

原文作者：David Lindner

内容提要

可解释性研究旨在构建理解机器学习(ML)模型的工具。然而，这样的工具本身就很难评估，因为我们没有关于ML模型如何实际工作的基本信息。在这项工作中，我们建议手动建立transformer模型作为可解释性研究的测试平台。我们介绍了Tracr，它是一种“编译器”，用于将人类可读的程序转换为transformer模型的权重。Tracr采用用RASP(一种领域特定语言)编写的代码，并将其转换为标准的、仅解码器的、类似GPT的transformer架构的权重。我们使用Tracr创建了一系列真值transformer，实现了包括计算令牌频率、排序和Dyck-n括号检查等程序。我们研究了运算结果的模型，并讨论了这种方法如何加速可解释性研究。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有