斯坦福大学发布AI透明度指标：市面AI模型面临透明度挑战

10月21日消息，斯坦福大学最新发布的AI透明度指标揭示，市面上几乎所有的AI基础模型都存在透明度不足的问题。其中，meta的Lama 2在指标上表现最佳，但透明度仅为54%。

据ITBEAR科技资讯了解，这项研究由HAI基础模型研究中心(CRFM)的负责人Rishi Bommasani领导，对海外最受欢迎的10款基础模型进行了调查，包括meta的Lama 2、BigScience的BloomZ、OpenAI的GPT-4、Stability AI的Stable Diffusion、Anthropic PBC的Claude、谷歌的PaLM 2、Cohere的Command、AI21 Labs的Jurassic-2、Inflection AI的Inflection以及亚马逊的Titan。

研究人员发现，在具体的透明度指标方面，评估主要围绕着模型训练数据集版权、训练模型所使用的计算资源、模型生成内容的可信度、模型自身能力、模型被诱导生成有害内容的风险以及使用模型的用户隐私性等100个项目展开。

综合调查结果显示，meta的Lama 2以54%的透明度位列榜首，而OpenAI的GPT-4仅有48%的透明度，谷歌的PaLM 2则以40%的透明度排名第五。

具体来看，这些模型在“模型基本信息”(Model Basics)方面表现最佳，这包括模型是否准确介绍了其模式、规模和架构，平均透明度为63%。而在“影响”(Impact)方面，模型是否会调用用户信息进行评估，平均透明度仅为11%。

CRFM的主任Percy Liang表示，商业基础模型的透明度对于推动AI立法对产业和学术界都非常重要。

Rishi Bommasani则认为，较低的模型透明度让企业难以确定是否可以安全地依赖这些模型，同时也给研究人员带来了挑战。

最终，Rishi Bommasani认为，上述十大基础模型的透明度都不及格，他指出，模型的透明度至少需要达到82%，才能得到外界认可。