上海软件中心人工智能治理研究所团队获IEEE CSCloud2024 最佳论文奖

近日，由IEEE举办的第11届网络安全与云计算国际会议（IEEE CSCloud 2024）上，上海软件中心人工智能治理研究所完成的论文 《An Evaluation System for Large Language Models Based on Open-Ended Questions》（基于开放问题的大语言模型评测系统）” 荣获最佳论文奖。

此次获奖论文《An Evaluation System for Large Language Models Based on Open-Ended Questions》由曹致远、马泽宇、陈敏刚共同完成，论文研究并设计了基于开放问题的大语言模型自动化评测系统，该系统可对大模型在常识、推理、专业知识等方面进行多维度、自动化测评。论文的主要贡献包括：（1）提出了一种结合规则化、LLM测评和人工审核的大模型测评方法；（2）提供了一套基于开源数据集的开放式问题测评数据集。

本次IEEE CSCloud 2024在复旦大学举办，会议的主要议题包括人工智能使能的计算安全性、鲁棒的深度学习技术和应用、使用AI的云安全和隐私、基于强化学习的安全机制、云/雾/边缘计算中的新兴攻击方法等。