“人工智能作为赋能技术，需要一个治理的阶段。人工智能应用发展迅速，有些在智慧城市建设领域起着核心作用，也有野蛮生长的现象，我们需要一个规则性治理。”在2021世界人工智能大会“共话标准，驱动产业”标准化分论坛上，中国科学院院士、工信部新一代人工智能标准与应用重点实验室主任委员何积丰进行主旨报告时表示。
何积丰是著名计算机软件科学家。现任华东师范大学终身教授、软件学院院长，中国科学院信息学部常委会副主任，上海市科协副主席，国家可信嵌入式软件工程技术研究中心首席科学家，上海市高可信计算重点实验室主任。
2021世界人工智能大会于7月8日至10日在上海召开，今年是第四届大会，以“智联世界 众智成城”为主题，围绕“AI赋能城市数字化转型”方向，探讨人工智能技术创新与产业落地的前沿进展，广泛传递城市数字化转型的理念与价值，推动相关治理和规范形成全球共识。
“人工智能的范围远远不只计算机学科，人工智能在数学、物理、社会学、心理学等都发挥了一些不可替代的作用。”何积丰认为，人工智能常被看作计算机科学的分支，但事实上是在自然科学和社会科学的交叉口。“我们应该给智能技术设一个红线，规定什么事情不能做。”
何积丰在演讲中表示，人工智能本质是机器模拟人类思考行为的能力，人工智能的发展可以分为三阶段：弱人工智能、强人工智能、超人工智能。而我们正处于中间阶段。
弱人工智能着重对人类推理过程的模仿，通常只擅长于某个特定领域；强人工智能是可以达到人类思维级别的人工智能程序，“深度学习”、“因果推理”和“大数据”是其发展的引擎和燃料；超人工智能具有全方位超越人类大脑的思维能力，例如自我学习、情感等。
何积丰指出，可信人工智能应该具备于人类智能类似的特质，包括透明性、可解释性、公平性、鲁棒性、自适性等特质。比如说，告诉用户该智能系统工作原理，告诉用户该智能系统在什么环境下不工作。
针对安全问题，何积丰提出几点安全对策：保护模型和算法，对于早期的数据质量、模型等制定标准，并要求模型在部署后的可解释性；保护隐私；公平建模；可信验证；伦理法律等。
其中，关于公平性，他指出两个问题。第一，中国作为一个地域辽阔、人口众多的大国难免经济发展不平衡，沿海地区和偏远地区的经济发展差异也使得人们在高科技的使用上有差异，因此这种公平的实现相对较难。第二，不同年龄的人掌握新技术的能力有差别。他表示，“但是现在我们也没有很好的办法去做普及。前段时间网上有个老太太上公交车，让她显示健康码，但她没有智能手机。”
关于可信验证，他认为要拿出办法判断某系统是否可信、可信度达到了哪一等级。“在云计算的发展支撑下，很多软件系统发生了大变化。过去的软件系统十分专业，它是否可靠只影响一部分业务；现在鼓励企业上云，很多业务在云上，云变成像电、水一样的公共设施，公共设施的可信极其关键。”
