在2022（第16届）创业周暨全球创业周中国站闭幕式上，中国科学院院士、计算机软件专家何积丰发表主题演讲《可信人工智能的展望》，讲述可信人工智能对产业生态发展所起到的推动作用，以下为演讲实录：
 

 

 

各位领导、各位企业家，非常高兴参加这个会议，看到国内创业高潮这几年明显的提高，尤其是科技有很大的提高。今年报告的题目讲一讲人工智能怎么帮助我们做创新，人工智能作为IT高新技术，大家对它有很大期望，从最早期帮我们一起下围棋和国际象棋，感觉在更大产业上有发展余地，后来我们的数据+算法+算力的成长，使我们更加在机器学习方面有很大的进步。上海市把人工智能作为高新匠心产业在推动。

我们也面临一些问题，我们说人工智能作为一种赋能技术必须和产业在一起，尤其跟企业的升级改造在一起，上海也面临整个数字化改造过程，人工智能对数字化经济起什么作用？现状怎么样？人工智能赋能技术跟企业之间有什么关系？图上举了一个例子，作为交付系统遇到的挑战是什么？有两个不同角度看这个问题：

1、智能系统希望用户能够提供完整可信的数据，因为靠数据进行训练，训练数据不好的话可能效果不好，像中小学教材，教材首先要编好。

2、自己对自己的工作负责任，要做正确，不会做错。

3、可以解释为什么我知道向左面走而不是向右面走，这是可以解释的，这确实是有道理的，不是随机做决策。

这是从系统方面来看。

从用户来看，我这个环境没有你想想那么好，是不确定的，数据是在漏洞条件下收集的，数据也不会像你想象那么准确。最后我们还碰到黑客攻击，更加糟糕了这两样东西在一起发现系统跟环境之间有一个对赌协议，我们希望这个可以达到可信。

 

我们看看到底是什么含义，作为可信是多方面的可信要求。

1、数据可信。数据可信的主要问题是隐私保护碰到问题，这个隐患比较大，很多人工智能技术是在这个地方，怎么保护数据。

2、算法方面。算法可解释性、公平性、可靠性方面存在技术漏洞，等会儿会讲历例子，为什么算法觉得不太可信，不太容易接受。

3、网络层面。网络安全做了很多工作，于总也说安几专门做零信任网络的，我也有一个团队专门做零信任网络，但是我们现在的手段对已知的工具有把握，换句话说，我们知道手里有几把枪几门炮，对未知的工具缺乏完整的手段，随机性比较强。

4、系统可信。系统比过去大了，安全风险也比较大。拿电网作为例子，好几个国家电网都受到攻击过，我们国家在网络保护方面花了很大工夫，但是我们也要承认我们还是有漏洞跟短板。

5、法律伦理。上海是人工智能专家委员会专门有一个伦理管委会，专门制定法律标准，目前我们还不敢说我们是有系统性地做这个工作，往往出现问题才会坐下来说这个问题该怎么解决。

 

我们讲一下伦理问题，法律大家都知道，暴露出了我们发展中的短板。

1、数据层面。个人隐私保护是有问题的，还有数据的垄断跟霸权，还有国家安全问题。特斯拉汽车收集很多数据，实际上对我们国家数据安全保护提出警告，我们这个问题还是要认真对待的。

2、算法层面。算法的乱用跟误用比较多。上海有个例子，去年很多公司门口装人脸识别系统，这就是算法乱用了，人脸识别用在安全关键部门，公司根本没这个需求。有的小区把这作为门禁系统的必备元素，但其实可用可不用。

3、社会短期效益。系统责任划分比较困难。有一个典型场景，智能汽车，从L1到L5，L2的问题很清楚，整车厂负责任，L4以上出问题，制造软件系统负主要责任。L3比较麻烦，人机互动，人在闭环里面，司机有责任、系统也有责任，好几个事故因为责任不清楚，人家不敢用这种车，要么是整车厂负责任，要么是软件场负责任，叫买车的人负责任压力非常大，这是在责任划分方面碰到的问题。

4、生成利益怎么划分。很多数据在不同部门，整合比较困难，我个人觉得除了规定的政策以外很重要的是在利益分配上早期没有搞得很清楚，很难把自己的数据放到平台让大家共享，长远来说应该建立一个生态圈。当然，我们通过一些办法解决数据的安全保护、隐私保护文化。

5、长期影响。一个是就业问题，现在很普通的公司，尤其是生产线上，比如说检查、包装，这些智能机器人都能做，这期间合成数据方面也有很大的进展，换句话说，我们人能做的机器也能做。最后有一些新的算法，做一些科学研究，它处理数据的速度比我们科学家快得多，经营的工作也受到了威胁，这是就业情况。社会普惠发展大家很有体会，如果一个同志不会用智能手机什么地方都没办法去，所以也不是太友好，应用起来也不是太方便。社会舆论控制、社会权利不对称都会慢慢体现出来，这是碰到跟伦理法律有关的问题。

 

这五个方向我们现在技术发展趋势跟创新有联系，但这些方向都是非常需要的。数据方面，关于隐私保护、密码理论，通过联邦学办法解决数据共享的问题，需要建设平台。前几天参加上海市科委科技奖评比，有不少科技创新公司都是年轻大学生做的，产品质量做得很好，甚至很多模块都是在国际上跑在第一位的，证明我们创新创业水平跟过去比有很大提升。

算法领域强调算法的公平性、可靠、可信性。验证分析是很多部门提出的，装了系统以后要打分，学生毕业以后要考试，考试要打分，好在什么地方。现在很困难，不少东西没有评分标准，都是大部分情况很不错，根据现有的实验不错，对用户来说是不够满意的，最好有一个分数。应用场景，最近几年智能系统应用里面比较广泛的，智能安全防护、工业控制、生物制药以及智慧城市建设。法律方面刚才讲过了。

易用的问题。很多产品可信上来说质量很难调停，但从人机结合来说还是很有问题的，使用不太方便。因此我们提出一个问题，在核心要素上怎么把可信性跟易用性两个东西结合起来，搞得很可信，少数实验室能用，到社会、市场上不容易用，这个产品很能产业化。

技术研究里面要加强对基本东西的投入，比如我们要考虑对建模分析方面的东西，对工业软件学习，工业互联网现在是经济数字化中间很重要的部分，而人机应用深度融合，这个研究很多年，比我们想象的难做。

前面有一个场景，汽车里面辅助设施跟司机可以互动，有个场景里面，当辅助驾驶比控制权交回给司机以后，司机是没时间响应的，马上就要撞车了，说明人在这当中起什么作用是没有想清楚的。过去生产线要么全都是机器人，人在旁边看着，没有人跟机器一起做一件事情，这是技术研究很重要的东西。这里面讲一些技术大家都知道，数据技术、安全等等，包括创新示范要制定标准、法律等等。

这里面画张图来说一下作为技术在产业里面分哪几类作用。这里面有三个框，IN、UP、PLAN。什么意思？我们希望做的事情从IN部分首先要非常明确需求，让我的机器做什么。第二，应该有一个商业创新作为指导，指导过程中如果能够离开下游、离开产品制造场景是没有前景的。做数据分析，数据分析过程中有个提升过程，从数据分析预测到一些行为，这个行为有好的行为也有预警行为，坏的事情可能会发生。一直到价值体验，就是我们的用户。这个提升里面目前能够发挥最有价值作用的才能体会新的计划，当然有很多不同计划，这是下一步工作中要特别强调的，是能够帮助我们做数字化转型、支持企业做数字化创新，而且是实质性创新示范的流程，这对创业也是很重要的元素。

 

现在我们讲的可信人工智能跟过去跟的人工智能之间哪些方面的差别。因为我们人类社会的现象行为跟规律，跟我们用来训练模型的数据之间有很大差别。特征抽取开始就有问题了，传统过程就是靠训练数据进行学习，然后有基本功能可以做测试，这中间有决策，跟人相互之间有互联。现在的人工智能作为可解释人工智能中间很重要的两条，首先知道模型是怎么工作的，不是一个黑盒子。必须有可解释的接口，人机互动为什么是这样互动，有什么样的次序，这就代表中间产生决策不是单向性，从机器到执行人，人在闭环里面反馈信息帮助我们重新改造可解释的模型。

 

从研究部分大概有7个部门是大家可以关注的，每个方面都可以有创新企业做。分七个：

1、理论。

2、体系。

3、应用。

4、评价指标。很多产品做测试，测试里面做两类，一类是机器学习好不好？像学生考试要看学习过程满不满意。一类是应有场景，用户体验满意吗？只有第一类满意是不够的，最后是提供服务和产品，用户认可是极重要的一部分。

5、跟高校有关，基于理论模型做新的可解释人工智能方案，研究生阶段做的。

6、机器人工学习的可解释研究方法，着很多小公司都在做，而且通过模型增加服务可以产生很多具体应用。

7、基于知识推理，这可能比较难一点，但是人工智能最有价值的地方。通过人工智能模型希望分析世界上发生事情的原因和结果，从结果分析溯源，是什么原因造成这样的情况，这都是比较高端的系统。尤其是医药方面，这方面的工作是很有指导意义的。

下面看一下企业里面怎么看待新的方向。

1、人工智能从早期进行比较简单的自动化操作，比如整车厂看到很多机器人做非常简单的动作，那时候我们认为是有自动化味道了。到现在我们希望它能够跟人进行互动的协作工具。拟人化的解释，就是师傅带徒弟，徒弟能帮他解决很多问题，师傅还是起主导作用的。

2、我们企业把AI看作简单的工具，而是整个企业组织的变革引擎。这要求就比较高了，下面会有图解释有哪些变革产生。

3、为了企业强人机协作为核心，进行相互理解和互动。换句话说，机器要知道人做什么事情是什么原因，人也知道机器会做什么事情，能提供什么服务，这应该是比较困难的地方，但我们是希望能够找到好的方法的。

4、人机协作模式下，从部门架构、产品设计到员工培训，企业将对整个业务进行重组，这是数字化改造最重要的内容。

 

下面看一下企业怎么做。企业越来越依赖技术上的伙伴关系，可解释人工智能能够确定我们的产品和目标，通过数据学习以后产生信息，这些信息既有技术也有市场，可以产生相应的价值，最后可以评估效果。从方案层面上，有三大类工作：

1、收集和管理，收集数据和资料进行管理。现在的情况这阶段比较多，比如上海数据大量路和车的信息，这些数据没有通过过滤以后很杂，这是第一步要做的。

2、分析解释，看有什么规律，我们的数据跟知识，最后通过这个要推动执行工作。

3、架构方面，解决方案的架构牵扯到法务部门、财务部门、业务部门、信息、人事等等，不单单是跟技术人员相关。

 

实现过程有五个：

1、作为企业要使用人工智能技术，首先要想清楚到底希望帮我做什么，达到什么效果，不是人家说很好就拿来用，那和企业适配性不会很强。

2、确定人工智能的现状，到底在周围会有哪些技术可以马上拿来用，哪些需要对应短板，哪些对原来通用模型进行设备改造。

3、制定使用可解释的AI方案。这里面发现过去为什么这个技术跟人家说人家不会相信，不相信会产生好的结果解决，原因是什么？解决方案里面不仅仅是技术，有数据湖、业务流等等，这些都考虑全面了，工作推动就比较容易了。

4、促进示范试点，实现试点要素基于AI改善效率，促进业务相关的指导方案。

5、组织变革。业务流程、人事、财政等等整体机制会逐步建立和完善。

 

下面看一下目前已有的技术，分三大类：

1、关于业务设计方面的技术，对业务知识有益的学习过程，再学习改善，弥补不足的数据。

2、通过可解释人工智能与现场数据结合，构建依据可说明的AI系统。AI系统不是一步到位的，和学生一样高中毕业以后要读本科，本科之后有研究生，是不断改善的过程。

3、组织设计也有很多想法。下面一张图提到整个人工智能技术使用中数据科学家是不在一起工作的，AI人跑到企业里面做方案结果不会像你想象得那么漂亮。

 

有两个事情需要解决：

一、怎么解决过程质量问题。过程到底好不好？大概有四个层次。

1、不需要解释，我自己看得懂，给我就完了。

2、对不起，你给我一个黑盒，它能够工作，但是我不知道工作原理，你需要给我解释一下，否则出现异常情况不知道该怎么驾驭。

3、部分东西企业可以解释，还有一些自己也没有搞懂。

4、系统属于可控的，比可解释要求还高。

这里面也画了一个图，从用户角度态度怎么慢慢变化，从开始不信任，通过智能系统解释以后对满意度进行测试，然后再经过心理上的辅导以后能够评价理解程度怎么样，一直到最后有自己关于系统的效率估计，也就是效果评估起很大作用。换句话说，信用和疑虑是初期想法，中间有合理的信任与可靠，最后进行理解并且使用。

二、过程测量要求，过程测量有这样几个事情可以做，可解释人工智能有四个过程可以做：

1、构建与黑盒同等的可以解释的模型，换句话说模型本身是黑盒子，但是数据模型作为一个描写。

2、我们对已经做的输出结果与预测之间进行分析比较，到底有多大差别，本来预计能够走100米，为什么走98米？这要进行分析比较。

3、检查并说明模型内部的结构是什么样的。

4、设计有透明性的学习过程，从而达到可视化、模型简化跟支撑文本分析的目标。

这是最后一张片子，我们对可解释人工智能挑战面向决策方面的展望：

1、我们希望管理决策要做某性方面的研究，对于增强模式研究非常重要，增强学习可能是工作的重点。知识管理的研究也很重要，对信息管理也要有相应的研究。

2、根据导向发展机遇，面向业务领域要有通用性，最好有可解释的方案。特殊用户和场景特点的个性化系统，这个通用系统很重要，有很强适配性之后的改造成本就非常低。

3、实现AI的实现，人机协同的决策能力应该有很大的提升，对于做安全预警系统基于事前、事中、事后全决策生命周期可解释方案也是向往的。