电脑说不:当AI难以解释其答案
图片来源:-
人工智能可以用来做出一些重要的决定,但是越来越多的被要求证明他们。新规定可能会让这一责任法律要求。
从冬天的深度在1990年代和2000年代,机器学习已经成为每个人都想挤进的技术。Xilinx是最新的大芯片制造商重新调整其业务技术,如深度学习,由大型数据中心用户胡佛的渴求了尽可能多的数据进行分析。
在描述公司的下一代设备如何支持人工智能(AI), Xilinx首席执行官维克多•彭说,世界“数据爆炸”。他补充道:“我们只是在AI的早期阶段。但它会扰乱多个行业。”
一些破坏可能是无意的。丰富Caruana,微软研究院高级研究员,对机器学习如何有益的教训似乎所有的正确的事情,还想出答案可能致命的不幸的人神秘地违背他们的规则。他描述了问题的研讨会,他呼吁更好地理解什么是人工智能。作为一个1990年代中期项目研究机器学习技术的肺炎风险评估员,他偶然发现了一个问题,会使系统意外危险。
“我们的目标并不是诊断肺炎——我们已经知道。这是找出你是高风险和低风险。我们的想法是,如果你是低风险作为门诊病人正确的治疗是:抗生素、鸡汤;叫我们在三天内如果你不感觉更好。其实是最安全的照顾你,因为医院不好的地方是如果你不需要。高风险,你绝对需要在医院里,甚至在重症监护室(ICU)。10 - 11%的患者在这个数据集死于肺炎。肺炎是一种非常严重的事情,如果你是一个高风险的病人,”卡鲁阿纳解释道。“我们的目标是培养不同的机器学习模型,提供给我们回到90年代中期。”
以今天的标准来看,神经网络Caruana工作相对简单,但在八个不同的统计和机器学习技术的研究在匹兹堡大学的生物医学信息学中心,“原来是最准确的模型,我们的火车在这个数据预测肺炎风险”,他说。
该模型是有缺陷的。不是因为神经网络不工作。相反,它学会了它的数据有点太好了。Caruana让一个朋友看模型的性能,他发现了一个相关性模型提出了似乎表明哮喘患者不太可能比一般人死于肺炎。”他皱着眉头,他说:“富裕,你认为这个规则是什么意思?’。”
医生立即看到相关的问题。哮喘是一种严重的肺炎的危险因素。模型不知怎么学的相反。“但他们说:“你知道,这可能是一个真正的模式数据的,”卡鲁阿纳解释说。“如果你仔细想想,哮喘的人注意他们是如何呼吸。他们会注意到比大多数人更早的事情并不完全正确,他们吸入器或其他治疗没有响应他们期望的方式。没有什么比发现症状迅速得到快速护理。”
医生考虑到既存状况作为一个严重的风险因素,往往会承认他们医院可能移动病人直接向重症监护室。结果呢?一类高危病人护理在疾病的发病早期,所以出现在死亡的风险较低的数据。
“你可能会认为我们没有船神经网络的原因是因为这里有哮喘的问题埋在神经网络,”卡鲁阿纳说。“我们不使用它,因为它是一个黑盒,最终可能会有其他的问题,我们不知道。令人担忧的是另一个未知的未知是什么。”
Caruana远非唯一担心有问题的机器学习算法可以从他们的数据。调查的人在六个发达国家在世界各地,埃森哲发现只有34%有信心或非常有信心,政府会采取人工智能在一个道德和负责任的方式。虽然他们比公众不那么担心了,不到一半的被调查者在政府工作对负责部署感到自信。
由于爆炸AI的兴趣,进而推动网络课程培训需求的新一代软件工程师在技术,我们现在有许多机器学习的例子的相关性。和恐惧是自然增长的后果在人工智能和其他隐藏的偏见在人口统计通知算法。
首席研究员凯特·克劳福德微软和现在的人工智能研究所的创始人解释2017捏在她的主题会议长滩加州:“我认为我们现在在一个非凡的时刻。我们基本上是在一个拐点的力量和机器学习的迅速扩大到日常生活的许多领域从医疗保健到教育刑事司法。
”很兴奋我们能做的,也有一些有关问题。形式的偏见,成见和不公平的决定被发现从机器视觉系统和对象识别自然语言处理”。
有关政府机构本身。英国最近的一份报告对人工智能及其影响的信息专员办公室(ICO)认为这将严重影响数据保护:“不仅影响产生的体积数据,但从它生成的方式,倾向于寻找新的用途,处理的复杂性和意想不到的后果对个人的可能性。”
数据保护法律已经对人工智能,虽然法律专家划分的实际后果。5月25日,一般的数据保护监管(GDPR)在欧盟生效。许多法律> <专家认为产生的法律将包含一个权利要求的解释任何自动化的决定,对你的生活产生重大影响(见框:“质疑权”)。即使前期诉讼不同意,第二波立法遵循欧洲议会去年通过的决议似乎推动组织来证明他们的人工智能系统的设计方式向公众,至少在欧洲大陆。欧盟委员会负责预计将公布初步报告2018年4月下旬。
AI行业所面对的问题是,尤其是在新的和看似更精确的机器学习技术,生成有意义的解释是超越它。她介绍论文的解释影响在2018年2月的脂肪GDPR会议AI公平、问责制和透明度,谷歌大脑研究科学家被金正日打趣道:“甚至在复杂模型的崛起,如深度学习模型的创造者不真正理解为什么事情。”
她指着情况在试图决定如何深度学习堆栈结构,研究人员发现仅仅删除一些层会导致模型的效果更好,但没有迹象表明为什么它更有效。
深深隐藏的秘密
深层神经网络(款)展示了一个引人注目的能力识别物体的图片,但意想不到的问题让研究人员质疑他们如何到达他们的结果。他们的失败可以壮观,与人归类为大猩猩在一个著名的案例。
这个问题的原因是不平衡训练,没有让款试图学习一系列跨多个种族的人脸,但是即使看起来训练有素的网络可以严重问题。他们注视特性几乎是人眼不可见但让款区分不同组的图像。这使得它更容易哄骗网络提供虚假的结果——一个潜在的安全漏洞标记在恶意使用人工智能的一个报告中写的人类的未来。
去年年底在日本九州大学的研究人员发现,修改一个像素在图像可能破坏神经网络训练和动物对象进行分类。没有看到一辆车,而是网络得出结论它是一只猫。两年前,一个团队从威斯康辛大学创建图像的人类认为纯噪声,神经网络将标签有99.99%信心那样家喻户晓的对象。
一个答案的理解深度学习的机制可能在于跟踪连接网络。五年前马太Zeiler和罗伯·费格斯,那么纽约大学为基础,使用可视化说明神经元连接的方式来处理图像。他们和其他人同样的方法使用微小的变化图像显示网络工作如何激活神经元的不同集合。组神经元似乎放大特性,比如眼睛,无视其他噪音的形象。
卓越地图的使用大脑研究的支持。脑成像研究(上图)在加州大学戴维斯分校已经表现出大脑细胞选择性地集中关注一个图像有意义的部分。数以百计的映射图像(左)眼球追踪(左)中心,“意义”(中心)和突出或突出的特性(右)。统计分析表明,眼睛被吸引到有意义的区域,不一定是最优秀的。
然而,凸起方法面临的问题。在谷歌工作从柏林技术大学脑与同事,Pieter-Jan kinderman和莎拉胡克开发了一种方法来迷惑凸起分析器通过注入一个卡通猫的脸的图片多个图像用于训练网络的机器学习技术标准数字认知测试。几个saliency-mapping工具关注猫的脸,而不是数字。但底层网络仍然工作,指示特点分析并不是实际上的控制款的输出的特性。
深度学习使用大量的输入产生一个结果。这些系统内的神经网络可调权值数量级大于输入的数量,创造巨大的复杂的结构与性能特点,否认根据现有的理论解释。意想不到的组合数据,从你的浏览历史模式的答案申请表交织在一起,或如油漆时作为一个不可信的结论没有现实依据,它可能很难指出错误分类的原因。
虽然基本力学的研究深度学习可能会导致创建更健壮的模型训练方法,问题仍将留在训练数据的选择和使用。Caruana的例子中,核心问题在于理想的数据之间的差异和可用的数据和部分标签的数据。数据的问题是21世纪版的柏拉图的洞穴比喻。AI系统只能看到阴影的现实数据中美联储。现实是哮喘患者治疗很快,所以做得更好,因为医疗服务的质量。影子说略有不同的东西。卡鲁阿纳说,为模型,哮喘是“合理的代理时间护理”。
显而易见的路径是哮喘状态了。但这将是更多的麻烦。其他变量可能表明哮喘仍潜伏在数据的存在,导致类似的结果。相反,数据进入模型纯粹的和其影响编辑了。透明的模型
问题是如何把不透明的模型如由深度学习,使不受欢迎的模式脱颖而出更好或者至少让用户调查模型,以找出为什么模型想出了一个答案。在他的作品中与同事在微软研究院,Caruana一直在研究机器学习技术更好地揭示问题的模型。用户可以看到它们是如何影响探针的组合变量结果和编辑出了不良反应。他认为,对于某些应用程序,如肺炎风险预测的应用程序,这些普遍添加剂模型产生结果,更不透明的一样好方法如随机森林和深层神经网络(款)。
如果GDPR并解释要求超越“模型训练的有关参数和给你一个低的分数”,组织可能需要看款是否适合这项任务。“你不妨用一个透明的模型如果效果一样好,”卡鲁阿纳说。
美国国防研究机构美国国防部高级研究计划局渴望获得广泛的人工智能系统,可以解释自己数据分析师以及机器人不会出轨的。该机构开始为期五年的项目在2016年提高AI explainability。
Darpa项目经理大卫射击在发射指出可能存在显著差异在机器学习技术性能和可理解性。款似乎最神秘莫测的,至少今天。研究人员已经确定了很多途径闪亮的光款的黑盒内,虽然揭露问题的方法。但电流的强度研究表明进展更好地了解人工智能应该出现在不久的将来。
机器人伦理学教授艾伦·温菲尔德西英格兰大学指出:“虽然有人工智能的一些新的和有趣的方面他们仍然工程化的系统,因此,原则上,不是神秘的。没有理由,我们不能有透明度和explainability原则上。”
可疑的权利
更新欧盟数据保护指令介绍在1990年代中期,一般的数据保护监管(GDPR),设置新的限制组织能做什么和你的个人数据。
埋在GDPR的文本,生效2018年5月25日,是一些法律研究者认为欧盟公民的权利要求解释从任何一个重要的组织决定对他们进行机器而无需人工干预。警告限制这个权利。似乎不太可能,你将能够查询Facebook和谷歌的广告提供算法。但是如果你拒绝贷款,信用卡或获得医疗保健和你相信的决定是完全自动化的,您应该能够挑战它,问它为什么是这样做的。
问题是,文本的解释是监管的补充部分。桑德拉韦希特尔和他的同事们从牛津大学互联网学院在去年发表的一篇论文中指出监管的结构意味着欧盟举行从插入一个完整的解释。但是她说GDPR可以提供的其他部分解释的权利。的条款主要内容要求通知的欧盟公民的数据也应该包含有意义的信息的逻辑被用于处理及其可能的后果在一般意义上,但不是个人决策的基本原理。
其他法律研究者不同意的现实解释。在2018年1月的脂肪的文章发布会上,安德鲁Selbst数据与社会研究所和康奈尔大学的朱莉娅Powles认为韦希特尔和他的同事们太窄视图。“必须有意义的信息数据主题,“Selbst说。“在人权法你希望能够看看你被歧视,如果你必须在法庭上挑战它,这就是解释给你做。”
事实上,公司可能在explainability看到好处。副法律顾问克里斯蒂娜Demetriades埃森哲,解释说:“消费者会用脚投票。企业要在竞争优势是否采用可辩解的人工智能。”
签署的E&T新闻邮件得到这样的伟大故事每天都发送到你的收件箱。
