由上海市法学会承办的2020年世界人工智能大会法治分论坛《人工智能的权利与义务与法治实践》（图：上海市法学会）

让机器律师来告诉你司法调解的结果，你是否觉得更有公信力？已经开发的Theory of Mind 神经网络正在学习依据人类的特点推理其喜好，将来是否会具备认知智能的判案能力？混合决策方法是否能够很好地尊重个人的隐私数据？

由上海市法学会承办的2020年世界人工智能大会法治分论坛《人工智能的权利与义务与法治实践》上，来自海内外的司法领域和人工智能领域专家的分享中，既有原理的剖析，也有实践进展，还有场景的畅想，论坛过去半月后再来回味咀嚼，依然能更难受到未来人与人工智能的共处饶有趣味，有效立法让人工智能向善、为人类服务变得不再模糊。

机器时代需要与之相适应的法律

法律是时代的产物，进入机器时代，就应该有与之相适应的条文，来自美国康奈尔大学法学院王氏中国法讲席教授於兴中指出，机器时代的法律既可以促进也可以规范人工智能的发展，此时法律不再是一门社会科学，而是科学本身。

美国康奈尔大学法学院王氏中国法讲席教授於兴中（图：上海市法学会）

18世纪意大利思想家乔凡尼巴蒂斯塔维科将历史划分为三个时代神的时代、英雄的时代和人的时代。於兴中认为，与此相适应产生了三种不同类型的法律，神学指导下的法律、英雄时代的法律和自然人性指导下的法律。“今天，我们已经进入了机器时代。机器时代召唤与之兼容的法律以及与其相匹配的法律认识论和法律方法论。”

机器时代需要怎样的法律呢？於兴中将之概括为人-物关系法、科学自然法或艺术与科学的混合方法。无论其名称是什么，该法律调整的主要目的都是“人与自己的工具之间”的关系，包括自动的或手动的工具，以及类人的工具。而这种关系并不是财产关系。他指出，算法、智能合约、预测分析都构成了一种挑战现有法律理论和实践的新的法律方法。法律人工智能现在已应用于许多法律领域，比如，预测编码在电子发现中的应用，区块链在证据保存中的应用，以及算法决策在审判中的应用。法律不再仅仅被定义为社会科学知识的一个分支，而更是科学的分支。

法律人工智能现在已应用于许多法律领域

机器时代的法律将遵循促进与监管之间的适当平衡，以此实现“科技向善”人类理想。为此，必须正确理解人工智能理想主义及其技术乌托邦倾向。按照人工智能理想主义的逻辑，通用人工智能（AGI）的发展将导致超级人工智能（ASI）的出现，其中还有人工情能（AEI）。最终，这一发展将达到Ray Kurzweil所设想的奇点。这位发明家和未来主义者相信，具有人的水平的人工智能将在2029年实现。技术乌托邦主义是基于对人类能力的一种简化主义的观点，关注的仅仅是人的智性，它体现在理性、可计算性、规律性、功利主义和经验上。

於兴中指出，人类不仅具有智性，同时也具有心性和灵性，人工智能的发展也应受到心性和灵性的限制。如果我们要制定有关人工智能的法律，就必须制定反映人类道德的法律，可以被视为人工智能开发人员的内部约束，也可能成为人工智能开发人员的设计参数。至少在精神上，它应该反映出人类掌握其创作成果并充分尊重科学和技术规律的能力。

开发自觉守法的人工智能有无可能？

开发自觉守法的人工智能是否是人类的一厢情愿呢？从近期全球人工智能系统正在开发的Theory of Mind能力，上海交通大学凯原法学院访问特聘教授秦裕林给出了肯定回答。

*三个层次助力自觉守法机器人的开发，最高级要结合神经科学

秦裕林是卡内基-梅隆大学认知心理学博士，曾师从人工智能奠基者之一的赫伯特西蒙 (Herbert A. Simon)，他也是资深研究心理学家，曾在美国科学院院士约翰安德森实验室用fMRI开展人类认知总体结构ACT-R的神经基础研究。秦裕林分析，开发自觉守法的人工智能系统，可以分成三个层次：

最基本的层次是，对使用于规则简单的环境的人工智能系统，直接编码植入相关的法律、法规。譬如下围棋，只要定义了下子规则，人工智能系统很容易就能做到。

上海交通大学凯原法学院访问特聘教授秦裕林（图：上海市法学会）

第二个层次是，对于运行性人工智能系统，开发具有学习能力的自主人工智能系统和人工智能监管系统。以无人驾驶汽车为例，不可能事先在固定的程序中穷尽所有可能遇到外部复杂状况，包括法律与道德问题。必须让系统成为具备一定的能自己作出抉释（有自主能力）的学习系统。但这样的学习系统的行动有可能超越程序设计的本意，突破安全、法律与道德的限制；而光靠人力又很难实时控制。这时就需要一个人工智能的监管系统来实现一定程度的监管和调控，以确保人工智能运行系统的行为守法和遵守拥有和使用它们的人的道德价值。这种系统可以是一个检查者、审计者、监控者、执法者，或者伦理机器人组成，并且把最终的开关权力交由人来掌控。

第三个层次是，对于直接服务于人的人工智能系统，需要进一步把人工智能的发展与认知心理学和认知神经科学的发展结合起来，使得这种人工智能系统能够像人类能理解他人的心理与行为一样，在与人类交往的过程中，从有利于人的动机出发，通过观察他人的行为，揣测、理解对方的目的、愿望、意图、信念和情绪，适时主动配合人类的行动，同时也能让人理解它的行为意图的人工智能系统。

*Theory of Mind能力开发中已有错误信念和纸牌游戏两种范式

秦裕林介绍，Theory of Mind是人类理解自己与他人心理的能力，也是人工智能通过与人打交道，向人学习的基矗这种能力包括认识到他人的存在，比如知道他人有自己的思想、信念、价值观和需求，并且也许与自己的有所不同；根据观察到的行为，判断他人内心的信念、目的、愿望，预估其行为；依照所观察到的需求而有道德地帮助他人；采用让人容易理解的机器人的行动意图。

这方面的实践如何呢？一个典型的研究范式叫做“错误信念”（false belief）。秦裕林举例，“小明把一盒巧克力放在了自己放玩具的盒子里，然后离开房间。之后，妈妈进来了，把那盒巧克力放进了冰箱，然后离开房间。问小明回来以后，会到什么地方去拿他的巧克力？”实验显示，4岁以前的儿童，多半会错误地回答“去冰箱”。4岁左右的儿童，多半能推测出小明心里所想，正确地推断小明的（错误的）信念：巧克力在他放玩具的盒子里。

使用 ToMnet 描述训练的神经网络智能体

2018年，DeepMind开发的Theory of Mind 神经网络 ToMnet已经能够通过类似上述“错误信念”检验。ToMnet是一个采用能够深度强化学习的自动学习系统，能通过少量的行为观察导出关于对象的行为特征和心理状况，并据此预报对象的行为。

2020年3月，Google Brain和DeepMind发表的关于纸牌游戏Hanabi的研究，也以理解人类的意图与人类合作为方向。Hanabi纸牌游戏为具有theory of mind功能的人工智能研究提供了新的范式，因为它是协作、不完全信息、有限的信息交流这三点的组合。这就使人工智能系统的theory of mind任务比“错误信念”测试更接近社会环境状况。

日本的启发：人工智能如何尊重个人隐私

注重隐私是大数据和人工智能时代突出的矛盾。日本庆应义塾大学法学院宪法学和信息隐私法教授、全球研究所(KGRI)副所长山本龙彦教授建议要建构人与人工智能决策结合的混合治理模式。

日本庆应义塾大学法学院宪法学和信息隐私法教授山本龙彦（图：上海市法学会）

2015年修正的日本《个人信息保护法》将“个人数据”分为三类：A,通用个人信息；B，需要特别留意的个人信息，即敏感个人信息（信仰、医疗记录、犯罪记录等）； C,经匿名处理的信息。据同一修正案，揭露B即敏感个人信息原则上需要个人事先同意，而获取A即通用个人信息则无需事先同意。因此企业可以合法分析A即通用个人信息和通过公开其目的来预测或间接“获取”B即敏感个人信息。参照之前的例子，我们不能直接评价秘密预测顾客怀孕与否是非法行为，因为企业的营销目的早已公开。这就意味着即使个人认为是隐私，企业也能设法得到该信息并就此与第三方交易。

尽管2020年还将修正《个人信息保护法》，但未计划就分析技术直接进行立法。至少个人应该收到通知或有权要求别人停止对涉及敏感信息的数据进行分析。法律修正后可能需要履行以下功能。企业只要公布其使用数据的目的是“促进销售”就足够了。但在修正法律后还必须明确解释其“数据分析方法”，需要解释如何处理数据，例如如何用人工智能预测个人偏好。

日本宪法第13条规定“尊重个人”指不能仅以群体特征来评价个人，每种声音都值得认真聆听，每种特殊情况都值得纳入考虑。这是现代宪法的一项基本原则，山本指出，这些情况下，应该寻求混合决策方法，让人工智能与人类互相取长补短。全球范围内都在寻求算法与言论自由之间的充分平衡。最终都应该按照《通用数据保护条例》的要求，交给人类进行负责任地人为决策。这种人机交互关系的结构与飞行作业类似。一般情况下，飞行作业会交给电脑进行自动驾驶，但紧急情况下会由飞行员手动操作来进行控制。

韩国：对人工智能医疗差错怎样做责任判定

人工智能的医疗差错和民事责任究竟让谁来承担？韩国梨花大学法学院教授李元馥分析了国内流行的两种责任承担学说。

韩国梨花大学法学院教授李元馥（图：上海市法学会）

一是风险操作中的操作者承担责任学说。该学说认为，风险操作的操作者最接近风险，应将责任推给能够最有效地降低风险的一方，即风险操作的操作者。就人工智能而言，开发者很可能就是风险操作中的操作者。但反对这一学说的人认为，这将抑制程序员和公司开发有用的人工智能的积极性。

第二种学说是受益人承担责任学说。这一学说认为，从一项行动中获得最多利益的一方也应承担损害赔偿责任。根据这一学说，如果人工智能导致医疗差错，那么医生或医院应该承担民事责任。因为是他们在看并诊断过程中使用人工智能，他们从使用人工智能中获利。这样也许会把民事责任加诸于医生和医院。这个学说的反对者认为，医生和医院并不能完全控制人工智能，因为人工智能已经被编程了，他们不能决定人工智能将如何计算或做出决定。他们无法控制人工智能的算法。他们认为，医院里的医生可能不会从使用人工智能中获得最大收益。也许是病人从使用人工智能中获益最多。

因此，李元馥主张，在侵权法的设计上，让开发者的责任与其开发的人工智能的可解释性成反比，将有利于社会。

上海领跑：刑事案件智能辅助审讯系统实现飞跃

上海作为人工智能的高地城市各方面都在形成示范效应。上海市法学会会长，二级大法官崔亚东介绍了206系统这项 “领跑”世界的应用。

上海市法学会会长，二级大法官崔亚东（图：上海市法学会）

中央政法委作出了研发“推进以审判为中心的诉讼制度改革软件”的决策，并于2017年2月6日将这一重任交给上海承担。经过三年多努力，由上海高院牵头，全市政法各部门协调一致，与科大讯飞紧密合作，成功完成研发“推进以审判为中心的诉讼制度改革上海刑事案件智能辅助办案系统”（简称206系统）的重任，先后集中700余人合力攻关，先后获国家批准六项知识产权。目前系统在安徽、山西、贵州、新疆生产建设兵团、云南等省市已推广应用。

崔亚东披露，自2017年2月6日至2019年底，上海刑事案件办理从立案、侦查、报捕、起诉、审判均在“206系统”3.0版内运行。智审系统既是“206系统”的一个“子系统”，又是公安机关一个“独立的审讯系统”。智能辅助审讯系统的主要功能智审系统目前具有11项子功能：讯问要素指引功能、笔录自动标注功能、办案提醒功能、要素抽取功能、远程提审功能、语音转写功能、电子签名、指纹捺印功能、笔录质检功能、专案协同功能、全程录音录像功能和综合管理分析功能。至2019年12月底上海全市公安机关已全面推广应用智审系统，实现了814家单位全覆盖。2019年1月至2020年6月，全市运用智审系统形成讯问笔录累计100余万，每天有万余名办案人员使用，制作电子笔录约2500份。成为“206系统”使用率最高的一项功能。

公诉人正在审阅“206系统”自动推送的证据材料

“智能辅助审讯系统得到办案人员的一致认可，是使用效率最高，最受欢迎的功能，成为办案智能助手，让办案人员从很抵触到真欢迎。”崔亚东认为，智能辅助审讯系统研发应用，推动了审讯工作的改革，是传统的审讯工作模式向现代化智能化审讯模式质的飞跃。这是人工智能等新技术与刑事司法实践深度融合的重大成果，使我国宪法、刑法、刑诉法确立的刑事法律原则得以落地，体现了中国法治的进步。

用完感知智能再用认知智能， AI法治新生态

科大讯飞股份有限公司董事长刘庆峰，并不是第一次来到世界人工智能大会法治论坛，同时是语音及语言信息处理国家工程实验室主任的他，随时可以拿公司的产品“讯飞听见”来做比方。这次大会上，离线的语音转换、翻译非常便捷。刘庆峰希望下次不同语言国家的专家就可以直接应用“讯飞听见”的语种翻译。

科大讯飞股份有限公司董事长刘庆峰（图：上海市法学会）

*感知智能的应用：人民法院语音云、法律文书辨别

既和上海政法系统合作了智能审判辅助系统，又协作开设了上海政法大学的人工智能法治学院，他对跨界联合促进司法应用深有体会。刘庆峰介绍，人工智能在司法领域的应用大体可以分成两类。从核心技术上来说，首先是感知智能，然后是认知智能。

感知智能让机器具备了语音能力、图像能力、OCR能力等等，能够把自然世界各种各样的信息收集进来，汇聚、分析、整理。认知智能则是对这些感知到的数据进行决策、学习、逻辑推理等等。

“‘讯飞听见’系统技术就是运用了感知智能。”每两年一次、今年5月4日在美国举行的国际语音识别大赛上，科大讯飞的英文语音识别再次全球领先。这些技术不仅在逐个盛逐个城市布局，最高人民法院还专门建了人民法院的语音云，可以支持29种方言。一些还没有建成语音平台的省份，可以直接调用最高院语音云平台上的公共能力，目前已经被调用了7.4亿次，累计转写超过130亿次。

科大讯飞提供的技术支持，实现了实时英文转写、以及英译中等功能

另一项技术是图文手写。要把各种各样拍下来的卷宗材料，变成机器能够理解的文字，然后抽取关键内容，这是司法大数据的重要来源。目前，科大讯飞对法律文书的证据图文识别准确率达到了98%。手机上的手写能够大规模使用的标志是平均识别准确率达到89%以上。图文手写基本上标准的OCR已经做到98%。

刘庆峰颇为骄傲地说，“在司法领域我们用人工智能实现了全世界‘0到1’的突破，这件事情需要管理创新，需要各种全新的司法理念，同时也需要核心技术的支撑。”

*人工智能辅助决策能力将随认知智能而提升

在感知智能的基础上认知智能目前也取得了令人欣喜的进展，在去年由斯坦福大学牵头的SQuAD比赛上，机器阅读理解首次超越了人类平均水平。针对10万篇左右的英文文章，人阅读后提出问题，机器和人同时来回答人类的问题。一看回答问题的准确率；二看提出的问题不靠谱，不在这个内容范围之内，可以拒绝回答。在这两项指标上，人工智能都超过了人类的平均水平，这是人工智能发展历史上的一个里程碑，说明机器可以在越来越多的领域学习司法知识。

哈工大讯飞联合实验室参赛提交系统一览。在去年由斯坦福大学牵头的SQuAD比赛上，机器阅读理解首次超越了人类平均水平

刘庆峰介绍，上海有102个主要的刑事案件罪名，能够通过自动证据标注进行人工智能辅助审判。另外，民事和商事领域的人工智能辅助审判也在推动过程中。司法认知的相关技术，包括文书自动生成、自动编目、类案推荐，以及要素抽娶法律图谱、证据校验、智能归档、辅助量刑等等，都是需要用到人工智能的辅助决策能力，根据语义理解加上推理和决策。

《民法典》出台后，老百姓怎么去了解、掌握？碰到事情如何知道应适用哪一条法律规定？科大讯飞在两会一结束，就与《检察日报》推出了一个微信小程序，不仅把《民法典》的内容放进去，还有大量其他的法律法规，让老百姓可以直接去查询、沟通、了解。这个小程序的功能还在不断完善中，让法律的普及和使用有更好的基石。因为只有老百姓都懂法了，法治时代才能到来，才能够更有效地降低司法成本。

人工智能法学院建立一年，40名本科生适应新氛围

人工智能立法的重要性最终将由关联的专业人才来体现，全国、世界第一所招收本科生、的人工智能法学院上海政法学院校长的刘晓红介绍了成立一年后的人才培养情况。

上海政法学院校长刘晓红（图：上海市法学会）

刘晓红指出，美国是较早开始人工智能法律教学科研的国家。早在上世纪80年代，美国斯坦福法学院、哈佛法学院就开设了人工智能与法律的相关课程。目前美国乔治城法学院设有多门人工智能+法律的课程。另外，美国一些知名法学院在人工智能法学领域大多设置了科研机构。例如：斯坦福大学CodeX法律信息学研究中心、麻省理工学院（MIT）计算法学实验室、多伦多大学创新法律与政策研究中心。

中国在上世纪80年代，有学者开展了有关法律科技或人工智能法律方面的研究。进入21世纪，随着人工智能的发展，人工智能+法律受到各方高度重视。2018年4月，教育部制定了《高等学校人工智能创新行动计划》，鼓励高校探索“人工智能+法律”人才培养模式。

2019年5月，上海政法学院在上海市法学会、科大讯飞等单位的支持下，在上海率先成立了人工智能法学院，并在当年实现了全国首批40名人工智能法学专业方向的本科招生，受到了社会的高度关注。目前，学校围绕构建人工智能法律人才培养体系，实施了一系列举措，取得了初步的成效。办学体现了复合型应用型培养目标、启动特色专业教材建设、加快跨学科师资队伍建设、推进行业企业协同育人等特色。

去年的人工智能大会，还有不少话题集中在该不该做人工智能，今年却是该如何做好。这一年中，不知不觉中，人工智能已经在作为助手辅助人类工作，今年论坛线上线下的热闹又务实形式就是一个生动的证明，于是，更如号角一般催促法律人去寻求混合决策方法，在立法上让人工智能和人类取长补短，携手共进。

作者：李念

编辑：袁璐

责任编辑：李念

*文汇独家稿件，转载请注明出处。