《政府法制研究》2021年第5期（总第341期）

  ●上海人工智能产业的特征：一是企业集群优势显现，但缺乏本土龙头企业；二是智慧应用加快落地，但仍处于示范探索阶段；三是对传统产业赋能起步，但合作机制待完善；四是成熟专业技术人才流失，创新能力相对偏弱；五是行业发展环境优越，但风险投资不够活跃。

  ●上海人工智能立法的必要性：立法是规范和保障人工智能发展的关键法治路径；建设人工智能高地需要前瞻性的法规制度体系；人工智能产业实践需要立法提供边界指引；人工智能负面风险亟待立法回应。

  ●人工智能立法的重点场域：人脸识别、无人驾驶、数据治理、医疗人工智能、算法（黑箱）治理等领域。人工智能立法的实施保障建议：一是市人大统筹推进人工智能地方立法项目；二是成立人工智能立法研究推进专门工作机构；三是采取“总-分-总”的步骤实施人工智能地方立法工作；四是积极借鉴国内外相关立法经验。

人工智能的地方立法研究

——上海人工智能立法的必要性、可行性及其路径

课题顾问：崔亚东

课题负责人:杨华

  一、人工智能地方立法的背景与现状

  人工智能因机器学习等新方法的突破，已经成为当下最引人关注的新科技主题之一。21世纪之后的人工智能及其发展正在改变甚至颠覆人类的生产、生活方式。目前人们对于人工智能的社会关切，既有积极方面的期盼，希望人工智能为人类及其后代带来理想的生活，但也有消极方面的忧虑，即当它即将来临或真正来临时，却深感不安。因为人工智能业已对构建的法律规则、社会秩序、伦理道德造成了巨大冲击，使传统的法律体系和伦理规范面临种种问题。例如，人工智能侵权责任如何承担或分配？如何化解人工智能产业发展与隐私权、个人信息保护之间的冲突？法律制定可能滞后，但对人工智能相关立法的思考和研究应该具有前瞻性。针对人工智能所引发立法规制问题的思考和研究，应当从其发展背景出发并分析其规制现状，进而为实施人工智能地方立法铺路。

  （一）人工智能立法的总体背景

  1.人工智能国家政策与立法动向

  人工智能作为经济转型升级以及占领全球科技创新高点的重要抓手，如今已成为中国国家发展的战略支撑要素。国家层面对人工智能发展问题的关注和政策意见可以追溯到2015年国务院发布的《中国制造2025》和有关“互联网+”行动的指导意见。此后，全国人大、国务院以及国家部委都将发展人工智能列为重要发展战略。列表如下：

  表1  国内中央层面涉及人工智能发展的主要政策与规划

  总体上，我国人工智能产业发展已经步入快车道，但爬坡迈坎难度较大。因此，在国家陆续出台支撑政策的同时，全国人大常委会从2019年起已将一些与人工智能密切相关的立法项目，如将制定《数字安全法》《个人信息保护法》和修订《科学技术进步法》等列入五年的立法规划，同时把人工智能方面立法列入抓紧研究项目。一些人工智能发展的框架性规则也逐渐形成。2019年6月，国家新一代AI治理专业委员会发布的《新一代人工智能治理原则——发展负责任的人工智能》，提出了和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理等八条原则。

  2.人工智能地方立法情况

  随着人工智能在社会各个领域的不断深度融合与快速发展，对传统法律体系、经济发展、社会治理都将产生深远影响，其丰富潜能带来的无限可能性也引发了各界担忧。例如，人脸识别应用、数据治理等。为此，在国家层面人工智能立法尚存缺失的情况下，国内一些地方除颁布了政策、规划规范人工智能产业发展外，[1]也在积极围绕人工智能相关领域出台或正在着手制定针对性立法，以防范由人工智能应用所带来的负面风险，同时规范该领域行业朝向健康有序发展。

  1）深圳

  深圳作为重要的科技创新城市，高度重视布局人工智能产业，人工智能产业发展位列全国前三。2020年国家发改委发布的《深圳建设中国特色社会主义先行示范区综合改革试点首批授权事项清单》显示，支持扩宽深圳经济特区立法空间，赋予深圳在人工智能、无人驾驶、大数据、生物医药、医疗健康、信息服务、个人破产等领域的先行先试权，支持深圳充分利用经济特区立法权进行探索。支持深圳在无人机管理等领域先行先试，并制定相应配套措施。

  按照深圳市人大2020年的立法计划，该市将前瞻加强人工智能领域立法，主动应对人工智能快速发展对政府监管方式、社会治理方式、社会伦理道德等带来的新挑战。近期已在进行中的立法项目包括：《深圳经济特区数据条例》《深圳经济特区智能网联汽车管理条例》等。其中，前者在国内首次提出数据权和深港澳数据融通机制；后者试图解决自动驾驶合法“上路”的问题，并建立起一套对应的道路安全行驶制度和事故责任赔偿与保险制度，其立法目的是为产业的发展保驾护航，引导技术进步，规避安全风险，而不是束缚技术创新，重点在于如何安全监管与产业发展如何平衡。

  2）天津

  天津市作为工业制造老牌城市，依托国家创新示范区核心平台，聚集了一定规模的人工智能高新技术企业，在投入智能型城市建设和发挥人工智能高新技术企业带动科技创新方面成果显著。

  为了保障人工智能产业健康发展，天津出台了关于大力发展智能科技产业推动智能经济发展建设智能社会的实施意见、加快推进智能科技产业发展总体行动计划以及智能制造、智能农业等十大专项行动计划，形成了“1+10”的方案体系。同时，在人工智能风险防范领域，天津市于2020年12月1日出台《天津市社会信用条例》，规定市场信用信息提供单位不得采集自然人的宗教信仰、血型、疾病和病史、生物识别信息以及法律、行政法规规定禁止采集的其他个人信息。这也是全国首个公开禁止采集人脸识别信息的法规。

  3）浙江

  浙江是数字经济和民营经济大省，浙江率先建设国家信息经济示范区，并获批国家首批数字经济创新发展试验区，浙江数字经济发展一直走在全国前列。在建设“数字浙江”的过程中，浙江率先推进数字经济地方立法，2020年12月，浙江省通过了《浙江省数字经济促进条例》，这是全国首部促进数字经济发展的地方性法规，该条例从数字基础设施、数据共享、数字产业化、产业数字化、治理数字化等方面对促进浙江数字经济高质量发展作出明确规定，并且规定要“支持云计算、大数据、人工智能、区块链等新兴科技在金融服务和金融监督管理领域的运用”。此外，正在审议中的《杭州市物业管理条例（修订草案）》明确规定，物业不得强制业主通过指纹、人脸识别等生物信息方式使用共用设施设备，保障业主对共用设施设备的正常使用权。

  （二）上海人工智能产业发展与规制现状分析

  1.上海人工智能产业发展情况

  人工智能是我国战略布局的重点方向，也是上海面向未来，发展新经济、培育新动能的关键所在。近年来，各类优势企业协同发展，微软、亚马逊、BAT、科大讯飞等行业领军企业纷纷在上海布局，商汤、寒武纪、云从、地平线、云知声、达阀等国内独角兽企业落地发展；依图、智臻、优刻得、深兰、乂学、流利说等本土企业加快成长；极链、图麟、西井、燧原、氪信、虎博等初创企业迅速壮大。初步形成了以徐汇、浦东为核心，杨浦、长宁、闵行、静安等区特色产业集聚发展的格局。上海产业基础良好，细分领域快速发展，具有智能芯片、传感器、机器人、智能硬件、智能无人系统、智能软件全产业链基础，已经形成较成熟的产业技术和商业模式，智能驾驶、智能机器人等领域达到全国领先水平。总体而言，上海打造国家人工智能高地建设成绩斐然，已经聚集了超过1100家行业重点企业，人工智能产业规模产值超过1400亿元人民币，拥有10万产业人才，领跑全国人工智能产业发展。但在调研中发现，在制度供给高地建设尤其是地方立法建设上相对滞后。人工智能是把双刃剑，在造福人类的同时，也会带来风险与挑战。因此，上海应立足打造人工智能高地的战略需求，进一步明确上海人工智能地方立法的基本思路，聚焦人工智能立法的重点，推进人工智能地方立法先行，并在某一领域率先突破，以法治（法律）引领、规范、保障人工智能安全、可靠、可控、健康发展。为人工智能全球治理提供上海“法治智慧”“法治方案”。

  当前，上海人工智能产业呈现出如下特征：

  一是企业集群优势显现，但缺乏本土龙头企业。上海培育了依图、深兰、图麟等一批人工智能领先企业，但与北京、深圳、杭州等城市相比，上海本土企业在数量和能级方面均不占优势，留给上海人工智能企业进一步发展的空间较为有限。北京拥有百度、京东、小米等互联网龙头企业；深圳拥有腾讯、华为、大疆等人工智能巨头；杭州拥有阿里巴巴等顶级平台，依托数据、算力等方面的优势，周边聚集了大量创新型中小企业，人工智能创新生态活跃。

  二是智慧应用加快落地，但仍处于示范探索阶段。上海在全国率先发布了两批人工智能应用场景建设实施计划。上海在 AI新技术、新产品的首发、首用方面形成标杆。国家有关部委和上海市政府启动建设上海国家新一代人工智能创新发展试验区，打造一批示范项目。上海依托全国首个人工智能创新应用先导区，致力于发展无人驾驶、AI+5G、智能机器人，AI+教育、AI+医疗、AI+工业等应用场景。建设中的马桥人工智能创新试验区，将成为未来上海AI场景落地的重要载体。目前，很多应用场景专业性强，解决方案的复杂性和定制化要求高，尚未形成统一规范的标准，“AI+”应用仍处于点状开花、相对零散的状态，难以形成规模价值。

  三是对传统产业赋能起步，但合作机制待完善。人工智能行业属于赋能型行业，对传统产业渗透是人工智能融合应用最具潜力的发展方向，特别是AI+制造业是提升生产力的重要途径，如特斯拉在上海建设超级工厂，将全面应用智能化和自动化生产技术。但受限于合作机制不畅，人工智能对上海产业经济和社会生活的赋能还存在巨大的未释放潜力。比如在AI+制造领域，目前人工智能主要应用在产品质检分拣和预测性维护等易于复制和推广的领域，更专业、个性化的应用进展缓慢。

  四是成熟专业技术人才流失，创新能力相对偏弱。与北京、深圳相比，上海人工智能领域最大的短板是创新能力。在专利产出方面，上海专利申请数占全国的7%，低于广东（20%）、北京（16%）、江苏（12%），居第４位，且与前3位差距较大。人工智能的核心是算法，算法的竞争归根结底是人才的竞争，从各城市人工智能人才占比来看，上海人工智能人才规模占比12.1%，不到北京的一半（28%）。上海的人才政策与全国其他省市相比没有优势，相比苏州、深圳、西安等城市，上海对人才缺乏温度。随着外省市人才政策的挤压，未来上海的人才优势可能进一步减弱，在吸引人才方面亟须增强紧迫感。

  五是行业发展环境优越，但风险投资不够活跃。上海致力于打造人工智能“上海高地”，着力优化发展环境。在顶层设计方面，上海不断完善和细化在人工智能领域的发展战略和政策，继《推动新一代人工智能发展的实施意见》之后，发布《关于加快推进上海人工智能高质量发展的实施办法》。上海作为世界闻名的金融中心，拥有聚焦人工智能创新孵化的空间载体，已成为推动人工智能产业投资基金组建运作的核心地区。企业普遍反映，上海具备极佳的发展环境，但在融资方面，上海人工智能行业融资金额与北京有较大差距，2015-2019上半年上海人工智能初创企业融资金额不足北京的一半，与上海人工智能产业创新能力不足、风险投资不活跃有关。

  2.上海人工智能的规制现状

  习近平在致2018世界人工智能大会的贺信中指出：“把握好这一发展机遇，处理好人工智能在法律、安全、就业、道德伦理和政府治理等方面提出的新课题。”上海强调在发展人工智能的同时，注重人工智能治理体系建设，防范人工智能可能带来的社会风险。在2020年7月9日召开的2020世界人工智能大会云端峰会上，上海市委书记李强就人工智能风险问题，特别强调：“更加重视应对人工智能发展带来的道德伦理、隐私保护、安全风险等问题，加快研究制定相关法规制度，让人工智能更好为人所用、为人服务。”这为今后上海进一步发展人工智能治理的制度规范指明了方向。

  上海正在积极建设人工智能“创新策源、应用示范、制度供给、人才集聚”四大高地。其中“制度供给”高地要求针对人工智能发展带来的新课题新挑战，加强相关法律法规、伦理道德和社会问题研究，建立健全人工智能技术标准、知识产权保护、风险评估和安全监管体系，在规则制定方面实现领先，提高规则的及时性有效性，促进人工智能健康、安全发展。为此，上海市目前主要通过出台多项政策和设置专门机构的方式来规范、引导人工智能产业发展。2017年11月，上海市人民政府印发《关于本市推动新一代人工智能发展的实施意见》；2018年上海再度发布《关于加快推进上海人工智能高质量发展的实施办法》；2019年在世界人工智能大会上，上海发布《关于建设人工智能上海高地构建一流创新生态行动方案》，对公共数据和人工智能法治标准和法治监管体系建设作出了要求；2019年5月，全国首个人工智能创新应用先导区在上海启动建设。科技部与上海市启动“上海国家新一代人工智能创新发展试验区”建设，“建立健全政策法规、伦理规范和治理体系”是其中的重要方面；2020年5月，上海市启动2020年度“科技创新行动计划”人工智能科技支撑专项项目，主要围绕强化人工智能领域科技创新策源能力、创新治理能力进行布局，这也是全国首次在省市级层面进行较大规模的引导布局；2020年，上海国家新一代人工智能创新发展试验区专家咨询委员会专门成立了人工智能治理工作组，并推出了《协同落实人工智能治理原则的行动建议》（上海AI治理协同行动9条）。

  《关于建设人工智能上海高地构建一流创新生态行动方案》对人工智能治理提出了要加强制度规范，率先出台公共数据开放管理办法，制定并落实各项配套机制，建立本市公共数据开放平台，大力推进公共数据开放等要求；要求推进法治标准基础环境建设，逐步建立人工智能风险评估和法治监管体系，在不同行业试点探索，形成人工智能细分领域行业规则和标准。除政策规划外，上海尚无专门针对人工智能的立法，相关立法包括：《上海市智能网联汽车道路测试管理办法(试行)》（2018年3月）；《上海市公共数据和一网通办管理办法》（2018年9月），专章规定公共数据的安全管理，通过风险评估、应急演练等措施着力防控人工智能时代数据安全风险；《上海市公共数据开放暂行办法》（2019年8月）；《上海市推进科技创新中心建设条例》（2020年1月），将人工智能、大数据等前沿科技的安全规制等问题凝练成条款。此外，2020年上海还启动了包括个人信息保护在内的有关信息安全的政府规章的立法活动。

  目前，上海人工智能已经进入全面布局、融合创新的快车道。相对于西方国家而言，上海总体上采取“政府+”为主的综合规制模式，即强调政府对人工智能的促进作用，通过政策法规、财政支持等手段大力促进人工智能产业群的聚集与发展；对人工智能驱动的商业模式采取默认许可态度，而对人工智能引发的公共问题、个人数据安全等议题保持立法关注但不采取严厉的监管措施。

  二、上海人工智能立法的必要性

  人工智能是一把双刃剑，随着人工智能融合发展、跨界发展的趋势日益凸显，风险和挑战也随之变得更趋复杂和广泛。开展人工智能立法，是新时代中国法治建设和立法实践的重大使命与责任。

  （一）立法是规范和保障人工智能发展的关键法治路径

  2021年是“十四五”规划的开局之年，人工智能作为中国经济转型升级以及占领全球科技创新制高点的重要抓手，在赋能人类和造福人类的同时，也带来了诸多风险和挑战，要想从根本上推动人工智能的蓬勃发展，必须要有法治保驾护航。从实践情况看，当前人工智能的发展，仍然存在诸多法治缺位的问题。例如，现有的法律概念和法律制度还不能适应和满足人工智能发展的需要。此外，一些人工智能具体领域的基础法律原则和规则缺位（如何区分这两个层次），将成为人工智能进一步发展的掣肘。要想在人工智能产业发展过程中实现趋利避害和扬长避短的目的，单纯依靠政府的行政方式远远不够，必须通过依法规范与治理的治本之策。可以说，只有通过完善的法治设计加强引导和规范，将法治思维融入人工智能产业推进的全流程，才能保证其在实践环境中实现健康良性发展。

  “立善法于天下则天下治”，“经济社会发展的步伐行进到哪里，立法就应跟进到哪里”。立法不仅仅是对国家经济社会发展实况和运行规律的客观反映和真实记录，还应体现对经济社会行为的引领与规范，科学立法源于客观事实，更应科学有效地预测和回应经济社会运行的方向和各类风险。实现人工智能法治首先要从法治运行的首要环节即立法入手，因为立法不仅是规范保障人工智能发展的关键法治路径，而且立法理应是各类法治活动展开的逻辑起点和行为基础。具体而言，建立与人工智能创新发展相适应的立法规范和法律体系，将有助于形成人工智能安全评估、风险防控法律机制，提升技术规则、应用规则的管控能力，使人工智能配套的规则体系更具针对性、系统性、权威性，从而推动良法善治，促使人工智能安全、有序、健康发展。

  （二）上海建设人工智能高地需要前瞻性的法规制度体系

  上海是中国人工智能发展最领先地区之一。李强书记指出，上海发展人工智能，具有良好的基础和条件，包括优秀的科教资源优势、丰富的感知系统和应用场景优势、海量的数据优势、新一代的基础设施优势。依托上述自身优势，上海未来将加快建设人工智能发展的创新策源高地、应用示范高地、制度供给高地、人才集聚高地等四大高地。

  目前，虽然人工智能在全球范围内正处于蓬勃发展之中，但其产业发展面临着激烈的争夺局面，特别是有关技术之争、数据之争和人才之争。面对愈发激烈的国际竞争，上海除了需要不断深化应用场景和数据流以提升人工智能产业发展的引领优势，更需要按照建设人工智能“制度供给高地”的目标规划，进一步加强人工智能领域的相关立法，特别是在海上无人船舶、智慧城市、智慧医疗等前沿优势领域树立起属于中国上海的治理规则标杆，努力争取人工智能领域国际规则制定的话语权。换言之，从中国人工智能法治建设的全球视野和长远视野来看，如果上海率先制定了具有前瞻性的法规制度体系，不仅能够助推国家层面立法出台，而且可以带动并引领未来国际法规则制定，并为上海打造人工智能高地建立起制度护栏和走向世界的规则武器，让中国人工智能法治建设为人类的科技进步和人工智能全球治理贡献更多中国智慧。

  （三）上海人工智能产业实践需要立法提供边界指引

  目前上海已经聚集超过1100家行业重点企业，人工智能产业规模产值超过1400亿元人民币，聚集10万产业人才。在计算机视觉、智能芯片、互联网、智能设备、大数据和云计算、智能教育等23个人工智能产业细分领域培育和引进了龙头企业。例如，依图、深兰、合合、携程、喜马拉雅等。当前人工智能产业实践处于飞速发展期，各个子领域新兴技术层出不穷，但本课题组从前期的走访调研中发现，许多总部在上海的公司，包括一些头部企业，对于未来上海出台人工智能相关立法的需求是尽早划定人工智能应用落地和产业发展的大致合法界限，即哪些人工智能领域、产品等属于未来可能会于法不符或受到新法的不利影响。这是由于目前国家层面对于人工智能尚缺少专门立法，使得该领域的部分产品和应用一直处于粗放生长状态，甚至游走在法治的灰色地带。一方面，这种无序状态容易造成“劣币驱逐良币”现象，特别是使得一些优质的初创企业受到不利影响；另一方面，立法的缺失也使得人工智能企业担心未来其产品技术和经营发展方向是否会突然为法律法规所限制。

  在此背景下，为人工智能产业发展划定合法边界，坚持配套立法先行，是规范该行业发展、降低风险发生概率，引导人工智能向安全可控的方向发展的应然选择。上海当下需要建立起基本的人工智能立法原则框架，给予人工智能产业合适的发展空间，同时又为其设定必要的底线、红线，让企业明确其合法经营的范围。

  （四）人工智能负面风险亟待立法回应

  人工智能技术及产业在高速发展过程中带来现实和（或）预期的丰厚收益的同时，亦产生了一系列有关权利、竞争、安全及伦理层面的法律风险问题。譬如在权利层面，商业场景中的个人数据的确权、赋权、限权、权利行使与救济问题，以及人工智能生成成果的知识产权归属及法律保护问题等；在竞争层面，优势人工智能企业利用数据优势或支配地位，经由算法歧视或（和）算法共谋等对市场竞争秩序、用户权益以及第三方中小企业创新带来的数据封锁、算法滥用等问题；在安全层面，人工智能技术本身的不确定性带来的风险以及技术应用中存在的潜在风险等；在伦理层面，人工智能主体的法律地位，特别是在强人工智能、超人工智能阶段如电子人等新型主体的法律定位等问题都亟待通过科学合理的法律制度的设定予以明确和规范。质言之，要有效应对上述所提及的因人工智能产业快速发展而带来的安全失控、法律失准、道德失范、伦理失常、隐私失密等风险，需要立法者及时作出回应。在支持鼓励人工智能应用发展的同时，就人机共存下的伦理规则、隐私保护、信息安全等等方面，划定基本底线。

  有观点指出：“在目前这个阶段，我国不会针对人工智能进行体系化的立法，试图为技术发展留下足够广阔的想象力空间。只有在自动驾驶等技术发展已经相对成熟、产品亟待进入市场的应用领域，才会尝试进行地方性、试验性的立法。”诚然，立法者不会也不宜在当前阶段全面介入人工智能领域，但要实现国务院规划中关于人工智能法律体系的构建目标，相关立法并非一定要等到自动驾驶等人工智能技术相对成熟或产品进入市场应用领域时才启动。上海要想打造全国乃至全球人工智能高地，就必须第一时间针对伴随人工智能快速发展而产生的诸项风险进行主动回应，包括使已经在发展实践中出现的问题尽早得到立法规制，以及对具有潜在风险的问题提前进行立法防范，也为今后上海和国家建成更加完善的人工智能法律法规体系积累经验和奠定基础。

  总之，人工智能立法作为事关未来科技和科技未来的基础立法，其发展的每一步都牵动着各国和地方政府、社会及每一个体的注意力，尤其是在大国竞相角力、科技迭代加剧、信息传播快速、思想多元交融的当下，所谓“兵贵神速”，谁能在促进人工智能快速稳定发展的基础上夺得先机，谁就能占据未来发展的制高点，取得未来空间的话语权。

  三、上海人工智能立法的可行性

  人工智能属于正在发展中的技术集合，目前人类还不能说对这类技术已经完全了解并掌握，科学和实践上的不确定性使得针对人工智能的立法难度要远高于传统立法项目。但就现有立法条件和水平来看，上海有能力在人工智能立法方面成为领跑者，走在全国前列，为其他地方树立标杆。

  （一）现有政策与规划可为上海立法提供方向指引

  现阶段，人工智能技术及产业在实践中已大量开花结果。为了加强我国人工智能发展更具全球竞争力，同时引导该领域实现健康良性发展，中央和上海围绕人工智能发展都发布一系列指导政策与系统规划。这些文件能够为上海实施人工智能立法提供重要的方向指引。

  按照2017 年国务院印发的《新一代人工智能发展规划》，我国人工智能发展的战略目标分三步走，立法和法律体系的建设目标在三个阶段中也分别有着不同的表述。其中，第一步即到2020 年目标为“部分领域的人工智能伦理规范和政策法规初步建立”；第二步即到2025 年目标为“初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”；第三步即到2030 年目标为“建成更加完善的人工智能法律法规、伦理规范和政策体系”。《法治中国建设规划（2020－2025年）》明确提出，加强信息技术领域立法，及时跟进研究数字经济、互联网金融、人工智能、大数据、云计算等相关法律制度，抓紧补齐短板。此外，《新一代人工智能治理原则——发展负责任的人工智能》提出了人工智能治理的框架和行动指南，为后续相关立法明确了重点方向。例如，要“发展负责任的人工智能”，人工智能治理要实现“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理”。具体在数据获取、算法设计、技术开发、产品研发和应用过程中应该消除偏见和歧视。加强人工智能教育及科普，促进共享发展，避免数据与平台垄断。在安全可控方面，人工智能系统要逐步实现可审核、可监督、可追溯、可信赖，提高鲁棒性及抗干扰性等。

  上海经信委印发的《关于建设人工智能上海高地构建一流创新生态的行

  动方案（2019-2021年）》将“推进法治基础环境”作为今后本地人工智能的重点发展方向；并提出要加强制度规范，率先出台公共数据开放管理办法，制定并落实各项配套机制等具体意见。这为今后上海进一步制定人工智能治理的制度规范指明了方向。相关政策还包括《关于本市推动新一代人工智能发展的实施意见》《关于加快推进上海人工智能高质量发展的实施办法》等。

  （二）上海人工智能规制探索实践为立法奠定基础

  如上所述，当前上海已经在规制人工智能领域投入了较多的资源。除了出台相关政策和设立专门机构外，还通过财政支持等手段大力促进人工智能产业群的聚集与发展；对人工智能驱动的商业模式采取默认许可态度，而对人工智能引发的公共问题、个人数据安全等议题保持立法关注，但不采取严厉的监管措施。

  概言之，上海在对人工智能实施规制的过程中整体采取谨慎态度，逐步构建风险防控框架。例如，《上海市公共数据和一网通办管理办法》专章规定公共数据的安全管理，通过风险评估、应急演练等措施着力防控人工智能时代数据安全风险。化整为零，迅速推进多方主体参与治理，综合利用多方资源。上海市政府近年来通过世界人工智能大会、中国国际工业博览会等国内外大型会展搭建对话平台，邀请企业、科研、法律等各界人士参与人工智能规制模式的构建，探索人工智能产业发展与治理路径，特别是其法治论坛为人工智能治理提供法律方面的智识支持。同时，还和各方开展合作，在人工智能治理方案措施的具体实施过程中获得各方诸多助力。

  可以说，上海已经初步形成了规制人工智能的基本思路，虽然这一思路和做法尚未成熟，但是这些规制探索实践都为下一阶段的立法积累了宝贵的经验。

  （三）大量国内外人工智能的相关立法经验可供借鉴

  受人工智能迅猛发展所带来的风险影响，近些年有关技术领先国家已经对自动驾驶、智能金融、智能医疗等人工智能细分领域开展了有益的立法探索与实践，以对其进行规制和引导，但人工智能技术的特殊性也为法律的细化和落地带来诸多挑战，相关经验和教训可为上海的人工智能立法铺路。例如，2016年，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议的报告草案》和《欧盟机器人民事法律规则》；2018年欧盟出台《通用数据保护条例》；2020年底，欧盟推出《数字服务法》提案和《数字市场法》提案，对打破互联网科技巨头垄断、促进欧洲数字创新及经济发展等深层问题作出了回应。同样，2017年底，美国国会提出两党议案“人工智能未来法案”，为人工智能的深入发展和应用做准备并对其潜在负面影响进行前瞻性思考；2019年，美国国会提出《算法问责法案》。而在美国各州层面，已经出台了大量人工智能细分领域的州立法，如加州《人脸识别法》和《消费者隐私法案》、马萨诸塞州剑桥市《监视技术条例》、伊利诺伊州《人工智能视频采访法》等。

  近三年国内部分省市也在特定的人工智能领域进行相应的立法实践。其中，立法动作较快的包括：北京、深圳、浙江、天津等。2017年，工业和信息化部开始就《智能网联汽车公共道路适应性验证管理规范（试行）》初稿组织业界和专家讨论。2017年，《北京市关于加快推进自动驾驶车辆道路测试有关工作的指导意见（试行）》和《北京市自动驾驶车辆道路测试管理实施细则（试行）》发布。2020年，深圳正在酝酿中的《深圳经济特区数据条例（征求意见稿）》《深圳经济特区智能网联汽车管理条例》。浙江已出台的《浙江省数字经济促进条例》等。上述来自国内的地方立法实践是上海顺利开展人工智能地方立法重要的横向借鉴来源。

  （四）优质的第三方立法力量提供智力支持

  上海是华东地区法治研究、法学教育、法律实践的重镇，拥有大量优质的法学法律人才和机构，他们一直以来都在积极服务上海的法治建设。人工智能立法具有较强的跨学科属性，整体立法难度较大，而且当前地方人大面临着越来越繁重的立法任务，第三方立法力量的加入，不仅可以加快立法进程，改变立法滞后现状，而且也能有效遏制部门公权力滥用。

  具体而言，目前上海已有多家高校、科研院所针对人工智能法治问题成立了研究队伍和机构，并且在相关领域产出了较多人工智能法治研究成果。例如，世界人工智能大会法治论坛连续两年发布《世界人工智能法治蓝皮书》，较全面地搜集、汇总、分析了中国乃至世界人工智能法治发展状况，被列为上海构建人工智能一流创新生态“七大行动”之一，得到充分肯定。上海政法学院人工智能法学院作为全国首家正式招收人工智能法学专业本科生的法学院，不仅专门成立了人工智能法律实验室，积极围绕人工智能法治展开科研、教学工作，而且还同科大讯飞、上海市高院等单位进行产学研合作，并多次承办世界人工智能大会法治青年论坛，在人工智能法治实践、理论领域积累丰富的经验。此外，上海许多人工智能头部企业也愿意且能够为本地人工智能立法出谋划策，提供立法建议。总之，上述来自不同领域的第三方优质力量可以为上海人工智能立法创造独特的价值，使之更具科学性、合理性与操作性。

  四、上海人工智能立法的实施路径

  上海的人工智能立法是一项复杂的系统工程，在行动之前需要仔细做好整体规划和部署，明确立法重点和实施方案，同时，为使立法过程顺利进行，还应提供必要的保障措施。

  （一）上海人工智能立法的总体方针

  由于目前我国国家和地方层面尚未出台统一的人工智能立法，人工智能规则散见在部分法律及近年来发布的系列政策文件中。国家的法律涉及信息安全、隐私保护等领域，国家的政策文件既涉及人工智能相关行动实施方案、发展规划、治理原则等总揽性领域，也关注教育、环境、智能汽车等细分场景领域。上海现有的人工智能规制政策文件则主要集中于产业发展、细分场景及试验区建设等方面。

  基于上述背景，未来上海人工智能立法应遵循以下实施主线：

  1.立法原则及定位——底线思维与促进创新

  目前，人工智能尚处于发展之中，其技术阶段仍然停留在弱人工智能时代，这意味着人工智能及其相关应用在科学上的不确定性和黑箱性会使立法者难以准确预测因人工智能发展而产生的全部风险和不利后果，反映到具体立法问题上便是针对人工智能的法律规制应当如何展开——以何种形式，以何种程度，采取何种立法定位等。

  对此，结合上海人工智能高地建设和相关产业发展实际情况，上海人工智能立法应当一方面保留足够的弹性与包容度，防止公权力对技术创新的不当干预和不必要的介入。换言之，就是需要结合上海的环境治理、产业发展实际，兼顾满足创新促进和风险防范（权利保护）的双重需求。而且在现阶段，需以促为主，避免对技术创新和产业发展形成掣肘；同时，采取多元化方式防范由技术创新带来的风险。

  另一方面，在适度宽松的规制模式取向下严守监管底线，有效预防风险。具体包括：（一）伦理底线。尊重伦理是人工智能技术研发和应用的底线，应将相关治理提前到算法设计阶段，同时在人工智能产品适用阶段施加良性规制，防止不符合人类伦理的人工智能产品的实际应用。（二）隐私权保护底线。知情同意、收集必要性已成为收集数据必须遵循的共识性原则，但仍需通过具体化的场景对技术和算法的应用进行规制。比如，在数据收集阶段设立隐私协议合规审查制度；在数据利用阶段加强对影响杀熟程度较高的数据的管制等。（三）信息安全底线。数据是人工智能的基本资料。在坚守信息安全底线方面，需要从宏观层面设立共通的安全标准以作为人机共存社会的治理底线，着重保障社会安全、社会公平和社会效率。

  2.立法权限及路径——争取授权与立足实际

  通常，地方立法是在上位法之下进行创设。虽然，国家层面的人工智能立法建设正在逐步推进中，但相对于各地人工智能的发展速度而言一定是存在滞后性的，一些风险与规制问题也亟待解决，这种现象与全国人大及其常委会的立法工作程序、效率等多重因素有关。因此，在人工智能地方立法实施上，地方立法不能被动等待国家相关立法出台而后动，相反诸如上海等人工智能产业集聚地区和前沿高地，相关需求、问题、立法水平都较为突出，是人工智能地方立法的一线，上海的立法机关需要把握时机进行先行先试。

  目前，上海人工智能立法主体包括市人大及其常委会、市政府，从广义角度来看，还可扩展至市政府相关职能部门。根据各主体所具有的不同立法权限可知，上海在人工智能领域的立法可以采取地方性法规、地方政府规章和规范性文件等不同形式，而具体选择何种立法形式，则需结合本市人工智能发展实际和规制需求来决定，并非任何时候都以地方性法规为宜，具体将在下节分析。在立法路径方面，人工智能立法的基本点是作为科技立法大体系之下的特别立法，既需要嵌入到现有法规范体系之中，又需要在内容方面进行创设和调整。其中一些立法事项缺少上位法依据但又亟需立法有所回应，如数据权属及流转、人工智能的法律责任等。为此，上海人工智能立法需要两条腿走路，一是要立足实际，在有限的立法空间内探索创新路径，二是还需要向上积极争取全国人大常委会的立法授权，以获得更大空间内的立法正当性。

  3.立法进度安排——重点先行与系统完善

  上海关于人工智能立法过程应遵循问题导向、实践需求、分层次推进的策略，即重点具体领域先行立法，最终实现系统完善的人工智能立法布局，越是在实践中有迫切立法需求和技术风险溢出现象的领域，越是需要尽快实施立法。在人工智能总体立法尚未建成的情况下，具体哪个应用领域先成熟、则先出台立法，先易后难，逐步形成体系。这也是地方立法的灵活性所在。如果立法条件尚不成熟，可以考虑通过政府部门发布行业指南的形式对人工智能发展加以引导和规范，为后续正式立法积累经验和实践成果。换言之，立法应循序渐进，顶层设定原则宜宽不宜细，前期可分行业制定，用公约、指导性政策等加以约束。对于目前尚在发育中的人工智能应用项目，考虑到未来可能有所突破，也要加强先期理论和立法研究。

  4.立法模式选择——分别立法先行探索全面规制

  上海人工智能立法过程可以通过分别立法，先行探索对人工智能的全面调整。考虑到各种各样的人工智能体的社会存在样态和应用场景，目前可能更适宜进行分别立法。原因是人工智能的技术尚处于不断进步的阶段，人们对于人工智能的认识也仍然有限，尚无条件进行统一立法。采取分别立法路径，先就最为突出的问题进行立法规制。比如，针对自动驾驶汽车进行专门立法。但未来可能会出现某种统一人工智能法典，为人工智能提供总体的标准和原则。我们有充足的理由为未来人工智能统一立法进行系列的准备，上海应在人工智能具体法律规则制定或者法律原则性引领方面做出领先尝试，从而更为有效地引导人工智能的积极发展。

  （二）上海人工智能立法的重点场域

  1.人脸识别领域

  人脸识别是人工智能落地应用最为全面的领域之一，目前许多行业、部门都将人脸识别技术作为提升效率“安全”，改善体验的重要工具。但是，人脸具有独特性、直接识别性、方便性、不可更改性、变化性、易采集性、不可匿名性、多维性，这些特征直接决定了人脸识别技术具有复杂性，而现实中很多收集人脸的机构并不具备相应的风险防控、安全保障能力、组织和机制。换言之，人脸作为生物识别的一种，具备唯一性，一旦发生信息泄露，风险很大。随着仿真头套、全息投影、人脸跟踪等技术的发展，未来人脸识别攻击的成本将大大降低，公民数据、信息、隐私等被侵犯现象将大量发生，给社会安全、数据安全带来严峻挑战。

  考虑人脸识别的“负外部效应”正在显现，数据收集的原则是怎样的？对隐私数据是否应该限于必要部分？等等。在此背景下，对人脸识别技术应用进行规范，需要及早提上立法议事日程。

  2.无人驾驶领域

  随着自动驾驶技术长足发展，自动驾驶汽车商用化渐成趋势，对自动驾驶伦理、法律与社会问题的研究层出不穷。上海有着众多先进汽车制造商，其中不乏无人驾驶领域的佼佼者，如特斯拉、上汽等，而且上海已有20家企业78辆无人车获道路测试牌照。为有效应对有关风险，立法者需要尽快将自动驾驶车辆纳入立法，完善相关的驾驶许可和质量管理制度、道路安全行驶制度、致损责任赔偿与保险制度等，以使这一蓬勃发展的技术在安全区内进一步发展。

  3.数据治理领域

  数据是国家基础性战略资源，加快大数据产业发展，深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。随着国务院《促进大数据发展行动纲要》、工信部《大数据产业发展规划（2016－2020年）》等相关纲领性文件陆续出台，大数据已经提升为国家战略。习近平总书记强调，要切实保障国家数据安全，要加强关键信息基础设施安全保护，强化国家关键数据资源保护能力，增强数据安全预警和溯源能力，要加强政策、监管、法律的统筹协调，加快法规制度建设，要制定数据资源确权、开放、流通、交易相关制度，完善数据产权保护制度。因此，数据治理立法工作势在必行。

  针对数据治理专题，上海目前已经初步制定了《上海市公共数据和一网通办管理办法》《上海市公共数据开放暂行办法》《上海市推进科技创新中心建设条例》等数据相关立法，特别是在政府数据开放和共享领域已经迈出了第一步，未来还需及时推进立法权限内的相关立法，让上海的数据治理立法领域有一个更加完善、科学的体系性框架，为上海大数据发展提供更为坚实有力的法治保障。

  4.医疗人工智能领域

  健康医疗是人工智能较早发展应用且前景十分明朗的领域之一，目前医疗AI在辅助诊断、治疗、药物研发、健康管理、医院管理等方面都有较广泛的应用。目前，有关技术虽然已经成熟但难以实际推广应用，其原因在于我国相关立法仍然不够健全，对其进一步落地发展造成了阻碍。

  例如，机器人技术在医学领域发挥着越来越重要的作用，然而医疗机器人的异常行为会引起相应的事故。因此，随着医疗机器人的引入，追究医疗机器人责任的相关法律规范也应跟上步伐。它必须考虑到包括病人、医疗专业人员、开发人员和法律专家在内的各种角色，以确保病人的安全和卫生专业人员在这个开创性的领域得到充分的支持。

  5．算法（黑箱）治理

  算法是人工智能系统运行的核心要素，决定了人工智能系统运行的逻辑与效率。人工智能不断嵌入这一平台生产方式，逐渐形成了以智能合约为核心的一整套自动运行系统，收集用户活动形成的数据并通过算法挖掘预测，不断加强基础服务使服务流程更加自动化和便利，从而形成有效闭环。人工智能致害的成因主要包括算法致害与平台致害，有关人工智能治理应重视算法治理。

  算法本身进行管控的尝试，包括算法设计过程的伦理规则、安全性审查标准、针对代码的备案制等。首先，通过对AI分级来判断人机交互的程度和责任分担。其次，在判断软件侵权行为时对算法设计的初衷和用途实质进行判断，以决定是否彻底禁止该软件。再次，信息披露与共享。又次，监管合同。最后，关注数据的清洁性。相关立法过程中应重视人工智能算法监管的具体制度，如算法决策可解释性、算法设计缺陷防范、算法认证、算法查验和算法问责等。

  （三）上海人工智能立法的实施保障建议

  1.市人大统筹推进人工智能地方立法项目

  现阶段，人工智能立法需求已迫在眉睫，考虑到人工智能相关立法专业性强、涉及利益面广、实操难度大等特点，上海可以参考制定《中国(上海)自由贸易试验区条例》《上海市推进科技创新中心建设条例》的经验，建议由市人大常委会在具体立法立项时提前牵头/介入，协调专业立法力量统筹推进，在立法过程中督促指导法规起草单位和审核单位加快起草、调研、修改、审核的进度，确保相关法规草案按时提请审议。

  2.成立人工智能立法研究推进专门工作机构

  上海的人工智能企业比较集中，人工智能法学研究起步较早，力量较为雄厚，如上海市法学会整合各高校、政法单位、科技企业的资源，成立了“人工智能法治研究会”“互联网司法研究会”，上海政法学院成立了全国首家“人工智能法学院”并招收本科生。这些单位和机构的人工智能法治人才、技术人才，可以成为重要的立法资源。为此建议，在此基础上，由相关部门授权、交办成立人工智能立法研究推进专门工作机构，依托现有专业机构，集聚多元主体智慧，专门研究推进人工智能地方立法工作。

  3.采取“总-分-总”的步骤实施人工智能地方立法工作

  由于人工智能的技术发展远未成熟，人工智能立法很难一蹴而就。上海采取“总-分-总”的步骤实施人工智能立法较为可行。即第一步，制定人工智能立法的总体框架和规则设计，形成“上海人工智能产业发展规则指引”；第二步，发挥上海的技术、产业、人才优势，加快人脸识别、无人驾驶、数据治理、智慧医疗、算法（黑箱）治理等领域的立法。这些领域的技术，上海目前处于全国领先地位，但如果规则制定跟不上，人工智能高地建设的制度供给可能成为制约发展的“短板”；第三步，在汇聚上述立法经验的基础上，应加快形成较为成熟的促进上海人工智能产业发展的条例。

  4.积极借鉴国内外相关立法经验

  当前，北京、深圳、天津、浙江等地的人工智能立法取得了一定进展，欧美国家在自动驾驶、人脸识别、智慧医疗等领域已有一定的立法积累和实践案例可供参考，例如，欧盟制定的《通用数据保护条例》目前已经成为许多国家实施数据立法时的重要参考。因此，上海在推进人工智能地方立法、打造“制度高地”的过程中，应以国际化视野加强相关国际合作，力争在赢得广泛共识的基础上领跑国际规则，掌握国际话语权。

  编后语：21世纪后的人工智能正在改变甚至颠覆着人类的生产生活方式，人工智能已成为当下最引人关注的新科技主题，其中重要原因之一就是，它已对既有的法律制度和规则、伦理道德、社会秩序等构成了巨大的冲击。本课题从人工智能国家政策与立法动向切入，梳理了人工智能地方立法的背景与现状，接着研究了上海人工智能立法的可行性，在此基础上进一步提出了上海人工智能立法的总体方针，即立法原则方面应遵循底线思维，同时兼顾促进创新，立法权限方面应争取授权同时立足实际，立法进度安排上宜重点先行同时兼顾系统完善。最后提出了上海人工智能立法的重点领域以及立法的实施保障建议。本课题报告兼具前瞻性、实践性和可操作性，对于上海的人工智能立法具有较强的参考意义。

  课题负责人简介：

  杨华，上海政法学院人工智能法学院院长、教授。

  （责任编辑:史莉莉核稿:陈书笋）

  [1]据初步统计，截至2020年全国已有20余个省级行政区出台人工智能产业相关政策。这些政策和规划都将助推人工智能市场规模快速扩展，并且帮助中国成为世界最大的人工智能技术应用市场之一。