人机物融合时代的智能软件系统：挑战与展望 | CCCF精选

随着计算机、网络通信和人工智能技术的快速发展，人类社会（人）、信息空间（机）、物理世界（物）之间的相互渗透不断加速，我们正在进入一个“人机物”三元融合的万物智能互联时代。软件“定义一切”是融合人机物的关键。这一发展趋势给计算机软件学科带来了巨大的发展空间和急迫的挑战。这一挑战使软件的特征需求、系统形态、构造方法、运行支撑和可信保障等软件方法技术体系的基础方面均受到了巨大的冲击。在此背景下，中国计算机学会（CCF）于2023年6月2~4日组织了第二期秀湖会议，邀请了24位学术界和产业界的专家学者就此进行集中研讨，以期通过思想碰撞，涌现新知，进而梳理脉络，凝聚共识，推进相关领域的研究和创新。

会议围绕“领域需求：新场景与新应用”“开发方法：新能力与新范式”“系统软件：新抽象与新机制”“‘人元’‘智元’‘物元’问题”四个主题进行研讨。前三个主题代表软件学科的不同视角，第四个主题聚焦人机物融合智能应用的特征需求。本文总结梳理了第二期CCF秀湖会议交流产生的对人机物融合时代智能软件系统之技术挑战的认识、已有的一些探索与进展以及下一步发展的思路，同时努力呈现与会者的不同观点。需要说明的是，文中所列内容是整理者根据会议内容并结合自己的理解整理完成的，仅供学术交流；若有错讹不当之处，当归咎于整理者。

人机物三元融合¹ 已成为一个“热词”，但其技术内涵却并不明晰。从软件技术的角度看，人机物三元融合系统以软件定义的手段，泛在接入并抽象封装人、机、物三类客体，进而在其上通过机理驱动的编程和数据驱动的学习实现系统功能，为用户提供自然、智能²的服务。

• 所谓“软件定义”(Software Defined Everything，SDx)，不仅指有效支撑感知、传输、存储、学习、分析、决策、控制等环节的“软件化”技术，也指以软件为中心进行系统构造与演化，从而帮助驾驭系统复杂性的方法论。在实现上，软件定义的方法通过一个软件层，向下管理各类异构资源，封装其运作细节，向上以一致的抽象提供可编程定制的能力和服务。

• 所谓“人”，即系统中的人类对象，既包含作为服务对象的系统用户，也包含某些接收指令或受激励驱动而提供服务的人类，例如快递员。即使是系统用户，也可能以人在环中(human-in-the-loop)或人在环上(human-on-the-loop)的形式参与到系统工作中，例如司机接管自动驾驶。

• 所谓“机”，即系统中的计算平台，包括相关的数据存储与通信网络，也包括其上的各种软件服务。三元融合系统常常利用涵盖云-边-端的计算能力，提供无处不在而又无迹可寻的泛在服务。随着机器学习技术的进步，学习设施和学得的模型日益成为三元融合系统中提供智能的重要部件。

• 所谓“物”，即系统中可感知的物理对象与可控制的物理设备。软件视角下的物不仅是感知数据的来源和控制命令的受体，还包括通过数字孪生等手段在软件世界建模的抽象体。跨学科领域的统一建模是其中的一个工程难点。例如，自动驾驶系统中对车的建模不仅涉及空间定位、路径规划，还包括车的动力学行为、能耗特性乃至座舱状态等。

人机物三元融合的应用遍布多个领域。从智能机器人、智能汽车，到智能制造、智慧医疗，再到社交网络赋能的智慧城市、数字生活，各类具有三元融合特性的应用均以前所未有的速度蓬勃发展。除了可能涉及大量、异构的物理设备和计算资源之外，从软件需求的视角看，较之传统应用，人机物三元融合应用呈现的新特征，包括：

• 更自主的系统行为。20多年来学术界和工业界一直关注如何提升软件系统的自适应能力，当前开放场景下的机器人、自动驾驶等三元融合系统对其提出了更高的要求：能够主动感知并理解更加动态开放、不可预测的环境，有能力在面对相互冲突的目标时迅速做出合乎人类理性的决策。

• 更紧密地与人交互。三元融合系统需要以更自然、直觉的方式与未受专门培训的用户进行交互，还需要具有主动识别未显式表达的用户意图的能力。在自主系统中，无论是人在环中，还是人在环上，均需要针对人的行为特点进行设计。

• 更广泛地嵌入社会。许多三元融合系统接入了社交网络、电子支付等数字社会基础设施，而智慧交通、智慧城市等领域的三元融合系统更直接地介入社会物理运行，因此要在实现应用价值的同时确保其向善的社会责任。如何架构能够嵌入社会的系统是未来软件工程研究的一个重要课题。

在三元融合系统中，软件不仅负责信息处理、计算与存储，承载感知、传输和控制逻辑，还要充当系统的“万能集成器”，实现应用价值。复杂的大规模三元融合系统还日益呈现出“系统之系统”的特性。这就要求从系统、形态、质量和生态等方面重新考察软件工程方法技术体系。从如何规约、分析、构造和运维三元融合系统的角度看，迫切需要研究：

• 跨领域建模分析。三元融合系统跨越物理世界、信息世界和人类社会三个不同领域，可能涉及计算机、控制、机械、心理、社会等多个学科，亟须研究如何弥合多学科在建模语言、建模方法、验证方法、生命周期等方面的鸿沟，提供一致、严格的系统级建模分析乃至自动化支持。

• 数据机理双驱动。数据驱动的机器学习为难以刻画的环境规律及系统行为提供了新的建模途径。它也用于处理那些虽然可由物理规律刻画但由于过于复杂而无法有效求解的系统模型。数据机理双驱动的建模与预测将成为复杂三元融合系统构建的技术趋势。如何对基于机器学习模型，特别是深度神经网络模型的新型软件构件进行规约、组合、复用等，是亟待研究的问题。

• 智能化软件开发。三元融合系统的广泛应用使得对高质量、个性化软件的需求迅速增长。传统以人工为主的开发方式难以实现充分、迅捷的软件供给。机器学习，特别是近期生成式人工智能和大模型技术的发展，有望为软件开发带来变革性的突破。如何基于大模型的内容生成能力开发与演化高质量的软件系统是当前备受关注的问题。

支撑三元融合应用的构造、运行和演化的系统软件层，或可类比于传统操作系统的“泛在操作系统”(Ubiquitous Operating System，UOS)，是一类正在孕育过程中、支持软件定义的新型基础软件。不同于传统操作系统，UOS呈现多层级的形态特征，包括泛在节点嵌入系统、云边端分布集成系统和动态联盟的“系统之系统”。这方面的挑战包括：

• 场景化抽象。如同传统操作系统为应用提供一个“更易用计算机”抽象，UOS需要为三元融合应用提供涵盖感知-判断-计划-执行、面向应用领域场景的计算抽象。研究者需要研究以何种“元级化”(meta-programming)机制实现这种场景定义。

• 广泛的能力。泛在操作系统需要提供海量异构设备的接入与抽象能力、实现智能行为所需的学习和推理能力、更为自然的人机交互和意图感知能力、支撑软件自适应和持续演化的可成长能力、在开放环境中保障自身和其上应用的信息安全与功能安全的能力等。

·包容的架构。在逻辑架构上，在设备、用户和服务等实体抽象的基础上，还要提供数字孪生模型和机器学习特征模型等高层抽象；在部署架构上，需要支持云-边-端融合和系统动态联盟；在生态架构上，要为三元融合软硬件生态建立控制基点，便于跨域泛在系统软件供应链的整合。

多位来自工业界的专家报告交流了各自业务领域中三元融合系统研究与开发方面的探索与思考。

关于智能机器人，达闼机器人公司董事长兼CEO黄晓庆分享了达闼在建设“云端机器人国家新一代人工智能开放创新平台”方面的探索。达闼实现了机器人本体在现场感知和执行，通过高速安全专网连接“云端大脑”和本体，从而构成一个云-网-端融合的，云计算、边计算、端计算协同的智能机器人架构，为机器人设计、开发、训练、运营赋能。中山大学教授黄凯结合其研发实践，讨论了面向机器人开发的软件工具链在提升机器人研发效能中的重要作用。

关于智能网联汽车，国家智能网联汽车创新中心副主任张文杰提出，基于车路云一体化计算和互联，实现一体化感知、一体化决策规划和一体化控制，车路协同自动驾驶是自动驾驶的高阶发展形态和必然趋势。这一系统架构与泛在操作系统在理念上不谋而合、在技术上相通相容。

关于智慧城市，特斯联科技集团高级副总裁刘斌介绍了面向楼、社、园、城各级场景的泛在智能城市操作系统TacOS的构造与应用情况，重点讨论了通过对楼宇、社区、园区、城区等典型物理空间进行抽象建模，实现从物理空间到数字空间的全时、全域、全量数字化过程。

关于移动计算，荣耀终端解决方案设计与开发部部长卢海生分析了当前安卓操作系统在用户意图识别、设备互通以及应用互联方面存在的不足，介绍了荣耀手机操作系统以智能化与设备能力解构再重构为核心手段，构建了从系统到人的感知学习能力，打通了设备间、应用间的边界。

关于可触计算，北京航空航天大学教授王党校展示了可触计算在物理建模、交互时延等方面的挑战与研究进展，介绍了触觉交互模式在自闭症儿童陪伴、中医脉搏诊断以及触觉元宇宙等领域的应用，展望了通过创造机器触觉的方式引领新的人机交互范式。

在软件开发方法方面，与会代表感兴趣的焦点在于基于机器学习模型的数据驱动式三元融合软件构造。

北京大学讲席教授谢涛认为，面向智能构件的复用、组装、集成是软件自动化的未来之路，深度学习模型的复杂性和规模快速增长，模型的黑盒化、不可解释、无保证、难验证等问题使得将其应用于软件工程任务时面临新的挑战。

国防科技大学副研究员冯大为探讨了如何从模型的边界与适用场景、代码的高效自动化测试等方面约束大模型内在的不确定性。同济大学特聘研究员王昊奋提出，应当从高级提示工程、检索与知识增强、推理与工具使用等方面增强当前大模型的能力，讨论了大模型在智慧城市、汽车智能座舱、智能制造等领域中的落地方式，以及在多智能体协同方面的机遇。

中国科学院软件技术研究所研究员詹乃军系统分析了当前人机物融合系统设计面临的挑战，包括开放环境带来的复杂性挑战、软件自身带来的复杂性挑战，以及预测分析和验证在能力、效率和规模方面面临的挑战。他强调了数据驱动与机理二者融合在应对这些挑战方面的机遇。

中国科学技术大学教授陈小平探讨了大模型带来的包括伦理、安全、行为可控等一系列亟待解决的问题，指出在大模型走向实用之前需要有能较好地解决这些问题的方案。

北京大学教授金芝从需求工程的角度，倡导环境资源类型化、任务意图场景化、任务规划模式化、运行时不确定性应对，进而通过分析华为ICT系统可靠性建模案例，讨论了在非形式化系统中进行形式化验证的意义与可行性。

与会者从多个角度研讨了各自在面向三元融合系统的基础软件方面的研究工作。

北京大学教授郭耀探讨了UOS的概念内涵和面向不同领域场景的UOS实例之间的异同，并以机器人操作系统（ROS）为例，对UOS的特征和能力进行了分析，强调了其在资源抽象与上层应用支撑方面的核心作用，指出UOS应具有平台化、标准化、生态化等关键特征。

西北工业大学教授郭斌提出了人机物融合群智计算系统的概念，指出其具备跨域交织性、行为多样性以及场景适应性等特点，并讨论了该系统面临的非确定性、场景可演化性与质量可保障性等挑战与应对进展。

清华大学长聘副教授陈渝以安全为着眼点，介绍了基于Rust语言的操作系统内核设计方面的工作进展，探讨了如何开发与设计可灵活组合、支持持续适应优化和持续演化的操作系统安全架构，以及在智能网联车等场景中的应用。

浙江大学研究员赵新奎认为，当前工业界通过边车模式满足应用对系统软件的动态需求这一模式存在性能瓶颈，提出应根据软硬件特征动态生成操作系统，并介绍了他们在动态生成经典操作系统方面的可行性验证工作，讨论了动态生成UOS方面的可能性与面临的挑战。

上海交通大学教授陈海波介绍了他所在团队在学习型存储系统方面的研究经验，并就如何让机器学习技术更好地服务系统研究提出了自己的见解。中国科学技术大学特任研究员李诚探讨了软件定义存储面临的机遇与挑战。南京大学助理研究员蒋炎岩报告了其在面向人机物融合泛在系统的元级资源定义与管理方法、元级应用开发支撑，以及社区建设与应用实例等方面的思考。

北京航空航天大学教授胡春明认为，UOS需要支持应用的动态跨域部署和一体化开发运维；应通过数字孪生支持泛在融合，以机器学习智能应对内外资源管理和应用需求的复杂性。他进而介绍了在云-边-端一体化的工业机器人云平台方面的探索。

会议各环节均进行了热烈的学术讨论和思想碰撞。我们对其中两个相关议题的讨论进行整理，希望对读者有所启发。

从软件技术发展上看，人机物三元融合的发展趋势会不会带来实质性的变化？有观点认为，三元融合只是一类新的需求场景，软件方法技术的内核并不会有革命性变化。在理论研究方面，软件系统的可信性、软件的生产率等经典问题仍然是软件工程学科的核心问题，并未改变；在国家需求方面，我们仍要着力破解操作系统和工业软件受制于人的局面。软件学科追求的是具有一般性的方法技术，三元融合应用场景千变万化，更多地还是依赖专门领域工程人员对具体问题进行具体分析。

更多与会者认为，三元融合发展趋势将推动软件学科进入新的发展阶段。首先，软件作为解决方案，其处理的问题空间从信息空间拓展到三元融合世界，例如会涉及许多要用高维非结构数据刻画的对象；其次，软件自身的形态从符号主义、机理驱动，拓展到神经-符号融合、数据-机理双驱动；再次，软件要更加以人为中心，包括帮助实现人的价值、帮助人创造价值、减轻人的负担等；最后，软件学科的发展历史表明，其是一个由“通”到“专”，再由“专”到“通”的迭代过程，三元融合应用创新必定会沉淀新的软件工程方法和系统软件支持。

另一方面，桌面操作系统、移动操作系统等的发展历史表明，操作系统由于其生态锁定特性，后来者只能通过抢占新赛道倒逼原有赛道让位；三元融合发展趋势创造了UOS新赛道，应高度重视，抢占先机，形成生态，突破传统操作系统生态锁定。

随着近年来深度学习尤其是大语言模型的快速发展，程序代码自动生成的梦想似乎有望成真。有人认为，对于许多三元融合应用场景，例如自动驾驶³ 放弃复杂的符号程序构建，完全采用神经网络模型给出“端到端”的解决方案，可能是更好的选择，是未来的方向。

与会者认为，从历史上看，计算机软件与人工智能同源；从发展上看，软件追求的目标可以归结为三个自动化：开发自动化、运行自动化、使用自动化。所谓开发自动化就是不用人写程序；运行自动化就是软件“生存100年”、自己能运行和演变；使用自动化即自动将现实世界映射到软件空间。智能化是实现这三个自动化的重要手段。以前的软件自动化追求逻辑意义上的正确性，要完备、要一致，可能过于僵化。大语言模型带来的启示是，先不追求完备、一致，而是退一步，从产生的数据中归纳出可证伪的结论，让人类可以使用。此类退一步的智能可称为“模智”，模智经过一个可证伪的过程之后，可以变成人类智能。要注意区分这种“模智”与人类智能。符号软件作为人类智能的一种重要表达形式不会消失，它与“模智”相互补充、相互促进。

就现状而言，在基于大语言模型的软件开发方面，由于现有大模型具有不可解释性和内在不确定性，其生成的是缺失可信性判断的预测性内容，而开发者需要完成的是具有可信保障的决策性任务。因此，基于大语言模型的软件开发的大规模应用尚面临很大挑战。大模型本身作为解决方案的途径值得重点关注，但要认识到其带来的安全可信、社会伦理、能耗效率等问题亦需要解决，目前看来将其与传统符号软件相结合是比较可行的途径。

本次秀湖会议围绕人机物融合时代智能软件系统的技术挑战和发展趋势进行了学术研讨和思想碰撞。与会者普遍认为，当前软件技术正面临一场新的变革，人机物三元融合的新平台和新应用的迅速发展为这一变革提供了前所未有的外在牵引，而机器学习尤其是大语言模型和生成式人工智能的突破给这一变革带来了智能化的内在驱动。

与会者呼吁，学术界和工业界要把握发展机遇，系统地应对“人元”“智元”“物元”的引入对传统软件工程方法和系统软件平台带来的挑战，积极拥抱以大语言模型和生成式人工智能为代表的智能化浪潮，在三元融合领域需求新场景与新应用、软件开发方法新能力与新范式、系统软件新抽象与新机制方面进行系统创新，在新赛道上抢占软件技术发展制高点。与会者建议各高校和科研院所应在软件人才培养方面迅速行动起来，守正创新，在夯实软件核心能力培养的基础上，加强多学科交叉的基础课程建设；不断优化具备跨领域能力的计算机专业人才培养模式，顺应人机物融合智能化时代需求。与会者亦建议，推动国家相关主管部门深刻认识此发展态势及其紧迫性，使其在法规标准制定、产业政策引导、科研规划布局等方面做出积极有效的应对。

致谢：感谢参加本次秀湖会议的全体代表。感谢CCF业务总部工作团队为本次会议提供的优质服务。感谢腾讯、荣耀和东华大学计算机学院为本次会议提供赞助。

整理：马晓星 彭鑫 郝丹 王戟

附：与会专家名单

特邀代表：

梅 宏 吕 建 王怀民 李宣东

正式代表：

陈海波 陈小平 陈 渝 冯大为

郭 斌 郭 耀 胡春明 黄 凯    

黄晓庆 蒋炎岩 金 芝 李 诚  

刘 斌 卢海生 王党校 王昊奋

谢 涛 詹乃军 张文杰 赵新奎

论坛组织：

马晓星 彭 鑫 郝 丹 王 戟

会议秘书：

姚 远 张 伟 孙丙坤

脚注： 

¹ 我们所知的“人机物三元世界”的说法最早来自2009年中国科学院信息领域战略研究组编撰的《中国至2050年信息科技发展路线图》。英文Human-Cyber-Physical System、Socio-Cyber-Physical System、Cyber-Physical-Social Systems等亦指人机物融合系统。

² 人机物三元融合是完整实现“智”与“能”的途径：能感知、会学习，并符合客观实际，叫做“智”；以行动改变世界，并符合人的需求，叫做“能”——《荀子》正名篇第二十二：“所以知之在人者谓之知；知有所合谓之智。所以能之在人者谓之能；能有所合谓之能。”我们所知的最早把荀子的“智”“能”与AI相类比的是浙江大学教授吴飞，只是解读略有差异。

³ 据称，特斯拉的FSD Beta V12版本放弃了传统基于规则的代码，而完全通过数据训练神经网络实现自动驾驶规划决策。