美军2016年试验鉴定政策发展综合分析

▲资料图：美军濒海战斗舰正进行“抗冲击测试”

1月，美国防部作战试验鉴定局局长发布《作战试验鉴定局2015财年年度报告》，系统总结了2015财年作战试验鉴定工作及国防采办项目监管情况，并着重强调2016财年应增强试验科学严谨性、改善装备可靠性、更新《试验鉴定主计划》指南、加强网络安全作战试验和完善试验资源建设等五方面工作。

▲2015财年年度报告及美国防部5000.02指示

客观、科学、严谨的作战试验对武器装备的发展十分重要。过去几年中，作战试验鉴定局始终致力于优化“实验设计”、测试设计与分析、统计方法等，确保作战试验能有效评估武器装备作战能力。目前，新版国防部5000.02指示要求采用通用的试验鉴定方法，强调试验项目要通过利用适当资源模拟作战环境，有效测试武器装备完成作战任务的能力。科学的试验方法要求试验结果应在特定作战条件和威胁类型下得出，而不是在所有作战环境下得到平均结果，这样才能帮助作战人员了解武器装备在何种条件下才能发挥作用。这意味着，在试验之前要明确哪些数据需要分析，哪些系统性能需要评估，以帮助决策者确定在特定条件下需要进行多少试验才能得到准确结果。

新版国防部5000.02指令要求项目须采用可靠性增长规划，不断评估其可靠性增长情况，使武器装备在初始作战试验鉴定中达标，并在里程碑C向决策当局报告结果。另有数据表明，当项目中设立可靠性关键性能参数时，其可靠性达标的概率随之增加。

作战试验鉴定局发布《试验鉴定主计划》指南3.0版。指南采用新版国防部5000.02指示中《试验鉴定主计划》的组织结构，并提供了有关作战试验鉴定局的指导与案例。指南对作战鉴定框架构建、多阶段试验信息融合方法、可靠性试验计划以及网络安全四项重点内容进行了修订。

▲“试验鉴定主计划”文件模板

网络安全作战试验存在的网络攻击模拟不到位，演习和试验当局几乎不允许对系统与网络进行有侵入性的攻击，限制非网络部队开发利用相关信息等主要问题，严重影响了试验的规模和持续时间。为更好地模拟网络威胁，作战试验鉴定局联合太平洋司令部、北方司令部、战略司令部、网络司令部共同建立了网络对抗部队，以提升对国防部各系统的侵入能力。

3月，美国防部负责研制试验鉴定的助理国防部长帮办签发《2015财年研制试验鉴定年度报告》，对研制试验鉴定和试验资源建设进行了分析评估，系统梳理了存在的问题与不足，并提出了相应的改进措施与建议。同时，通过对重大国防采办项目的严格监管，使其试验鉴定工作进入良性发展。

▲2015财年研制试验鉴定年度报告及网络安全研制试验鉴定指南

一是持续推进“左移”倡议。通过在武器系统生产之前开展更为严格的研制试验鉴定，进一步掌握武器系统的性能、可靠性、互操作性和网络安全特性，提供更准确的决策支撑信息。二是制定发布《网络安全研制试验鉴定指南》。进一步完善网络安全研制试验鉴定的程序，为首席研制试验官和试验鉴定机构进行试验规划和评估提供依据和参考。三是贯彻执行研制鉴定框架。根据新版国防部5000.02指示《国防采办系统的运行》要求，在里程碑A开始时就要制定研制鉴定方法，在里程碑B开始时就要形成研制鉴定框架。

▲美军持续推进“左移”倡议

一是开展试验鉴定资格认证和教育培训。美军试验鉴定队伍主要分布在采办队伍的试验鉴定职业领域、作战试验机构和重点靶场。鉴于采办队伍相对完善的培训体系和良好的培训效果，研制试验鉴定办公室正与国防部其他各部局共同努力，确保所有试验鉴定岗位都纳入采办队伍体系，从而提高岗位专业化水平。二是更新职业领域认证等级标准及相关课程内容。研制试验鉴定办公室联合国防采办大学，制定试验鉴定职业领域Ⅰ、Ⅱ、Ⅲ三个等级的认证标准，同时由国防采办大学为等级认证提供相应的课程培训。三是推进试验鉴定关键领导岗位的资格认证与评审。根据《美国法典》和相关采办政策要求，首席研制试验官应成为所有重大国防采办项目和重大自动化信息系统项目的关键领导，并获得试验鉴定职业领域认证。

▲2015~2017财年试验鉴定队伍能力发展蓝图

一是审查采办项目试验所需资源。通过审查，试验资源管理中心确定未来需要研究和关注的领域，包括试验靶标和威胁系统的成本与可用性、威胁表征的逼真度、干扰系统全功率试验的限制等。二是评估试验鉴定管理机构资源能力。根据2013财年《国防授权法案》要求，报告对研制试验鉴定办公室和牵头研制试验鉴定机构的资源充分性进行了评估。三是管理三大投资计划。试验资源管理中心主要负责管理中央试验鉴定投资计划、试验鉴定/科学技术计划和联合任务环境试验能力计划，以支持关键试验能力建设。

▲美军主要试验设施分布图

一是推动科学试验与分析技术和建模仿真技术的应用。为推动科学试验与分析技术在试验鉴定工作中的应用而成立的“卓越中心”，不仅为美军37个试验项目提供了科学和统计学专业知识，为项目的试验规划提供了帮助支持，还开发了最佳实践、商业案例和从业人员教程等多项产品。二是引入大数据分析概念。为进一步提升美军试验鉴定领域的知识管理能力，研制试验鉴定办公室正在尝试利用大数据分析技术，学习商业或政府部门的开发工具、技术及最佳实践，在系统全寿命周期内持续有效地更新知识库，同时加强试验鉴定数据的共享，提高知识管理能力。三是关注可靠性和互操作性要求。研制试验鉴定办公室重点对可靠性风险进行了早期评估，并参与可靠性计划制定，确保项目办公室制定出有效的可靠性增长计划，帮助决策者判断关键子系统、软件、集成系统等在任务背景下能否满足可靠性要求。

▲“卓越中心”为美军37个试验项目提供科学和统计学专业知识

研制试验鉴定办公室负责审批军种采办项目《试验鉴定主计划》中的研制试验鉴定部分。在重大里程碑决策点前，研制试验鉴定办公室对重大国防采办项目的状态和风险进行客观评估，为采办决策提供支撑。

3月14日，美作战试验鉴定局局长迈克尔·吉尔莫向陆军试验鉴定司令部司令、海军作战试验鉴定部队司令、空军作战试验鉴定中心主任、海军陆战队作战试验鉴定部主任和联合互操作能力试验司令部司令，签发《作战试验与实弹射击评估所用建模与仿真的验证指导》备忘录。吉尔莫表示，某些情况下建模与仿真在作战试验中已经并将继续发挥重要作用；建模与仿真采集的数据应该与作战试验或实弹射击试验采集的数据一样可信；应在《试验鉴定主计划》和《试验计划》中详细阐述建模与仿真的验证与确认工作，并尽可能引入严格的统计设计与分析技术。

▲《作战试验与实弹射击评估所用建模与仿真的验证指导》备忘录

一是明确“建模与仿真”和“验证”的含义。“建模与仿真”是指针对那些在鉴定作战效能、适用性、生存性和杀伤性中发挥重要作用的系统、实体或环境的模拟仿真，包括基于物理的计算机模型、基于效能的计算机模型、在回路中的软硬件和操作人员仿真、系统集成实验室、威胁环境模型、虚拟现实环境构建等。“验证”是指从模型预期用途的角度，确定模型或仿真及其相关数据以何种真实程度呈现现实世界的过程。

二是强调作战和实弹射击试验使用的建模与仿真数据要可信。要求所有建模与仿真在实际用于作战试验之前都要经过确认，即将真实数据与模型预测进行严格比对，确定预测数据在预期作战范围的鉴定活动中能足够准确代表真实结果。

三是强调应采用科学严谨的统计分析方法。对于仿真数据和真实数据，不能仅靠视觉上的对比就确定两者“足够接近”，而应引入严谨的统计学和分析原理。具体地讲，就是将“实验设计”方法作为确定模型验证所需实验数据、确定模型反映现实世界真实程度的一种方式，对子系统、全系统、环境等每一个要素的建模与仿真进行充分的验证与统计分析，确保利用模型能完整呈现真实世界中的系统。

四是建议在《试验鉴定主计划》与《试验计划》中详细描述验证与确认方法。重点关注验证对象、分析统计风险、验证的条件范围、验证数据的收集计划和验证方法五个方面内容。

7月27日，美国防部作战试验鉴定局向美军所有作战试验鉴定机构发布《网络安全作战试验鉴定重点与改进》备忘录，以指导各作战试验鉴定机构加强关键领域的网络安全试验手段与技术开发，进一步满足潜在威胁持续变化的需要。

▲《网络安全作战试验鉴定重点与改进》备忘录

一是明确需进一步加强的关键领域。要求各作战试验鉴定机构重点加强以下4个关键领域的网络安全试验鉴定工作：非互联网协议数据传输、工业控制系统、多谱网络威胁、定制化系统攻击。通过确定网络安全关键领域，明确了网络安全试验鉴定重点方向，为网络安全试验鉴定工作提供了指导依据。

二是提出需特别关注的问题。针对网络安全作战试验鉴定的准备与实施，要求各作战试验机构重点把握好以下5个方面的问题：系统架构，所有试验计划中都应包括系统物理或逻辑架构的示意图或描述；端到端试验，该类试验的试验范围应该包括系统或体系内的所有设备、系统操作人员以及这些人员的培训、行为和口令；试验协调与保障，作战试验机构应从系统操作员和管理员处获得恰当的账户或口令，或延缓试验进度使红方能够寻找并伪造所需的账户或口令，以提高试验有效性；试验执行，试验团队应开发若干对抗能力（从“难以检测”到“易于检测”）用于对抗性评估，这将有助于国防部收集更多对抗能力信息，对系统进行进一步保护和监测，并对复杂威胁做出有效应对；数据交付，所有试验数据必须在试验完成60天内提交作战试验鉴定局，并汇报所有在试验中发现的、经过验证的脆弱性问题。

2016年，是美军“左移”倡议推行的第四年。该倡议由美国防部研制试验鉴定办公室提出，主要是在采办早期的研制试验阶段引入作战任务环境，将原先在装备采办后期才进行的互操作性、网络安全和可靠性等试验，提前至装备采办前期进行，尽早发现并解决装备存在的问题，保证研制问题不会成为装备投产后的问题，更不会成为战场上的问题。“左移”倡议主要包括以下四项举措：

美国防部研制试验鉴定办公室发布《网络安全研制试验鉴定指南》政策性备忘录，为美军试验鉴定部门进行网络安全试验规划和评估提供顶层指导，将网络安全研制试验鉴定开始的时间提前至技术成熟与风险降低阶段。之后，美国防部又发布《网络安全试验鉴定指导手册》，将研制试验鉴定办公室发布的《网络安全研制试验鉴定指南》纳入其中，并区分了网络安全研制和作战试验的侧重点，强调作战试验更多的是要在逼真的网络作战环境下评估系统的任务完成能力。

▲《网络安全试验鉴定指导手册》

研制试验鉴定办公室联合国防部首席信息官，修订了国防部8330.01指示《信息系统的互操作性》，对互操作性研制试验鉴定内容进行了规范。将互操作性演示作为装备进入生产与部署阶段的决策依据之一，试验实施部门针对互操作性认证，需要制定相应的研制试验鉴定计划，将互操作性试验纳入研制试验鉴定办公室的监管范畴，确保互操作性试验的可实施性和充分性。因此研制试验鉴定办公室提出，将装备的互操作性研制试验鉴定提前至装备的工程制造与开发阶段，从而在采办早期就获取相关数据，以支持在初始作战试验鉴定中进行的互操作性认证。

▲国防部8330.01指示《信息系统的互操作性》

“左移”倡议的重点是通过早期的研制试验，对可靠性风险进行评估，指导可靠性的顶层设计，确保项目办公室制定出有效的可靠性增长计划，帮助决策者判断装备部件、装备系统、装备体系在作战任务背景下能否满足可靠性要求，并不断推动可靠性试验的改进工作，使《试验鉴定主计划》中包含有效的可靠性增长计划。

研制鉴定框架是研制试验鉴定工作规划和制定《试验鉴定主计划》的基础，是“左移”倡议的一个重要部分。根据新版国防部5000.02指示《国防采办系统的运行》要求，装备自方案分析阶段开始时，就要开发研制鉴定方法，形成《试验鉴定主计划》，进入工程与制造开发阶段前，要形成全面的“研制鉴定框架”。

▲“研制鉴定框架”

6月，美国防部国防科学委员会发布题为《自主性》的研究报告。报告主要研究了当前自主技术在军事领域的主要应用以及未来自主技术的应用拓展，并从加速自主能力应用、推动自主技术向作战能力转化，以及扩展自主系统技术应用领域3个方面提出26项措施建议，旨在进一步维持美国的军事优势。作为其加速自主能力应用的主要措施，建议针对自主系统采用新的试验鉴定模式。

▲美国国防科学委员会关于《自主性》的研究报告

报告认为，针对自主系统的试验鉴定主要面临以下挑战：一是自主系统试验超出常规试验能力范畴。二是国防部当前的试验方法和过程并不适用于测试具有自学习和自适应能力的软件。

报告建议，应充分借鉴商业成功案例，建立新的软件测试模式和覆盖自主系统全寿命周期的试验鉴定模式。一是建立新的软件测试模式。作战试验鉴定局应当与研制试验鉴定办公室联合，借鉴商业成功案例，建立新的自学习和自适应软件测试模式。二是国防部试验鉴定机构应当建立覆盖自主系统全寿命周期的试验鉴定模式。主要包括：广泛使用真实、综合的环境，对系统是否从研制阶段转入部署阶段进行评估和鉴定；为自主系统持续的“验证与确认”制定标准和指南；尽早开展试验，并在系统开发、试验和部署阶段反复开展如下活动：构建、试验、变更、修改、再试验、再变更等；开发用于评估自主系统功能的数据库，将经实测验证的和实验的结果纳入数据库；引入网络战、电子战等对抗环境；对系统全寿命周期的各项活动进行规划。此外，报告强调，自主系统的试验鉴定过程将产生大量数据。这些数据对于深入了解系统性能、后续系统性能改进以及新系统设计至关重要，必须进行恰当维护。

“五月花”号船上的清教徒为了信仰和自由，踏上美洲大陆试验自己的政治理想，奠定了美国人敢于探索冒险的文化基因。在西部淘金热中培养的拓荒精神和坚信美国梦的乐观主义，进一步激励了美国人勇于探索、敢于试错，不断动手尝试去发现新规律和创造新事物。从莱特兄弟发明飞机到扎克伯格创办“脸书”（Facebook），无不体现出美国人想到做到、快速迭代、敢于冒险的试验文化。

▲美国人的试验思维文化

这种勇于探索的试验文化，映射到美军试验鉴定领域,就是大胆假设预测,多种试验求证。在作战概念上，有多分辨率数字仿真为基础的军事实验；在关键技术上，有虚拟实装结合的技术演示验证试验；进入装备全寿命周期后，更是性能试验和作战试验齐头并进。美军并不是以深奥抽象的数学理论来发展技术和研制装备，而是通过对技术、装备的试验需求开发、分析设计和鉴定评估的螺旋式迭代，不断加深认识，完善技术向装备、装备向战斗力的转化。

▲美军性能试验与作战试验在装备全寿命周期中并行开展

无论是美军在二战时期邀请科学家成立数理统计研究小组，专门研究作战策略和装备质量问题，还是美国的现代管理学之父德鲁克和质量管理大师戴明都信奉的“无量化、不管理，无数据、不决策”的观点，都表明从美国政府到美国民众，早已习惯用统计指标和定量数据来评估判断就业机会、教育投资、医疗卫生和个人价值等社会和生活情况。

试验鉴定是系统工程，既需要科学理论做支撑，又需要先进技术做牵引，以保证试验鉴定结果的准确性。美军这种善用数据的定量文化，使其在试验鉴定领域既不盲目乐观，又注重控制风险。美军近二十年来一直致力于借助其引以为傲的管理学科和统计学科优势，建设面向装备的试验科学，服务于顶层性、普遍性的试验需求开发、规划设计和鉴定评估问题。

1998年，美国国家研究委员会统计学分会应美国防部邀请，成立了面向国防系统试验鉴定的统计学小组，并提交了《统计、试验和国防采办：新方法和方法论改进》研究报告。现任美国防部作战试验鉴定局局长吉尔莫，从上任伊始就大力推广试验科学和试验设计分析方法在作战试验鉴定中的广泛运用，并于2013年提交了《试验科学路线图》报告，目标就是提升试验设计的科学性、试验资源的有效性和试验评估的准确性。

▲美军1998年和2013年关于加强统计科学性的报告

不同于欧洲人的一点是，美国民众不善于深奥的抽象思辨，因此讲究实用、追求实效的本杰明·富兰克林是美国人心目中的榜样和英雄，而精于神学、善于形而上思辨的乔纳生·爱德华兹则使大多数美国人敬而远之。任何一种超越常识的理论都必须演绎为实实在在、掷地有声、在可接受的时间内能出结果的方法，才能为美国民众所接受。

▲试验设计在在试验鉴定中的作用

这种讲究效率的实用文化，使美军推广基于统计学的试验科学方法，没有成为泛泛而谈，而是以实验设计方法为抓手，促进装备的科学试验设计。因为，美军认为战斗力不是评估出来的，而是设计出来。如果试验要素设计的好，鉴定评估就是水到渠成的事情。

▲试验设计与分析一般流程

因此在顶层设计上，美军在其国防部指示性文件 5000.02《国防采办系统的运行》中明确规定：“试验设计与分析科学技术（源自实验设计方法论）必须有效地运用到试验鉴定项目，必须横跨关联作战、任务和能力。”在落地实践上，美国防部作战试验鉴定局牵头，分析定制了涵盖各军兵种、各作战域的装备试验设计科学技术应用实例（共计23个），并号召全军借鉴学习。

▲具体试验设计的输入输出

一方面，追求个人进步是美国梦文化的精髓部分，大部分美国人不看重家庭背景，而是看重依靠奋斗取得的博士、医生和律师等包含个人价值的学历/职业头衔；另一方面，由美国传播至全球的“慕课”大型开放式在线课程、各类社区大学和继续教育课程为美国人提供了继续学习的优良条件。

▲空军科技学院的试验鉴定认证课程项目

在倡导能力的个体文化氛围影响下，美国防部作战试验鉴定局依托军地院校和军兵种试验基地开办了众多与试验科学技术相关的教育培训课程。如在国防采办大学开办了面向试验鉴定的概率论与数理统计课程；在空军科技学院开办了3种不同的试验科学课程；在佐治亚理工学院和艾格林空军基地开办了多种实验设计方法与运用课程等。

▲佐治亚理工学院的试验设计方法运用课程

从美国主流的基督教集会传教文化，到美国人不喜沉默、奔放坦率和生性好动的性格，都注定了美国人热爱交流分享。而且，西方国家中没有哪个国家像美国一样，更愿意为某种共同的目的自愿联合起来，并形成参与、分享、交流的平台。这也使得美国拥有涵盖慈善、商业、技术、政治、医疗、教育和文化等各领域的自发性团体组织是全世界最多、最富有成效的。

▲2016年33届世界试验鉴定研讨会

在试验鉴定领域，有着美国军方背景的国际试验鉴定协会在1980年便已组建，并在成立伊始就创办了协会会刊，其组织的国际试验鉴定研讨会至今已经举办了33届，有众多试验鉴定领域的军界高层出席会议并做主题发言。另外一个重要会议是由国防大学主办的国家试验鉴定研讨会，也已经举办了30届。在这些会议与期刊上形成的大量创新理念，都对美军试验鉴定带来了举足轻重的影响。

▲2016年33届世界试验鉴定研讨会主题发言人

在传统装备试验服务于定型鉴定的基础上，应该鼓励试验鉴定在探索新事物、发现新规律、查找战斗力缺陷、提出战斗力增长点方面的功能。这就需要促进先进的、普适性的科学技术运用，并提升装备试验需求开发、规划设计、测试测量、环境靶标和鉴定评估各个环节的战斗力转化效应。在具体执行上，可以以项目资助和成果奖励等功利化手段，促进非功利化的试验文化发展。

科学试验设计理论与技术属于管理科学与统计科学范畴，本身并不是大工程，而是具有普遍适用性的先进科学理念。先进有效的科学技术/装备试验设计，特别是作战试验设计，能够显著加快装备战斗力生成与发展。

美军作战试验从最初从属装备研制部门，到隶属作战部门，再到各军兵种分散管理，最后到国防部统一监管，其发展几经周折。几十年的实战经验和残酷教训，不断督促美军持续强化对试验鉴定，尤其是作战试验鉴定独立性和权威性重要意义的清醒认知。美军意识到，试验鉴定保障的不是军兵种或者某些职能部门的利益，而是国家利益，必须尽可能与利益相关方脱钩。直到上世纪80年代，美国会最终通过立法，要求国防部成立独立于研制部门、作战部门、且直接向国防部长报告工作的作战试验鉴定局，局长由总统任命，美军作战试验鉴定工作才真正意义上获得了独立与权威的地位。