Papers

Effectiveness evaluation for system-of-systems: A review of the state of the art

  • YANG Jian ,
  • DONG Yan ,
  • BIAN Yuekui ,
  • YAO Tong ,
  • GENG Xiutang
Expand
  • 1. China Research and Development Academy of Machinery Equipment, Beijing 100089, China;
    2. North Institute for Scientific and Technical Information, Beijing 100089, China;
    3. Northwest Institute of Mechanical and Electrical Engineering, Xianyang 712099, China

Received date: 2019-10-31

  Revised date: 2021-10-20

  Online published: 2022-03-27

Abstract

The effectiveness evaluation of the joint combat system has important significance. In order to solve the problem of the confrontation effectiveness evaluation of the system-of-systems in the complex combat background, the typical effectiveness evaluation methods are reviewed. The proposed methods can provide a methodological support for the effectiveness evaluation of the operation system-of-systems. Their advantages and disadvantages are illustrated. The problems involved in the existing methods are discussed.

Cite this article

YANG Jian , DONG Yan , BIAN Yuekui , YAO Tong , GENG Xiutang . Effectiveness evaluation for system-of-systems: A review of the state of the art[J]. Science & Technology Review, 2022 , 40(4) : 106 -117 . DOI: 10.3981/j.issn.1000-7857.2022.04.011

References

[1] 柯加山, 江敬灼, 许仁杰, 等. 联合作战体系对抗效能评估探索性分析框架[J]. 军事运筹与系统工程, 2005,19(4):58-61.
[2] 肖利辉, 黄玉章. 一种基于系统论思想的作战体系效能评估方法[J]. 军事运筹与系统工程, 2016, 30(1):18-22.
[3] 胡晓峰. 战争工程论:走向信息时代的战争方法学[M]. 北京:科学出版社, 2017.
[4] 罗宇. 防空导弹武器系统效能评估研究[D]. 西安:西北工业大学, 2016.
[5] 齐晓光. 技术对武器装备体系的贡献度评估方法研究[D]. 长沙:国防科技大学, 2015.
[6] 李登峰, 孙涛, 王永春. 舰艇编队信息战火力分配微分对策模型及求解[J]. 控制理论与应用, 2008, 25(6):1163-1166.
[7] 李飞, 胡荣, 胡剑波, 等. 空天云作战指挥控制效能评估[C]//第六届中国指挥控制大会. 北京:电子工业出版社, 2018, 904-909.
[8] 李翼鹏, 鲁赢, 王旭. 空天环境对作战效能的影响——基于云模型的评估方法[J]. 国防科技, 2017, 38(2):28-32.
[9] 叶雄兵, 侯跃伟. 信息化战争火力毁伤效能评估方法初探[J]. 军事运筹与系统工程, 2016, 30(2):5-8.
[10] Helmbold R L. A Modification of Lanchester's Equations[J]. Operations Research, 1965, 13(5).857-859.
[11] Taylor J G. Lanchester-type models of warfare and optimal control[J]. Naval Research Logistics Quarterly, 1974, 21(1):79-106.
[12] 水本雅晴, 模糊数学及其应用[M]. 北京:科学出版社, 1988.
[13] Saaty T L. Axiomatic foundation of the analytic hierarchy process[J]. Management Science, 1986, 32(7):841-855.
[14] Saaty T L. Decision making with the analytic hierarchy process[J]. International Journal of Services Sciences, 2008, 1(1):83-98.
[15] Charnes A, Cooper W W, Rhodes E. Measuring the efficiency of decision making units[J]. European Journal of Operational Research, 1978, 2(6):429-444.
[16] 杨镜宇, 胡晓峰, 张昱, 等. 基于体系仿真实验的联合作战能力评估技术[J]. 指挥信息系统与技术, 2017, 8(4):1-9.
[17] Stone III G F, McIntyre G A. JWARS:the joint warfare system (JWARS):A modeling and analysis tool for the defense department[C]//Proceedings of the 33nd Conference on Winter Simulation. IEEE Computer Society, 2001:691-696.
[18] Metz M L. Joint Warfare System(JWARS) verification and validation lessons learned[C]//2000 Winter Simulation Conference. Washington:IEEE, 2000, 1:855-858.
[19] Davis P K, Hillestad R.Exploratory analysis for strategy problems with massive uncertainty[R]. Santa MonicaCA:Rand Corporation, 2001.
[20] Davis P K, Bigelow J, McEver J. Exploratory analysis and a case history of multiresolution, multiperspective modeling[M]. Stanta Monica CA:Rand Corporation, 2000.
[21] Davis P K, McEver J, Wilson B. Measuring interdiction capabilities in the presence of anti-Access Strategies:Exploratory analysis to inform adaptive strategy for the persian gulf[R]. Santa Monica CA:Rand Corporation, 2002.
[22] 芮平亮, 傅军. 面向网络中心化信息系统的体系结构描述框架[J]. 指挥信息系统与技术, 2012, 3(3):6-10.
[23] Hause M. The Unified Profile for DoDAF/MODAF (UPDM) enabling systems of systems on many levels[C]//2010 IEEE International Systems Conference. IEEE, 2010:426-431.
[24] Hamilton Jr J A. DoDAF-based information assurance architectures[J]. CrossTalk, 2006, 19:4-7.
[25] Hause M. The Unified Profile for DoDAF/MODAF (UPDM) enabling systems of systems on many levels[C]//2010 IEEE International Systems Conference. IEEE, 2010:426-431.
[26] Bailey I. Brief introduction to MODAF with v1.2 updates[C]//2008 IET Seminar on Enterprise Architecture Frameworks. IET, 2008:1-18.
[27] Xia Z J, Zhang X H, Fan W T, et al. Evaluation of underwater acoustic warfare operational effectiveness for surface ship based on IAHP[J]. Journal of Information &Computational Science, 2012, 9(1):247-255.
[28] Tomaszek H, Kaleta R, Zieja M. How to formulate rates to assess operational effectiveness of military aircraft-an introduction[J]. Journal of KONES Powertrain and Transport, 2012, 19:525-530.
[29] Chen X, Jiang N, Jing Y, et al. Differential game model and its solutions for force resource complementary via Lanchester square law equation[J]. IFAC Proceedings Volumes, 2011, 44(1):14229-14233.
[30] 唐铁军, 徐浩军. 应用兰彻斯特法进行体系对抗效能评估[J]. 火力与指挥控制, 2007, 32(8):52-54.
[31] 丛红日, 褚政, 丁光强. 基于兰彻斯特方程的体系对抗过程分析与评估方法[J]. 海军航空工程学院学报, 2016, 31(6):666-670.
[32] 王威, 闵绍荣, 谢红胜, 等. 用于舰艇效能评估的兰彻斯特方程改进研究[J]. 中国舰船研究, 2013, 8(1):98-101, 122.
[33] 郑玉军, 张金林, 李跃华. 基于改进ADC方法的某型特种装备作战效能评估[J]. 空军雷达学院学报, 2012, 26(3):202-204.
[34] 刘仕雷, 李昊. 改进ADC方法及其在武器装备系统效能评估中的应用[J]. 国防科技大学学报, 2017, 39(3):130-135.
[35] 王君, 赵杰, 邵雷, 等. 基于ADC方法的地空导弹系统效能评估模型[J]. 现代防御技术, 2015, 43(6):13-20.
[36] 陈辉, 林强, 付世奇. 基于改进ADC法的雷达阵地现场优化效能评估[J]. 航天电子对抗, 2012(4):49-52.
[37] 王晅, 陶禹, 樊丹瑛. 基于ADC方法的复杂武器系统效能评估方法[J]. 火力与指挥控制, 2016, 41(2):113-116.
[38] 吴晓锋, 周智超. SEA方法及其在C3I系统效能分析中的应用(I)——概念与方法[J]. 系统工程理论与实践, 1998, 18(11):66-69.
[39] 吴晓锋, 周智超. SEA方法及其在C3I系统效能分析中的应用(Ⅳ)——系统效能分析[J]. 系统工程理论与实践, 1999, 19(2):44-49.
[40] 许桂明, 赵树林, 武攀. SEA方法对指挥信息系统的效能分析[J]. 指挥信息系统与技术, 2011, 2(4):31-35.
[41] 程浩, 王雪琴, 谢鹏翔. 基于SEA方法的远程火箭炮系统效能对比分析[J]. 舰船电子工程, 2010(1):49-52.
[42] 张弛, 殷璐嘉. 指挥信息系统的SEA效能评估方法[J]. 信息化研究, 2016(2):13-16.
[43] 黄孝鹏, 吴少鹏. 基于改进指数法的海用雷达综合效能概念及建模技术[J]. 雷达与对抗, 2017, 37(4):1-6.
[44] 刘晓荷, 朱汉东, 赵虹. 利用指数法评估作战飞机的作战效能[J]. 军事运筹与系统工程, 2004(2):59-65.
[45] 彭维仕. 防暴发射武器系统作战效能评估[J]. 火力与指挥控制, 2015, 40(11):142-144.
[46] 张涛, 周中良, 苟新禹, 等. 基于信息熵和TOPSIS法的目标威胁评估及排序[J]. 电光与控制, 2012, 19(11):35-38.
[47] 徐敬, 张生. 基于信息熵的反导系统综合作战效能评估研究[J]. 指挥控制与仿真, 2010, 32(5):63-66.
[48] 罗承昆, 陈云翔, 王莉莉, 等. 基于作战环和改进信息熵的体系效能评估方法[J]. 系统工程与电子技术, 2019, 41(1):73-80.
[49] 唐鑫, 杨建军, 张磊. 改进信息熵的新装备体系作战效能评估方法研究[J]. 舰船电子工程, 2016, 36(7):128-133.
[50] 郑治国, 魏建永, 肖伟, 等. 从历史发展的角度看战斗力生成模式转变的必然性[J]. 军事交通学院学报, 2012, 14(4):65-68.
[51] 陈行勇, 张殿宗, 雷国强. 基于战场电磁环境影响度的兰彻斯特战斗模型[J]. 电子信息对抗技术, 2014(2):62-66.
[52] 曹海航, 田森平, 张友强. 结合兰彻斯特方程分析心理因素对战争的影响[J]. 火力与指挥控制, 2018, 43(3):58-62.
[53] 陆凡, 郑怀洲, 刘志勤. 兰彻斯特方程的装备战损量预计方法[J]. 火力与指挥控制, 2008, 33(5):144-147.
[54] 杨立功, 郭齐胜, 潘高田. 聚合级实体仿真中损耗模型参数校准方法的研究[J]. 系统仿真学报, 2006, 18(4):1023-1025.
[55] 黄一斌, 周电杰, 潘高田, 等. 反映作战协同的兵力损耗微分方程[J]. 火力与指挥控制, 2009, 34(6):94-95.
[56] 丛红日, 吴福初, 陈邓安. 基于兰彻斯特方程的防御作战效能分析[J]. 海军航空工程学院学报, 2015, 30(2):187-190.
[57] 张国熊, 朱宏, 张建科, 等. ADC模型在火控雷达作战效能分析中的应用[J]. 舰船电子工程, 2009, 29(9):105-107.
[58] 王世学, 李兆耿. 基于改进ADC模型的坦克作战效能评估[J]. 兵工自动化, 2009(7):18-20.
[59] 陈辉, 林强, 付世奇. 基于改进ADC法的雷达阵地现场优化效能评估[J]. 航天电子对抗, 2012(4):49-52.
[60] 辛永平, 李军, 刘晨. 指数法在防空系统效能评价中的运用[J]. 空军工程大学学报(自然科学版), 2002, 3(2):56-58.
[61] Dupuy T N. Numbers, predictions and war:Using history to evaluate combat factors and predict the outcome of battles[M]. Indianapolis, IN:Bobbs-Merrill, 1979.
[62] 贾利军, 薛青, 王文悦. 灰色层次分析决策方法在坦克评估中的应用[J]. 装甲兵工程学院学报, 2003, 17(2):42-45.
[63] 张立, 肖丁. 鱼雷武器系统作战效能评估研究[J]. 舰船电子工程, 2012, 32(7):31-34.
[64] 柳李鹏, 曹菲, 毋凡. 基于专家集成赋权-灰色聚类法的引信抗干扰效能评估[J]. 探测与控制学报, 2018, 40(6):7-13.
[65] Ramanathan R, Ganesh L S. Group preference aggregation methods employed in AHP:An evaluation and an intrinsic process for deriving members' weightages[J]. European Journal of Operational Research, 1994, 79(2):249-265.
[66] Yue Z. Developing a straightforward approach for group decision making based on determining weights of decision makers[J]. Applied Mathematical Modelling, 2012, 36(9):4106-4117.
[67] Xu Z, Cai X. Minimizing group discordance optimization model for deriving expert weights[J]. Group Decision and Negotiation, 2012, 21(6):863-875.
[68] 闫书丽, 刘思峰, 方志耕, 等. 区间灰数群决策中决策者和属性权重确定方法[J]. 系统工程理论与实践, 2014, 34(9):2372-2378.
[69] 邵建军. 一种爆破型鱼雷战斗部对舰船毁伤效能评估方法[J]. 水下无人系统学报, 2017, 25(4):272-277.
[70] 杨仁宝, 蔡远文. 运载火箭效能评估体系研究[J]. 装备指挥技术学院学报, 2002, 13(1):50-52.
[71] 唐政, 孙超, 刘宗伟, 等. 基于灰色层次分析法的水声对抗系统效能评估[J]. 兵工学报, 2012, 33(4):432-436.
[72] Saaty T L. Decision making with dependence and feedback[M]. Pittsburgh:RWS Publication, 1996
[73] Saaty T L. The analytic network process[M]. Pittsburgh:RWS Publication, 1996.
[74] 汪彦明, 徐培德. ANP的指挥控制系统作战效能评估[J]. 火力与指挥控制, 2007(11):79-82.
[75] 吕游, 李正军, 付晓, 等. ANP在依托C4ISR的指挥控制效能评估中的应用研究[J]. 指挥控制与仿真, 2016, 38(3):79-82.
[76] 王海滨, 吴魁, 陈海东. 基于灰色关联分析改进的ANP效能评估方法[J]. 导弹与航天运载技术, 2013, 5:69-72.
[77] 李敬. 反舰导弹主动雷达导引头抗干扰性能评估方法研究[D]. 哈尔滨:哈尔滨工程大学, 2013.
[78] 周经伦, 穆富岭, 罗鹏程, 等. 空军对地攻击战役解析模拟系统[J]. 电光与控制, 2007, 14(4):49-52.
[79] 穆富岭, 罗鹏程, 周经伦. 基于解析模型的空军战役作战模拟系统研究[J]. 系统仿真学报, 2007, 19(8):1723-1726.
[80] 李艳丽. 作战模拟方法的水面舰艇反导作战效能评估[J]. 计算机仿真, 2007, 24(6):38-41.
[81] 王少华, 张仕新, 董原生, 等. 装甲装备保障效能评估建模和仿真方法研究[J]. 兵器装备工程学报, 2018, 19(9):101-106.
[82] 赵晓东, 顾鸿, 熊艳晔. 水面舰艇反导作战指挥流程仿真及效能评估[J]. 火力与指挥控制, 2014, 39(8):43-46.
[83] 李传方, 许瑞明, 麦群伟. 作战能力分析方法研究综述[J]. 军事运筹与系统工程, 2009, 23(3):72-77.
[84] Bednar E M. Feasability study of variance reduction in the thunder campaign-level model[D]. Air University, 2005.
[85] 董良东, 陈晓, 曾兴善. 武器装备体系效能评估方法研究[J]. 兵工自动化, 2008, 27(2):30-31.
[86] Atwell R J, McBryde D G. Theater-level ground combat analyses and the TACWAR submodels[R]. Institute For Defense Analyses Alexandria VA, 1991.
[87] 黄建新. 基于ABMS的体系效能仿真评估方法研究[D]. 长沙:国防科学技术大学, 2011.
[88] 黄建新, 李群, 贾全, 等. 基于ABMS的体系效能评估框架研究[J]. 系统工程与电子技术, 2011, 33(8):23-26.
[89] 周威, 常显奇. 系统动力学方法在武器装备体系效能评估中的应用研究[J]. 指挥技术学院学报, 2001, 12(6):28-31.
[90] Davis P K, Hillestad R. Exploratory analysis for strategy problems with massive uncertainty[R]. Santa Monica, CA:Rand Corporation, 2001.
[91] Davis Paul K, Mc Ever Jimmie, Wilson Barry. Measuring interdiction capabilities in the presence of antiaccess strategies:Exploratory analysis to inform adaptive trategy for the persian gulf[R]. Santa Monica, CA:Rand Corporation, 2002.
[92] US Marine Corps, Project Albert Website[EB/OL].[2021-09-20]. http://www.projectalbert.org.
[93] Anthony H Dekker. Social network analysis in military headquarters using CAVALIER[C]//Proceedings of 5th International Command and Control Research and Technology Symposium, Australian War Memorial, Canberra ACT, Australia, 2000.
[94] James M, Josephine S, Susan W. Emergent behaviour:Theory and experimentation using the MANA Model[C]//Proceedings of 9th International Command and Control Research and Technology Symposium, Denmar, 2004.
[95] Galligan D P, Anderson M A, Lauren M K. MANA:Map aware non-uniform automata version 3.0.37 User's Manual[A]. Auckland, New Zealand:New Zealand Defense Technology Agency, 2004.
[96] Lauren M K, Stephen R T. Map-aware non-uniform automata (mana)-A New Zealand approach to scenario modelling[J]. Journal of Battlefield Technology, 2002, 5:1-13.
[97] James M, Josephine S, Susan W. Emergent behaviour:Theory and experimentation using the MANA model[J]. Journal of Applied Mathematics and Decision Sciences, 2006, doi:10.1155/jamds/2006/54846.
[98] 周威, 常显奇. 系统动力学基本理论仿真平台的开发与应用[J]. 指挥技术学院学报, 2001, 12(3):33-37.
[99] 李明, 刘澎. 武器装备系统论证方法与应用[M]. 北京:国防工业出版社, 2000:208-209.
[100] 杨欣. 武器效能评估模型及其自学习的研究与实现[D]. 南京:东南大学,2015.
[101] 王玉鑫, 李东生, 高杨. 目标识别对抗系统效能评估模型建立与仿真[J]. 舰船电子对抗, 2017, 40(6):48-53.
[102] 郭业波. 基于DoDAF和Petri网预警雷达系统建模及效能评估研究[D]. 成都:电子科技大学, 2018.
[103] 芦珊珊, 邵锡军. 基于扩展Petri网的雷达组网系统的建模与分析[J]. 现代雷达, 2007(11):32-36.
[104] 沈楠, 何俊, 齐锋, 等. 基于Petri网的雷达对抗仿真建模研究[J]. 现代防御技术, 2011, 39(2):167-171.
[105] 沈如松, 张育林. 基于Petri网的航天装备体系作战效能评估方法[J]. 系统仿真学报, 2005(3):538-540+551.
[106] 汪洲, 胡会东. 基于数据挖掘的装备效能验证与评估方法[C]//第18届中国系统仿真技术及其应用学术年会论文集. 合肥:中国科学技术大学出版社.
[107] 黄玉川, 饶妮妮, 刘永红, 等. 博弈论应用于干扰效果动态评估的研究[J]. 电子科技大学学报, 2007(5):876-879.
[108] 张永顺. 复杂电磁环境下基于博弈论的机载雷达对抗仿真研究[D]. 西安:西安电子科技大学, 2011.
[109] 何俊. 基于博弈论的雷达抗干扰评估研究[D]. 南昌:南昌航空大学, 2014.
[110] 杨米, 陈建忠, 牛英滔. 基于博弈论的跳频通信装备电子防御效能评估[J]. 电讯技术, 2017, 57(3):362-368.
[111] 李俭, 秦国领, 张开才, 等. 基于博弈论的测控系统作战效能评估[J]. 火力与指挥控制, 2019, 44(1):105-109.
Outlines

/