基于用户评论的移动政务绩效及其影响因素

时间:2023-07-14 14:00:02 来源:网友投稿

冀翠萍 马亮

作者简介:冀翠萍,山东省委党校公共管理教研部副教授;
马亮(通信作者),管理学博士,中国人民大学公共管理学院教授、博士生导师。

基金项目:山东省社科规划重点项目“山东省基层数字治理有效性机制与优化路径研究”(编号:22BCXJ04);
山东省党校系统重大招标项目“运用大数据提升基层治理效能的实践探索”(编号:2022XTZ003)。

摘要:在移動政务中,需求侧的公众体验与用户评价应该被重点关注。研究基于32个省级政务APP用户评论大数据,析出用户评论的关注范畴、主题特征与主题方向,设计用户评论数据的分析模型,构建公众对移动政务绩效评价的影响因素框架。研究发现,政务APP的用户评分整体不高,用户认为政务APP可用性问题突出、易用性发展分化、完备性尚有空间、强制性部分存在、安全性得到保障;
移动政务绩效水平显著影响公众评价,政务APP的正向完备性、正向强制性、负向可用性、负向易用性显著影响公众评价。研究启示,政府与公众“合供”受到政府态度、技术环境、公众感受等影响,移动政务要率先解决好技术制约性问题提升服务包容性,开展鼓励推广比强制推广更能获得公众好感,适时建立移动政务的互动反馈和质量提升机制。

关键词:政务APP;
移动政务;
用户评论;
可用性;
易用性

中图分类号:D630 文献标志码:A 文章编号:1007-9092(2023)03-0088-018

一、引言

随着移动互联网技术的广泛应用,公众通过移动互联网获取政务服务已成常态,“掌上办”“指尖办”成为政务服务的重要形式。政务APP(又称“政务服务移动端”)因其功能设置灵活、内容呈现丰富、信息发布及时,迅速受到政府和公众青睐,成为推进政务服务“最后一公里”的重要引擎。

各地区各部门竞相掀起政务APP建设热潮,投入大量资源和力量。有些地区以政务APP为载体,将用户需求作为撬动公共服务改革的支点,实现了从权力职能中心向公众办事中心的转变,得到了公众的认可和好评。①也有部分地区“重硬件投入、轻软件服务”,移动政务服务供给水平不高、碎片化现象严重,郑跃平、王海贤:《移动政务的现状、问题及对策》,《公共管理与政策评论》,2019年第2期。特别是系统质量稳定性不足、信息质量服务模式陈旧、服务质量重形式轻实用等问题频出,庞宇、张玲:《地方政府一体化在线政务服务平台效能提升路径探究——以“京、沪、苏、浙”在线服务平台为例》,《北京行政学院学报》,2022年第4期。不少用户在初次使用政务APP之后,不是继续使用,而是直接卸载,民众的实际使用意愿不强、活跃度偏低、整体评价也不高。一些政务APP甚至沦为“指尖上的形式主义”赵玉林、任莹、周悦:《指尖上的形式主义:压力型体制下的基层数字治理——基于30个案例的经验分析》,《电子政务》,2020年第3期。,未能有效解决基层繁琐的事务性工作,反而给其带来压力和烦恼,数字治理的理论效能与现实效果间产生偏离。

为什么移动政务没有得到普遍而充分地应用?公众使用移动政务的体验怎么样?哪些因素会影响公众评价与使用?大数据时代,公众在使用和接受移动政务服务的过程中会“留痕”,这些痕迹是公众自然状态下的主观反馈,是公众真实偏好、态度和意愿的表达,可以作为移动政务绩效的观察窗口,是移动政务研究的天然数据源。马亮:《大数据时代的政府绩效管理》,《理论探索》,2020年第6期。当前,31个省、直辖市和自治区以及新疆生产建设兵团均开展基于移动端的移动政务服务,国务院办公厅《关于印发全国一体化政务服务平台移动端建设指南的通知》(国办函〔2021〕105号)明确,各省级政务服务平台移动端是本地区移动政务服务的主要提供渠道和总入口,因此,以省级政务APP为研究对象有理论意义和现实价值。本研究采集32个省级政务APP的用户评分评论大数据,挖掘公众使用(采纳)政务APP的关键诉求,识别政务APP供给端、需求端与社会环境方面的影响因素,探寻各影响因素与公众评价间的影响关系,为提升移动政务绩效提供借鉴,也为推动数字治理中政府与公众合作提供思路。

二、文献述评

提高移动政务绩效是学术界与公共部门的共同目标,已有研究多致力于构建移动政务质量评价体系,以此来衡量和指导实践。移动政务的绩效不仅要看其评价结果,更取决于公众的接受与采纳,这是移动政务价值实现的重要前提,现有文献还围绕着移动政务的公众应用、采纳意愿和使用反馈等开展研究。

(一)移动政务质量评价

学者们从不同层面探索构建政务APP的测量指标或评价体系。Eom等从数据与技术、组织、制度以及环境四个层面构建了公共移动应用成熟度模型,评估了韩国公共移动应用的成熟度水平,认为应用的整体成熟度较低,政府没有充分考虑如何以公民为中心提供高水平服务。Eom S. J., Kim J. H.,“The Adoption of Public Smartphone Applications in Korea:
Empirical Analysis on Maturity Level and Influential Factors”,Government Information Quarterly, vol.31,no.1(June 2014),pp.S26-S36.张晓娟等从用户知情同意、信息安全控制、个人权利保障三个维度,构建了政务APP个人隐私信息保护的评价指标体系,发现我国政务APP个人隐私保护问题比较严峻。张晓娟、徐建光:《政务APP个人隐私信息保护评价指标体系研究及实证分析》,《现代情报》,2019年第7期。徐绪堪等探究了政务APP服务效能的评价办法,构建了包括信息服务能力、事务服务能力、参与服务能力、服务供给能力、服务创新能力5项一级指标,以及28项二级指标的评价体系,对部分政务APP进行实证研究发现,用户最关注事务服务能力和信息服务能力,对服务创新能力的关注度最低。徐绪堪、华士祯:《“互联网+政务服务”背景下的政务APP评价——基于直觉模糊层次分析法》,《情报杂志》,2020年第3期。复旦大学数字与移动治理实验室开展了移动政务服务质量和能力的评估实践,从可得性、有用性、易用性、满意度和安全感五个维度,构建了“掌上好办”指标体系,对省级政务APP发展情况进行了评估。复旦大学数字与移动治理实验室:《移动政务哪家强?中国“掌上好办”指数首次发布》,2021年6月18日,http://www.dmg.fudan.edu.cn/?p=8956#/reportDetail?id=8956。

(二)公众采纳移动政务的影响因素

学者们还关注影响公众采纳和使用意愿的因素。Hung基于台湾地区民众的问卷调查研究发现,感知有用性和感知易用性可以明显影响用户采纳移动政务的意愿程度。Hung S. Y.,Chang C. M.,Kuo S. R.,“User Acceptance of Mobile E-government Services:
An Empirical Study”, Government Information Quarterly, vol.30,no.1(January 2013),pp.33-44.郑跃平等通过电话问卷调查发现,公众对政务客户端的使用率较低,公众对政务客户端的需求以及对新技术的接受度显著影响其使用,而使用后的评价和反馈(满意度和感知有用性)会影响他们对政务客户端的未来使用意愿。郑跃平、赵金旭:《公众政务客户端的使用及影响因素探究——基于我国一线城市的调查》,《公共行政评论》,2016年第6期。王法硕等整合技术接受模型、信息系统成功模型与信息系统持续使用模型,发现用户满意度、感知有用性、感知易用性、系统质量、期望确认程度等因素共同对公众持续使用意愿产生显著影响。王法硕、丁海恩:《移动政务公众持续使用意愿研究——以政务服务APP为例》,《电子政务》,2019年第12期。Eid对阿联酋的移动政府服務用户进行了调查,发现用户的采纳意愿受使用态度、移动政务有用性和易用性的影响,而用户对移动政务的态度受到有用性和易用性的显著影响。Eid R., Selim H., El-Kassrawy Y. , “Understanding Citizen Intention to Use M-government Services:
An Empirical Study in the UAE”, Transforming Government:
People, Process and Policy, vol.15,no.4 (November 2021),pp.463-482.

(三)对现有研究的评述

政务服务本质上是政府供给和公众使用双向互动的过程,公众的主动参与、公众与政府的在线“合供”对电子政务发展具有显著推动作用。Ma L., Wu X., “Citizen Engagement and Co-production of E-government Services in China”, Journal of Chinese Governance, vol.5,no.1(March 2020),pp.68-89.因此,对移动政务绩效的考察,不仅要考量供给端的供给情况,还要考量需求端的应用体验,寻求供给与需求间的平衡。

当前的移动政务绩效评价,侧重对供给端“易测量”的外显功能模块进行评价和考量,缺乏对公众需求端“难测量”的主观感受和应用体验的有效关注。必须注意到,政务APP面向的是海量用户群,应用场景复杂、用户数字素养参差不齐,具体到网络速度、手机型号、操作系统、使用环境、操作习惯等均有差别,小范围外部测试可以考量应用功能“有没有”的问题,却很难考量应用体验“好不好”的问题。移动政务绩效评价中需求端的公众因素不应被忽视,如何引入需求侧视角,引发研究者的关注。de Róiste M., “Bringing in the Users:
The Role for Usability Evaluation in eGovernment”, Government Information Quarterly, vol.30,no.4(October 2013),pp.441-449.

用户采纳及影响因素研究着重从需求侧视角切入,但研究多依靠“代表性”的调查统计,尤以问卷调查为主。问卷设计中测量问题的指向性强,一定程度上带有研究者的主观意志,是实验状态下的研究设计与结果,是否适用于自然状态下的推广普及有待商榷。问卷设置的相关问题,可能会诱导受访对象在特定问题上作出适应性反应,使得调查结果受到受访对象特定“偏好”的影响,进而影响数据质量。范如国:《公共管理研究基于大数据与社会计算的方法论革命》,《中国社会科学》,2018年第9期。问卷调查过程还受到采集规模、采集区域以及采集成本的影响,问卷对象是否真正使用过政务APP、使用深度如何,是否客观公正填写问卷,研究者很难作出圈定,问卷调查客观上存在“测不准”问题。当前,大量同质性的问卷调查研究带来了表面上的繁荣,整体上却呈现出重复性和碎片化状态,局限了研究的理论生长空间。王长林:《国内外移动政务研究进展及热点述评》,《管理学刊》,2016年第2期。

互联网时代,消费者在使用互联网服务的过程中,形成了以用户评分和用户评论为代表的服务评价机制。这种使用惯习传导到政务服务领域,公众在接受或使用移动政务的过程中,也会有发表评分评论的意愿。政务服务不同于消费互联网服务,更多带有强制性和刚性特征,当用户遭遇体验不佳的政务服务时,不能像消费互联网一样选择替代品,而只能继续使用并对这些移动政务产生深刻印象,这些深刻的感受促使用户更加积极主动表达自己的意见观点,由此,政务应用中沉淀下丰富的用户体验大数据。用户体验大数据规避了调查研究中的样本规模、调查适用性、数据准确性等问题,开启了观察和分析移动政务绩效的新视角。

三、研究模型与假设

用户评分是用户对政务APP应用的综合定量评价,以分值形式直观体现对APP的认可程度,是结构化数据。通过对用户评分的综合性测量,可以有效表征移动政务的公众评价情况。用户评论是用户从自我感知出发,以自然语言形式表达对APP产品或服务的优缺点、性能、价值、满意度等的反馈,是非结构化数据。通过对用户评论的挖掘分析,可以有效提取用户对移动政务的关注点。研究基于用户评分评论数据,可以挖掘用户关注的移动政务特性,剖析移动政务公众评价的影响因素,进而提出研究假设。

(一)用户评论的关注范畴与主题特征

针对用户评论的研究主要有两种思路:一是大数据挖掘用户评论的语义信息,为改进软件质量和功能缺陷提供对策建议;
二是对用户评论进行数据标注,将非结构化数据转化为结构化数据,为发现特点和内在规律提供数据支撑。本研究采用第二种思路,分析用户评论的关注范畴,在范畴基础上界定用户评论的主题特征,以此指导对用户评论的数据标注。观察发现,政务APP用户评论主要关注三个范畴。

范畴一:系统质量。公众对政务APP系统可用性与设计合理性的关注。一方面,公众关注政务APP能否顺畅操作和稳健运行,关注政务APP的“可用性”。具体包括:政务APP应该具有较好的兼容性,最大程度地适配不同操作系统和不同型号的手机终端;
政务APP应该具有较强的稳定性,不黑屏、白屏和闪退,不易出现404、系统崩溃等错误;
徐绪堪、华士祯:《“互联网+政务服务”背景下的政务APP评价——基于直觉模糊层次分析法》,《情报杂志》,2020年第3期。政务APP应该保障较好的流畅度,用户浏览、切换等操作不卡顿,不无端出现按键无反应等情况;
政务APP应该维持一定的健壮性,保障用户不同场景下稳定的网络连接,保持均衡的内容加载速度,保障人脸识别中的高准确率和高效率等;
黄炜、李总苛、黄建桥:《移动应用程序(APP)评价指标体系研究》,《图书与情报》,2016年第3期。政务APP應该具有便捷性和包容性,支持多种方式的注册、登录、验证。另一方面,公众关注政务APP是否简洁、易用,关注政务APP的“易用性”。简约、美观的界面设计通常能给公众留下好的印象,界面设计还应该符合用户日常的使用习惯和使用场景。

范畴二:服务供给。公众对政务APP提供信息服务和事务服务能力的关注。政务APP目的是服务公众的政务事项办理,政务服务广度包括全面的服务类型、便捷的服务获取、高效的服务响应等备受关注,公众希望政务APP能满足自己的办理需求,也即关注政务APP的“完备性”。在此基础上,由于政务服务的区域化、层级化、部门化,公众还关注政务APP的服务深度与便捷度,期望政务服务能够打破公共部门间的数字壁垒,推进信息资源和政务数据的有效共享,打造“一站式”的服务能力,实现多项政务服务的联动,包括:办事流程简洁、材料提交简化、权威独立认证、办事完成率高等,公众能够便捷实现联动事项办理,关注政务APP的“易用性”。

范畴三:安全保障。公众对政务APP提供应用安全和隐私安全能力的关注。受到数据泄露、隐私侵害等事件的影响,公众隐私保护意识逐步增强,较多关注政务APP的“安全性”。政务APP隐私安全性主要体现在:不过度侵入公众个人数据空间,不过度索取通讯录、相册、音视频等权限,不过度操控用户敏感数据等。应用安全性则要保障公众在下载、使用政务APP过程中免受非法弹窗、恶意插件等的干扰,免受窃取、监听等不安全因素的侵入,提供公众安全应用的保护屏障。

既有研究中,Papadomichelaki的电子政务服务质量模型,涵盖易用性、可信性、交互环境的功能性、可靠性及信息内容和外观、交互性六个评价维度;
Papadomichelaki X., Mentzas G., “e-GovQual:
A Multiple-item Scale for Assessing E-government Service Quality”, Government Information Quarterly, vol.29,no.1(January 2012),pp.98-109.“掌上好办”指数,设计了可得性、有用性、易用性、满意度、安全感五个方面的评估指标;
复旦大学数字与移动治理实验室:《移动政务哪家强?中国“掌上好办”指数首次发布》,2021年6月18日,http://www.dmg.fudan.edu.cn/?p=8956#/reportDetail?id=8956。政务APP服务效能评价指标体系建构了信息服务能力、事务服务能力、服务参与能力、服务供给能力和服务创新能力5项一级指标。徐绪堪、华士祯:《“互联网+政务服务”背景下的政务APP评价——基于直觉模糊层次分析法》,《情报杂志》,2020年第3期。综合可见,可用性、易用性、功能完备性(功能性或有用性)、安全性是研究与实践关注的重要指标。本研究中用户评论的关注范畴也指向了这四个方面,此外,用户评论还表现出对“强制性”的特殊关注,多有评论表示被强制要求下载、强制要求安装,“强制性”问题引发的反应强烈,成为影响用户评价的重要因素。

综上,本研究既充分借鉴已有研究的共识性特征,又立足用户评论中蕴含的情境性特征,提出政务APP用户评论主要包含可用性、易用性、完备性、强制性和安全性5个方面的主题特征,各主题特征简要阐释:

可用性即关注移动政务系统是否兼容、稳定、流畅、健壮,用户能否顺利完成相关操作。

易用性即关注移动服务应用体验是否友好、人性化;
服务事项是否清晰、易于查询和使用;
服务流程是否科学、集约且完整;
客户服务是否便捷触达并实际解决问题。

完备性即关注移动政务提供服务事项的范围和种类是否丰富,是否满足用户的多样化需求。

强制性即关注移动政务是否存在强制下载、强制使用、强制更新、强制推广、强制纳入考核等情况。

安全性即关注移动政务是否能够保障数据的安全性和准确性,是否存在过度索取权限、窥探用户隐私问题。

进一步分析,用户在表达应用体验的时候,既有赞赏肯定的积极表达,也有吐槽抱怨的消极表达,代表了用户态度的两个方向,不同方向的态度也形成了用户对移动政务评价的不同影响,需要加以明确区分。这里用“正向”与“负向”表征区别,“正向”表示与主题特征一致方向的评论,“负向”表示与主题特征相反方向的评论,表1举例说明了用户评论的主题特征和“正向”“负向”表达。特别指出的是,就“强制性”特征而言,用户评论中明确指出存在强制性问题,归为强制性“正向”表达;
用户评论中明确指出不存在强制性问题,归为强制性“负向”表达。

综上,3个关注范畴、5个主题特征以及2个主题方向,共同构成了用户评论数据的分析模型。如图1所示,从用户单条评论数据出发,首先分析评论的语义信息,归属评论范畴,进而拆解出主题特征,然后分析主题特征的情感倾向,确定评论主题的方向,进行编码标注。由此,非结构化的原始评论数据就转换成了结构化的评论主题数据,为后续研究分析提供数据支撑。

(二)公众对移动政务绩效评价的影响因素

公众对移动政务绩效的评价体现为政务APP的用户评分。政务APP用户评分受到多重因素的影响:首先,用户评分受到供给端供给能力的影响,政务APP的上线时长、更新频次等一定程度上体现了公共部门提供移动政务服务的能力。其次,用户评分受到需求端用户应用体验的影响,用户评论的各主题特征、主题方向清晰体现了用户的真实体验。最后,用户评分还受到宏观环境的影响,经济社会的网络化、数字化、移动化发展趋势塑造了用户的使用偏好和惯习。基于此,本研究聚焦公众对政务APP的综合评价,侧重从供给能力、用户体验、社会环境三个层面探讨其对评价结果的影响关系。

1.供给能力

应用商店中反映政务APP供给能力的事项有:开发者主体、安装包体积、上线时间以及版本更新日志。开发者主体是注册登记政务APP的公共部门。数据收集发现,省级政务APP开发者主体以各地大数据(管理)局、政务服务中心为主,也有部分是省级运维公司,完善的认证标识能够保障政务APP的权威性和合法性。安装包体积是政务APP下载到手机上的内存占用量。数据收集发现,省级政务APP安装包体积普遍在100MB左右,而当前主流手机内存为128GB以上,随着手机内存的不断扩大,用户在选择和评价APP应用时,基本忽略APP安装包体积带来的影响。也就是说,不会因为政务APP要占用一些手机内存,而选择不使用政务APP。

上线时间是政务APP在应用商店对外提供服务的初始时间。通常认为,上线时间能够表征各地政务APP服务开展的成熟度,开展应用服务的时间越早,政务APP的成熟度越好,提供的政务服务质量也就越高,就越能获得用户的青睐。版本更新日志详细记录了政务APP更新版本号、更新时间、更新内容等。版本更新是运维主体对政务APP功能、服务和内容进行迭代升级,以保证政务服务的效能。一般认为好的APP迭代周期是22天,张晓娟、谢志成、邓福成:《“互联网+政务”环境下政务APP建设的探索——以政务APP“云端武汉”为例》,《电子政务》,2018年第2期。互联网时代让APP迭代更新周期越来越短,版本更新频次越高、迭代周期越短,政务APP对公众的需求和诉求响应越及时,用户对政务APP的评价也就越高。

据此,我们提出如下研究假设:

H1a:上线时间越早,用户对政务APP的评价越高。

H1b:迭代周期越短,用户对政务APP的评价越高。

2.用户体验

用户关注政务APP“可用性”表现,如果遇到APP打开就崩溃、卡机、黑屏、无限期加载,会导致用户直接卸载APP并给予差评,梁甜、彭国超、邢飞:《我国智慧城市APP应用现状及问题分析》,《图书情报工作》,2019年第8期。APP运行过程中系统不稳定,无法连接到网络,无法完成正常的查询、缴费、提交等操作时,用户的体验会变得很差,从而影响用户对APP的整体好感和评分。范建军:《移动知识付费平台评论分析——以“得到”App为例》,《图书馆学研究》,2018年第5期。

用户关注政务APP“易用性”表现,APP提供了某项服务或功能,但是用户在办理过程中无法顺畅进行,或者环节描述不清晰,或者流程繁杂、冗长,或者应用界面复杂混乱,用户的交互使用体验不好,容易引起消费者的反感或低满意度。蒋敏娟、翟云:《数字化转型背景下的公民数字素养:框架、挑战与应对方略》,《电子政务》,2022年第1期。

用户关注政务APP“完备性”表现,有研究者对消费类APP的用户评论分析发现,在评分为5分的评论中,提及最多的是对内容和功能的满意度,平台提供的内容和功能超过了预期,用户往往给予高评分。范建军:《移动知识付费平台评论分析——以“得到”App为例》,《图书馆学研究》,2018年第5期。APP的发展最重要的就是要提供独特性内容和个性化的功能,只有对内容和功能等各类资源进行深度整合才能获得用户的关注和好感。郭宇、李晓彤、杜杏叶等:《移动环境下App系统应用效果评价及实证研究》,《图书情报工作》,2018年第9期。

用户关注政务APP“强制性”表现,变相地要求基层工作人员必须下载、刷日活,以及给公众使用带来时间或场景上的阻隔,都会引起公众的不满和质疑,陈则谦、刘坤:《地方政府政务APP的可用性调查与分析——以河北省为例》,《电子政务》,2017年第3期。致使数字治理塑造的服务型政府形象大打折扣。

用户关注政务APP“安全性”表现。隐私安全性是互联网时代公众较为关注的问题,无论是消费互联网还是“互联网+政务服务”,公众对隐私安全的担忧会影响到其使用意愿。Lu H. P., Hsu C. L., Hsu H. Y., “An Empirical Study of the Effect of Perceived Risk Upon Intention to Use Online Applications”, Information Management & Computer Security, vol.13,no.2(April 2005),pp.106-120.

據此,本研究提出如下研究假设:

H2a:政务APP的可用性越好,用户评价越高;
可用性越差,用户评价就越低。

H2b:政务APP的易用性越好,用户评价越高;
易用性越差,用户评价就越低。

H2c:政务APP的完备性越好,用户评价越高;
完备性越差,用户评价就越低。

H2d:政务APP的强制性越高,用户评价越差;
强制性越低,用户评价就越好。

H2e:政务APP的安全性越好,用户评价越高;
安全性越差,用户评价就越低。

3.社会环境

移动政务的服务质量同社会环境有关,包括互联网基础设施的支持、电子政务发展绩效等。既有研究显示,网民规模(互联网普及率)与政务服务应用密切相关,用户使用移动政务过程消耗的时间、数据流量等服务成本负向影响移动政务的使用意愿。张敏、薛云霄、张艳:《智能化社会治理视阈下移动政务用户采纳行为之知识基础、形成机理及研究展望》,《现代情报》,2020年第9期。移动互联网普及率越高,公众的信息技术应用水平也就越高,公众在使用移动政务的过程中需要花费的金钱和时间就越少,也就越能推动公众使用移动政务或对其抱有好感。

既有研究发现,城市层面的电子政务绩效对公众使用有显著正向影响。马亮、刘柳:《电子政务绩效如何影响公众使用——基于全球国家和城市的实证研究》,《上海行政学院学报》,2019年第4期。从电子政务到“互联网+政务服务”,其发展绩效均是地区信息技术能力的重要体现,政务服务发展绩效越好,表明为公众提供移动政务的能力就越强,公众对移动政务的满意度就越高,也就越可能持续使用移动政务。

据此,本研究提出如下假设:

H3a:本地区移动互联网普及率越高,用户对政务APP的评价越高。

H3b:本地区政务服务发展绩效越好,用户对政务APP的评价越高。

四、研究设计

自2020年初新冠肺炎疫情暴发以来,不见面、无接触等疫情防控需求促进了“互联网+政务服务”的深度应用,移动政务的应用服务更加充分,用户端的需求诉求更加突出,供给端的迭代优化更加鲜明。政务APP应用和用户评论的活跃,为研究供给了丰富的数据样本。本研究以31个省(自治区、直辖市)和新疆生产建设兵团(不含港澳台)运营的政务APP为研究对象,取各政务APP自2020年1月1日—2022年1月1日,在应用商店中的相关数据为数据源。

(一)数据来源与处理

1.抓取数据。抓取政务APP在iOS平台和Android平台(华为、小米、VIVO、OPPO)的用户评分、用户评论、用户下载量、版本更新情况等数据。部分政务APP在五个手机应用商店存在缺失,“豫事办”仅建设有Android系统的客户端,“新湘事成”未在iOS平台上架,“青松办”未查询到iOS系统客户端、未抓取到小米、VIVO和OPPO平台数据,“新疆政务服务”只建设Android系统客户端,“新疆生产建设兵团”未找到客户端入口。经多平台数据抓取后,共获取原始数据34512条。政务APP上线时间单独采集,不受时间范围限制。

2.清洗数据。在线用户评论部分存在较为简单或陈述不清问题,赖胜强、唐雪梅、朱敏:《网络口碑对游客旅游目的地选择的影响研究》,《管理评论》,2011年第6期。数据噪音大、评论质量良莠不齐干扰用户需求挖掘的准确性和可信性,姜巍、张莉、戴翼等:《面向用户需求获取的在线评论有用性分析》,《计算机学报》,2013年第1期。因此,对用户评论数据进行预处理。剔除用户评论中的噪声数据,如重复评论、表情符号、外文符号以及特殊字符等。对用户评论中存在的网络语言、简写字符,如zf、lj,统一明确意思表达,并将其转换为中文。另外,部分评论数据是无意义的情绪表达、吐槽、广告等,剔除该部分数据。数据清洗完成后,剩余数据量22300条。

3.抽取样本。各政务APP发展客观上不均衡,用户评论数据量存在较大差异。iOS平台上“浙里办”“闽政通”等清洗后数据2000余条,而“广西政务”“秦务员”等清洗后数据仅有百余条。研究表明iOS平台的用户评论信息质量最好,华为平台的用户评论数据也可借鉴使用。冀翠萍、马亮:《如何评价移动政务服务质量?——基于省级政务客户端用户评论的探索性研究》,《湖北社会科学》,2021年第11期。本研究优先使用iOS平台上的用户评论,iOS平台数据不足时取华为平台数据作为补充。为保证各研究对象样本数据量相对均衡,以政务APP用户评论量的中位数和平均数作为衡量标准,本研究定义每个样本的数据量维持在150条—300条,超过300条的评论进行等距抽样,缩减样本量,不足150条的取研究对象在华为平台上的用户评论;
不足50条的不再保留样本。最终获得有效样本27个,样本数据量5100条。

4.标注特征。本研究组织3名数据标注员,在进行培训和测试的基础上,依据主题特征对样本数据进行人工编码。根据用户评论内容的主题表达,仅有一个主题表达的标注一个特征,有多个主题表达的标注多个特征。与主题特征方向一致的“正向”表达,在对应主题特征上标注为1;
与主题特征方向相反的“反向”表达,在对应主题特征上标注为-1;
没有相关明确表达的主题特征,标注为0。例如:“我真的想不明白,堂堂一个政府软件到处都是Bug,交互性极差,还强制非得要用!”数据标注规范是:可用性为-1,易用性为-1,完备性为0,强制性为1,安全性为0。数据全部标注完,3名数据标注员交叉验证标注特征,有争议性的标注采用3人商讨的方式,最终确定标注特征和方向。

(二)變量测量

1.因变量

本研究的因变量为公众对政务APP的评价,以用户评分来测量。手机应用商店中iOS平台和Android平台的用户评分值均不相同,需要进行统一量化。APP评分是用户群体评分的综合结果,需要考虑各手机平台上APP用户群体的量级(即用户下载量)。因此,以用户下载量为权重进行加权平均,计算得到用户评分。

政务APP用户评分=(∑各手机平台APP评分*各自用户下载量)/∑各手机平台用户下载量。依据该计算公式得出每个样本APP的用户评分,评分越高代表公众对该样本的评价越高,评分越低代表公众对该样本的评价越低。变量操作化结果显示,政务APP用户评分是取值1~5之间的连续数值。

2.自变量

本研究的自变量是可用性、易用性、完备性、强制性、安全性5个主题特征的正向与负向评论分布情况,以及直观展现政务APP供给能力的上线时长、迭代周期数据。

主題特征自变量为每个特征每个方向上的评论量占抽样评论量的比值,自变量是小于1的连续型数值变量。由于部分评论有多个特征标注,所以五个特征评论占比的总和存在大于1的情况。如:正向可用性=(∑可用性标注为1的评论量)/样本APP评论量;
负向可用性=(∑可用性标注为-1的评论量)/样本APP评论量。按照该测量方式依次得到5个主题特征正向与负向的变量值。

政务APP上线时长是上线时间与采集截止时间的时间间隔,取样本在iOS、华为、小米、VIVO、OPPO这5个平台上线时长的均值。政务APP更新版本数通过分析研究对象的版本更新日志获得,公共部门在各平台上线时间和更新频次是不同的。因此,取iOS、华为、小米、VIVO、OPPO这5个平台上更新版本数的均值,即迭代周期=采集时间范围/更新版本数均值。上线时长、迭代周期均为连续型数值变量。

移动互联网普及率取2020年末地区移动互联网使用人数与2020年末人口规模的比重,如果指标大于1则取值为1,数据均来自于国家统计局网站各省份年度数据。因2021年度统计数据不再显示移动互联网使用人数,故使用2020年度统计数据。

政务服务发展绩效数据来源于中央党校(国家行政学院)电子政务研究中心发布的《2021省级政府和重点城市一体化政务服务能力调查评估报告》中省级政府一体化政务服务能力总体指数数据。

3.控制变量

本研究控制人口规模和地区经济发展水平这两个变量。其中,人口规模以各地区2020年末常住人口(万人)为准;
地区经济发展水平用人均GDP表示,取2020年末地区经济总量与2020年末地区人口规模的比值;
对人口规模和地区经济发展水平,均取自然对数,以使其接近正态分布。以上数据均来自于国家统计局网站各省份2020年度数据。

五、研究结果

(一)描述性分析

如果用户评分数太少,则无法保证用户评分的客观性。各地区政务发展水平差异较大,很难确定缺失数据的适宜数值。因此,本研究对缺失数据不做特别处理。对于评分数小于50的做空值处理,因此,“新湘事成”“青松办”“新疆生产建设兵团”的评分情况未纳入统计,其余29个地区在五个平台的用户评分进行统一量化。各省级政务APP用户评分如图2所示,表2报告了主要变量的描述性统计分析结果。

从用户评分来看,政务APP用户评分还不高。评分均值为2.625分,整体服从正态分布。上海市的评分最高,“随申办”用户评分为4.42分,广东、贵州紧随其后,“粤商通”和“多彩宝”的评分均在3.5分以上,评分较低的有新疆、宁夏、黑龙江、辽宁、山西等省份,仅为1.5分左右。整体上看,省级政务APP的用户评分不高。我们监测2021年12月28日APP Store上的免费APP排行榜,前50名中有78%的APP评分在4.0分以上,仅有建行生活、云闪付、中国农业银行、微博等11个APP的用户评分低于4.0分。政务APP用户评分差,体现了服务质量离用户需求和预期还有一定差距。

相关性分析发现,政务APP用户评分与政务服务发展绩效在0.01水平上显著正相关(r=0.526)。因此,用户评分与“好差评”制度的评测结果一致,佐证了用户评分数据的客观性与科学性。

从上线时长来看,地区间发展差异较大。“秦务员”上线较晚,2020年12月份左右开始提供服务,而“浙里办”“随申办”的iOS版本早在2014年初即开始提供服务。从更新版本数和迭代周期来看,政务APP版本更新平均时间间隔36.745天。各省份政务APP的版本更新不均衡。“辽事通”更新周期最短为13.6天,“全省事”更新周期最长为87.73天,这与各地区开展移动政务的广度和深度密切相关。

从五个主题特征的正向与负向表现来看,用户评论表现出鲜明特点:

一是政务APP的服务可用性问题突出。正向可用性均值为0.006,负向可用性均值为0.479,“我的宁夏”负向可用性高达0.752,也就说样本评论中有75.2%的评论指出该APP存在可用性问题。

二是政务APP的服务易用性发展分化。正向易用性均值为0.025,负向易用性均值为0.191,消极的易用性体验是公众的重要诉求点。但同时看到,“甘快办”样本评论中仅有3.9%的评论指出存在易用性问题,是负向易用性占比最低的,说明用户在使用政务服务的过程中相对顺利,用户没有对功能和流程的过多质疑。

三是政务APP的服务完备性尚有空间。正向完备性均值为0.124,负向完备性均值为0.029,平均仅有2.9%的评论指出政务APP提供服务不够丰富,无论是正向评论还是负向评论,占比均不高,用户评论中对服务是否实用、完备的关注还不足。

四是政务APP的服务强制性部分存在。正向强制性均值为0.093,特别是“浙里办”“闽政通”等反映强制性问题的用户评论占比均超过25%,说明这些地区政务APP强制性推广给公众的冲击比较明显,公众的反感情绪较重。

五是政务APP的服务安全性得到保障。正向安全性均值为0,用户评论中较少有对政务APP安全保护的表扬和夸赞;
负向安全性均值为0.024,是五个维度负向评价中占比最低且标准差最小的,用户对政务APP的个人隐私信息保护和数据安全持肯定和信任态度。

通过表2可知,负向强制性、正向安全性均值均为0,标准差也接近于0,回归到用户评论原始数据发现,在5100条样本数据中仅有5条表示对自愿使用、安全使用的表达,不具有统计学意义。因此,本研究在后续分析中剔除负向强制性、正向安全性两个变量。

(二)回归分析

本研究数据为截面数据,因变量是连续数值变量,采用普通最小二乘法(OLS)进行估计。表3汇报了用户评分影响因素的回归结果,模型1至模型6的方差膨胀因子(VIF)均小于5,不存在多重共線性。模型6中,F值通过统计显著性检验,R2为0.769,说明模型的解释力较强。

回归结果显示,上线时长、迭代周期影响不显著,H1a、H1b假设未得到支持。移动政务上线时长、迭代周期,并不能反映用户需求的满足能力,也未能体现政务服务的服务质量,所以上线时长与用户评分未发现显著影响关系。

正向可用性、正向易用性对用户评分的影响不显著,用户并没有因为在可用性和易用性方面的积极体验,而对政务APP服务给予较高评价;
负向可用性(β=-2.071,p<0.01)、负向易用性(β=-2.057,p<0.1)对用户评分的负向影响显著。由此可见,可用性、易用性体验越差,用户对APP的评分就越低。因此,H2a、H2b部分得到支持。

正向完备性(β=1.934,p<0.05)对用户评分的影响显著,用户体验了丰富多彩的政务服务和功能,给予政务APP较高评价;
负向完备性对用户评分的影响不显著,用户并没有因为服务功能不够完善而给予低评价。因此,H2c部分得到支持。正向强制性(β=-1.861,p<0.05)对用户评分的负向影响显著,因此,H2d部分得到支持。负向安全性对用户评分的影响不显著,因此,H2e未得到支持。

移动互联网普及率对用户评分的影响不显著,H3a假设未得到支持;
政务服务绩效显著正向影响用户评分(β=0.046,p<0.05),H3b假设得到支持,但其影响系数较小、影响能力有限。

六、结论与展望

本研究基于用户评分评论大数据,观测公众对移动政务的评价,为理解用户视角下移动政务绩效的影响因素提供了新视角,以此指导政务APP优化完善的方向,也为理解公众参与政务服务提供经验启示,以此助推政务与公众在线“合供”的效能。

(一)研究发现

第一,频繁的版本升级无益于公众的积极体验。研究样本中,更新周期在35天以内的有17个省份,65.4%的省份能够及时进行产品升级,说明各省份已经意识到移动政务的重要性,并能够根据发展需求及时迭代应用。但是,用户评分并没有因为产品的频繁升级而提高,过于频繁的迭代升级,如“辽事通”“皖事通”更新周期均在20天以内,反而带来性能与功能测试的不充分,用户体验不佳,无益于提升政务服务效能。

第二,政务APP可用性、易用性是服务提供的基础“门槛”。移动政务的可用性和易用性是“老生常谈”却也极易被忽视的问题,其强技术性特征导致公共部门管理层面较少关注。移动政务的“底座”不牢,可用性和易用性问题频发,成为阻碍政务服务有效提供的“门槛”,用户使用率和满意度受到崩溃频次、程序闪退、出错频率、无限次循环等的影响。部分政务APP的更新日志中,多有“优化登录”“优化性能”“优化负载”的记录,但是大量用户评论又指向了可用性和易用性的不佳表现,说明这些基本问题并没有解决好。疫情防控工作中,多地出现了健康码系统、核酸检测系统无法有序运转的情况,不仅阻滞了正常工作生活秩序,而且伤害了公众对政府数字治理能力的信任。

第三,公众对政务APP完备性更显包容姿态。移动政务的辐射面成为各地区间比拼的重要筹码,服务事项的数量尤其成为重要衡量指标。部分地区提供了贴近公众工作生活需求的多项服务,如“随申办”的用户评论多有提及家政人员、维修服务、垃圾分类、孕婴服务点等痛点问题的解决,提升了公众的获得感和满意度。必须看到,公众在政务APP完备性方面的消极体验并未显著影响其评价,一方面,政务APP可用性、易用性优化不佳,用户甚至无法顺利实现简单业务办理,还没有机会充分尝试和体验政务服务,所以也很难对功能的拓展提出意见和建议。另一方面,与公共部门高歌猛进地推进服务覆盖面相比,用户对服务广度的表现更显包容,有评论提出“广泛接入可以慢慢来,但现有的得能用好用才行”。

第四,公众在积极体验的基础上可接纳强制性,信任政务APP安全性并认为这是应然状态。从强制性方面来看,评论中多有对强制性下载、强制性升级、强制性使用、刷日活工作量等的吐槽,部分地区甚至将推广使用情况纳入考核和工作绩效评价,特别是在可用性、易用性体验不佳的基础上,叠加强制性体验,会引起较大社会反弹,引发公众对政务APP的负面评价。但同时,部分政务APP可用性和功能性实现较好,即使是强制性使用,公众认为这是政务服务便民化的手段,会表现出包容态度。从安全性方面来看,公众信任政务APP的安全性保障且认为这是理所应当的。一方面,政务APP会率先响应国家在技术规制、数据采集方面的新要求,为私营部门的互联网应用作出表率,用户关于安全性问题反馈相对较少,对政务服务的安全性表现出信任。另一方面,数据安全是公共部门提供服务的基本准则,是公共部门的应然状态,公众并不会因为移动政务呈现较好的安全性而给予高分评价。

第五,本文的一个有趣发现是,政务APP的主题特征对用户评分的影响存在较强的非对称性。完备性和强制性只有是正向评价时才同用户评分存在相关关系,而负向评价则不存在显著相关关系。与之相反的是,可用性和易用性的负向评价同用户评分显著相关,而二者的正向评价则对公众评价的影响不显著。安全性的评价无论是正向还是负向,都同用户评分不存在显著相关关系。换句话说,对于完备性和强制性需要做到的是如何获得用户“青睐”,而可用性和易用性则需要避免“差评”。

(二)理论贡献与实践启示

移动政务发展过程中,用户发表评论提出意见建议,政府吸纳意见建议并优化完善服务,是吸纳公众参与数字治理的有益尝试,是数字技术条件下政府与公众“合供”的理想状态。但是,“合供”的效用表现出不确定性,可能向积极有效的方面发展,也可能效用不足甚至带来风险,“合供”受到多方面影响。

其一,组织因素。政府对待“合供”的态度十分关键。政府感受到“合供”带来的效益,会积极与公众互动,促进数字应用和服务发展。相反,政府对普通公众的参与缺乏信任,甚至对公众反馈的需求诉求不以为意,政府吸纳公众参与数字治理的效果就有待商榷。袁千里、张云翔:《基于信息技术的共同生产:作用、影响因素和挑战》,《公共行政评论》,2022年第1期。即使政府积极地向公众供给服务,公众似乎并不感兴趣,而公众感兴趣的政府却没有解决好,政府供给与公众需求间存在偏差。

其二,技术因素。数字技术是否被有效应用至关重要。移动政务服务平台的性能、界面和功能设计可能会影响公众参与的积极性,本研究中可用性、易用性尚且实现不好,移动政务平台便很难支撑“合供”。特别是,移动政务发展的目的是减轻公众行政负担,实践中却因为建设不当、设计不佳、运营不力而导致公众的行政负担不减反增,马亮:《数字政府如何降低行政负担?》,《行政管理改革》,2022年第9期。影响民众对于数字治理的信任和积极性。其三,公众因素。公众感知到被尊重、被认可、被鼓励,这对于其参与数字治理“合供”具有积极影响,而部分政务APP推广中采用行政性强制手段,极易引发用户的排斥和反感,公众也对“合供”是否能真正影响到政府决策提出质疑。

数字时代的政府治理不只关注结果还要关注过程,不只关注技术还要关注对象,不只关注政策意图,还要关注人民感受。尹振涛、徐秀军:《数字时代的国家治理现代化:理论逻辑、现实向度与中国方案》,《政治学研究》,2021年第4期。组织、技术、公众等多个方面的因素共同作用于移动政务,任何一个方面存在“短板”,都会导致整体服务效能的降低。

从短期看,要率先解决好技术制约性问题、提升服务包容性。移动政务平台需要最大限度地确保各类群体均可正常使用。移动政务可用性依赖于网络环境、手机型号、系统版本、集成环境等全方面、全流程压力测试,对此,私营部门的应用提供了学习榜样,可以向有着庞大用户市场和海量数据规模的互联网平台借鉴,获得其技术支持和保障。服务易用性需要从应用场景入手,设计简约化的服务架构,构建稳健性的服务流程,开展容错性的服务提供,用户既可以实现跨部门、跨层级的业务办理,同时又解决重复认证、重复提交等多源数据问题,实现政务服务事项的“小而精、精而美”。

移动政务的版本升级要保持适度且稳健,保证升级后功能的兼容性、性能的稳健性和用户使用习惯的连续性。频率较低的升级无法及时响应新技术、新要求,造成政务APP服务的滞后和空置;
过于频繁的升级尽管在功能上会有新亮点和特色,但是却带来性能不稳定、功能不兼容、场景变化大等问题,成为用户使用政务服务的负担。

从中期看,鼓励型机制比压力型机制更易获得公众好感。科层制运行能够在一定程度上降低工作协调、资源统筹,实现政令通畅;
然而,科层制在处理政府与社会的关系时暴露出乏力和不适应现象。部分地区通过行政命令、对下指挥的方式推广政务APP,特别是对医护人员、教师等进行下载安装次数的绩效考核,将政务APP作为健康码使用的唯一、强制性载体,这些压力型机制成为推广政务APP的客观风险。用户感知到客观风险的存在,滋生对政务APP反感和挑剔情绪,当无法获取到与自身价值观、经验和需求相契合的政务服务时,就容易产生对政务服务推广部门的负面评价。

与之相比,一些地区开展了优惠券、用户积分制等活动,通过偏向物质激励的方式鼓励公众应用政务APP,还围绕着公众需求的痛点,推出应用场景,用户感知到公共部门对其意见建议的重视和鼓励,推动用户接受并采用政务APP,且作出高质量评价。由此可见,正向的鼓励型机制更易形成公众信任、政务服务效能、公众满意度间的良性互动。

從长期看,要建立移动政务的互动反馈和质量提升机制。公共部门致力于提升移动政务绩效,其本质是政务供给改善的实然状态与公众期望满足的应然状态间的统一,关键在于政府能否准确识别、评价并使用公众关于移动政务的需求,这是推动政务与公众良性互动发展的关键,也是维护政府公共价值的重要前提。用户在使用移动政务的过程中以用户评论、用户留言等形式反馈使用体验,真实承载着公众诉求与期望,可考虑建立移动政务对用户反馈的吸纳和互动机制。翁列恩、胡税根:《公共服务质量:分析框架与路径优化》,《中国社会科学》,2021年第11期。一方面,增强移动政务提供与公众需求间的关联度,通过采集移动政务的用户评价,感知、识别、判断公众需求,并以需求为牵引,改进政务服务提供,也即“你提供的是我想要的”。另一方面,增强公众对政务质量持续提升的信任度,配合相应的激励机制,提升公众在移动政务“合供”中的自我效能感,形成“公众参与—政府反馈—公众再参与—政府再反馈”的良性循环,保障公众主动作用的发挥,这也是对数字技术条件下多元共治现代化治理模式的主动回应。

本研究从用户评论角度探讨了公众对移动政务的绩效评价及影响因素,为移动政务研究提供了新视角、新思路。但是,本文还存在部分局限,有待未来研究完善深化。首先,由于缺少评论者人口背景变量的数据,当前的分析以描述性为主,深度还不够。此外,用户对政务APP的应用体验较好,可能使用完成就离开了,并不做评论;
那些应用体验不佳的才抱着愤懑的情绪发表评论,用户评论本身隐含着代表人群的片面性。未来研究可以通过评论文本的内容分析强化数据支撑,运用大数据聚类分析、社会网络分析等方法,在移动政务的需求侧研究中探索更多有趣发现。

(责任编辑:胡重明)

猜你喜欢易用性可用性政务软件易用性评测探究电子测试(2022年8期)2022-05-30分层多态加权k/n系统的可用性建模与设计优化系统工程学报(2021年4期)2021-12-21基于辐射传输模型的GOCI晨昏时段数据的可用性分析海洋信息技术与应用(2021年1期)2021-06-11老年人家电产品易用性设计研究艺术科技(2016年11期)2017-05-05中国国际人才交流大会网站易用性评价调查问卷国际人才交流(2017年4期)2017-04-14身份认同对网络购物行为的影响求知导刊(2017年1期)2017-03-24医疗器械的可用性工程浅析中国医疗设备(2017年2期)2017-03-09可用性差距阻碍数字化转型网络安全和信息化(2017年5期)2017-03-08移动应用界面动效易用性研究工业设计(2016年6期)2016-04-17空客A320模拟机FD1+2可用性的讨论河南科技(2015年7期)2015-03-11

推荐访问:绩效 政务 因素