闽西日报4月20日民生版“提案之窗”栏目,就“什么是大数据? 从何而来? 有何作用?‘大数据’你了解多少?”,对我校信息工程学院院长张凌教授进行了采访,报道如下:

什么是大数据? 从何而来? 有何作用?

“大数据”你了解多少?

□ 记者 刘菲菲 罗玉文 通讯员 黄德民

每天清晨醒来,当你拿起手机时,APP会根据你的关注热点及阅读喜好为你推送适合你的最新资讯;当你在驾车前往单位的路上时,导航系统通过预测交通流量,会自动帮你选择一条最合适的交通路线;中午饥肠辘辘时,美食APP便会根据你的饮食习惯,预测你可能会喜欢吃什么,并推荐沿途的餐饮店……

以上这些情景对于我们来说,再熟悉不过,而这一切之所以能成为现实,依靠的就是大数据分析技术。当前,大数据已在商业和社会中得到广泛应用,随着越来越多的数据被记录、分析和整理,未来势必将更深刻地影响我们生活的方方面面。

市政协委员们在《关于加强我市大数据产业快速发展的建议》、《关于建设以自然人为数据单元的大数据平台的建议》等多篇提案中表达了对于大数据的关注与重视。

揭开面纱 初识大数据

大数据,又称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业决策更积极目的的资讯。

“简单来说,就是利用数据的分析结果来指导决策。”4月11日,记者采访龙岩学院信息工程学院张凌院长时,他尽力将复杂的定义尽可能简单地阐述明白。比如:某城市有A、B两个项目即将上马,目前需要二选一,究竟该如何选择?在大数据时代,我们可以通过数据分析,评估A、B两个项目的投入成本、平均利润、发展前景、历史案例成功率等等数据,经过对数据的计算、分析后,综合科学判定选择投资哪个项目。

利用海量数据作为基础,采用各种科学计算方法对数据分析,得出的结果能大大提高成功率。张院长说:“人脑的分析能力有限,利用机器计算能够分析庞大的数据,得出正确结论。”由此可知,正确结论的基础源于正确的、海量的数据。

数据采集 去伪存真

那么大数据从何而来?有何作用?张凌为我们举了一个形象的例子。

以汽车行业为例,在汽车发动机等各个重要零部件上安装传感器;那么当汽车在行驶过程中,传感器便会自动将数据传送总部的服务器;总部工作人员就可以通过实时数据,了解这辆汽车的工作状态是否正常,一旦发现数据异常,即刻可以做好预案,通知就近的维护中心做好准备,同时及时与司机沟通,保障车辆安全。这个过程便是数据收集——数据分析——应用处置。

据悉,大数据采集技术多种多样,获得数据的渠道也很多。大数据采集一般分为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。

大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。因为获取的数据可能具有多种结构和类型,数据抽取过程可以帮助将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。而对于大数据,并不全是有价值的,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对数据通过过滤“去噪”从而提取出有效数据。

“目前,我们并不缺少数据,缺的是对数据的分析、整理,也就是对数据的‘去伪存真’。”张院长表示,具有数据量级大,往往是TB级;结构复杂,传统统计分析方法无法得出;计算量大,单一软件、单一平台无法得出等特点。

(本专题约有4篇,此为首篇,未完待续,敬请关注。)

闽西日报报道链接:http://www.mxrb.cn/szb/html/2017-04/20/content_167666.htm