一、企业简介
1.1 应用企业介绍
中国远洋简称中远集团或COSCO，是中华人民共和国中央人民政府直管的特大型中央企业之一，中国远洋运输集团成立于1961年4月27日，成立之初是一个仅有4艘船舶、2.26万载重吨的小型船运公司。发展至2012年，中远集团已经成为以航运、物流码头、修造船为主业的跨国企业集团，已经确立起在国际航运、物流码头和修造船领域的领先地位，稳居《财富》世界500强。2012年在《财富》世界500强企业中排名第384位。
二、项目建设背景及建设方案
1.3 项目建设背景
随着全球航运市场的飞速发展，中国航运产业也逐渐走上了世界舞台的顶端，与发达国家相比，我国航运业的发展仍处于起步阶段，面对竞争愈演愈烈的国际航运市场，中国航运企业所面临的来自内外部环境和外部环境的压力不容忽视，主要包括全球航运市场运力严重过剩和需求不振、航运大联盟趋势造成巨大压力、国内航运市场开发带来的竞争加剧、国外贸易保护主义政策带来的压力等。
当今，在“互联网+”的新兴革命浪潮中，汇集了“云大智物移”五项技术主体，特别是自2015年以来，我国正式步入“互联网+”时代，同时也真正开启了大数据时代，所有的数据和信息都将汇聚云端。大数据技术是众多新兴技术中的领军技术，未来的时代必定是数据时代，数据成为各行业竞争中必争的制高点。随着大数据时代的到来，对大数据商业价值的挖掘和利用逐渐成为中国航运产业争相追捧的利润焦点。航运产业利用大数据分析，能够总结经验、发现规律、预测趋势，这些都可以为辅助决策服务。
中国航运大数据平台的建立将全面贯彻党的十八届三中全会精神，顺应海运海洋经济强国的国家战略和“一带一路”战略，为航运产业的整体升级推波助澜。航运大数据平台的构建，将是大数据应用在航运领域的全新拓展，同时也是大数据全面助力航运产业链升级的重要起点。
1.4 项目建设方案
（一）建设目标
1. 建设航运大数据平台。为中国船队和世界船队提供船舶调度、运力调度、航线调度、集装箱调度提供决策依据。
2. 通过数据采集和抓取技术，实现全国所有港口异构航运数据的集中管理。
3. 通过对航运数据清洗、筛选、整理，实现港口数据、船舶数据、航线数据、集装箱数据、货物数据、代理数据的及时、准确、全面展现。
4. 平台成为中国权威的集装箱进出口统计分析数据来源。
5. 通过航运现场操作及平台分析，为港口改进装卸效率提供依据。
6. 实现对未来航运市场的精准预测，并将数据服务扩展至智慧港口的建设、新造船价格指数的制定、全球航线规划布局优化等多领域，全力打造可持续发展的航运供应链生态圈。
（二）建设内容
本项目的主要运用互联网+大数据方法论，以实现航运业同互联网的完美结合为目的，解决在大数据时代航运业的大数据管理平台的短缺，通过对应的管理平台对客户及公司关注的部分用以直观的、简洁的、具体的表现形式，呈现出来。让管理层能够更方便的做出跟精确的计算，乃至具体业务调整。建设内容如下：
1. 研究在现代互联网条件下，搭建覆盖全国、涉及全国各船公司的航运大数据平台。包括：1）平台的网络结构；2）平台服务器的虚拟化技术；3）平台的存储技术；4）数据推送技术App和微信推送。
2. 建立数据交换平台。包括：1）研究异构数据采集技术；2）异构数据抓取技术；3）前置机技术；4）异构数据分析整理技术。
3. 研究海关报文异常回执预警及分析处置技术。
4. 分析集装箱业务特点，研究集装箱进出口指数、集装箱航线指数、集装箱装载货物分布指数。
5. 船公司航线分析研究。通过中国各口岸航线分布指数，为船公司船舶航线调整提供依据。
三、系统简介
1、平台整体设计
图1 平台整体架构
从全国各口岸公司抓取业务数据，通过EDI数据交换平台，把获取的报文数据存储在数据缓存区中，再通过数据处理工具ETL对数据进行清洗，最后把有价值的数据储存在数据存储区中，利用BI平台实现数据统计分析、数据共享及业务监控功能。
另外，航运大数据项目更是融合了大数据Hadoop集群技术，FOCUS系统积累的大量历史数据，需要进行处理和加工，项目采用Hadoop集群进行分布式处理与计算，并采用R语言，Maout等通用机器学习与数据挖掘工具进行操作，并使用Web技术进行显示，提高客户满意等方式。
Hadoop集群技术：
图2 系统整体架构
2、平台系统架构
图3 平台系统架构
3、平台技术架构
根据系统现状和当前需求，架构示意图如下：
图4 平台技术架构
4、系统网络架构
航运大数据网络架构主要分为4层，分别是接入层、汇聚层、核心交换层以及服务层。接入层是数据接入的入口，即数据接口，各种数据通过埋点技术、数据挖掘技术、网络爬虫技术等进入接入层，并且在汇聚层进行汇聚，汇聚层主要包括Hadoop Srevers、DB（DataBase，数据库）以及CloudStorage（云存储），数据到达核心交换层后，会对数据进行共享存储，数据库会对数据进行交换处理，同时网络上的数据也会通过Web Servers等，通过防火墙将一些危险数据进行隔离，从而实现数据的交换以及应用。
图5 平台网络架构
5、平台技术方案
（1）数据采集
通过调用Webservice接口、FTP、MQ集群等方式实现数据抽取工作。
（2）数据处理
① 数据抽取
② 数据清洗
③ 数据转换
（3）数据存储
把转换完成的数据存储到数据仓库中，进行持久化操作。
（4）数据分析
通过BI平台，按照需求对数据进行统计分析，功能图如下：
图6 平台数据分析
航运大数据平台将集装箱进出口从6个纬度提出大数据的服务理念：船舶大数据、航线大数据、港口大数据、集装箱大数据、货物大数据、代理大数据。
① 船舶大数据：将对全国口岸所有进入中国的船公司进行集装箱进出口总排名开始，进行市场份额、占比分析、该船公司在所有港口的市场份额和占比排名甚至在中国所有码头的市场份额和占比，以及同比环比数据分析，为船公司布局提供决策依据。
图7 船舶大数据分析
② 航线大数据：从全国集装箱总排名开始，通过某条航线全国口集装箱量排名，分析某航线在某港口各船公司集装箱排名，追溯到某条航线在某港口港某船公司在各码头集装箱排名、占比以及市场份额。以及某航线所有船公司集装箱出口满载率、满舱率、某航线所有船公司集装箱空箱率、某航线货物船公司排名等等为船公司调整航线提供可靠依据。
图8 航线大数据分析
③ 港口大数据：通过去全国口岸各港口集装箱进出口量排名分析，查看各港口船公司箱量、各港口航线箱量、每条航线船公司箱量，为船公司在各港口航线布局以及船舶布局提供决策依据。
图9 港口大数据分析
④ 集装箱大数据：统计集装箱全国港口分布排名，分析集装箱箱型分布、航线分布吨位分布、市场占比以及空重、中转、同比、环比的数据，为船公司集装箱调运提供决策依据。
图10 集装箱大数据分析
⑤ 货物大数据：统计分析全国口岸货物种类、量进出口数据，分析各港口、各航线货物分布，为船公司调整航线，布局船型提供决策依据。
图11 货物大数据分析
⑥ 代理大数据：代理数据的采集分析主要为船舶代理提供所代理船舶装船实时数据，海关报文审核情况，通过推送服务及时预警，避免造成损失发生。
图12 代理大数据分析
（5）数据监控
系统以BI平台为底层基础，采用多层的结构搭建。
图13 数据监控
EDI智能监控系统重点在于实现理货报告业务传输过程的全程跟踪和监控，实现和完善预警，提供分类统计报表。
6、平台技术实现
服务交换：各口岸按照统一标准建设前置机，该前置机可以是实际的服务器，也可以是虚拟机服务器，码头前沿动态航运集装箱数据在传回该口岸航运系统同时备份到前置机中，中国航运大数据平台定时到各口岸前置机中抓取备份信息送入平台，主要用于收取各口岸理实时航运数据。
图14 平台实现技术服务交换
7、平台功能架构
航运大数据平台包括航运市场情报子系统、智慧港口子系统、电子海图子系统、航运气象子系统、新造船价格指数子系统、航运客户管理子系统、航运人才管理子系统、营销分析子系统、客户价值分析子系统等子系统功能。功能架构如下图所示：
图15 平台功能架构
四、效益分析
1、经济效益
1）客户营销效率提高
中远海运集团通过航运大数据平台的应用，实现了公司整体层面物流信息的有效整合，并采用了先进的客户管理及营销管理手段，实现了平均库存的明显下降，客户营销效率明显提高，大幅度的降低了资金占用率，带来了明显的经济效益。
2）货品订舱量提升
航运大数据平台通过与货代FOCUS系统、船代系统系统、协同营销系统等的有效对接，实现了真实的市场信息的采集、分析和处理，为准确、及时、有效的客户和运营服务提供了保障。中远海运物流能够根据市场的需求快速、及时的做出物流响应，在第一时间贯彻执行，并实时监控每一步物流操作和运行，提高了客户服务满意度和产品忠诚度，增强了企业产品的市场竞争能力，提升了整体订舱数量。
3）降低风险成本
通过项目的成功实施，建立了企业级黑名单制度，并与外部工商局法院和检察院系统连接，并进行及时推送信息，对航次和货代船代进行全方位的风险控制，同时通过对公司整体物流信息的有效把控，实现了整体风险控制并进行有效配置，进一步降低了中远海运的风险发生概率。
2、管理效益
公司通过对航运数据的整合，并对整合后的数据项进行分析，得出了十分丰富的内容结论:包括船名、航次、装卸货港、开工、定工时间、箱号、集装箱的尺寸类型、贝位号、危险品相关信息、件杂货的货类、外表状况、提单号、残损情况、重大件尺码、吨数、完整的积载图、实装货物清单、退关信息等一系列理货人员现场采集的第一手资料，进行全面的数据分析工作，提高服务质量，降低经营风险。
船公司、船代、港口等可根据航运大数据平台整合航运集装箱数据、船舶数据、航线（航次）数据、码头数据、泊位数据等，从而实现对理货系统的优化升级，更好的管理理货系统的各个细节，实现更优的管理效益。
3、社会效益
中远集团响应国家的号召，建立了贯穿整个航运产业并且一站式的航运大数据服务平台。其中，基于客户画像的客户群分析、BI数据的展示等都是航运大数据的重点，航运大数据的建立和实施可在理货物流行业起到带头作用。
5、经验与体会
我公司通过对中国航运大数据平台的成功实施，进一步体会到了未来航运信息化的发展和前进方向。在中远集团的指引下，我公司深刻认识到，未来的企业信息化建设要实现两个飞跃：
1、实现航运行业转型升级的飞跃
一是目前在国内行业政策发生了一些变化，从而导致航运企业面临强大的市场竞争压力；二是，航运法律法规不完善，强制航运业缺乏强有力的政策保障。尽管我国针对航运行业进行了体制改革，但并没有建立完善的法律，与其他法律法规不协调；三是，航运行业必须加快研讨航运政策调整对行业带来的影响，早做筹划，加快信息平台建设进度，积极推动行业转型升级。四是，国际经济形势的不确定性促使航运集装箱行业转型升级。自世界金融危机爆发以来，国际主要经济体经济增速下滑，中东、北非乱局此消彼长，国际金融市场动荡不已，全球贸易增速大幅减缓，世界经济复苏的不稳定性上升。
2、实现适应现代物流技术发展的飞跃
在现代智能物流蓬勃发展的今天，在海关、货代公司、船代公司、港口码头信息化建设取得重大成果的同时，传统的航运物流业务运作模式和服务能力，已经无法适应航运市场的需要。因此，通过航运大数据平台，航运物流业务要实现业务模式和服务方式的改革创新，加快信息化建设步伐，提升服务能力，为客户提供货物运输各节点的即时运输动态查询服务及运输异常预警提示服务。