: | : | :期货程序化 | :期货程序化研究 | :期货量化学习 | :期货量化 |
返回列表 发帖

卫星大数据分析助力大宗商品基本面研究

卫星大数据分析助力大宗商品基本面研究

大宗商品交易对基本面信息的获取有非常迫切的需求。过去,这类数据信息主要来自传统渠道,如交易所、政府统计部门、行业协会、大宗商品生产商或制造商,以及各类交易中介机构或市场调查机构等。对市场参与者而言,通过传统渠道获得数据信息面临时效性低、全面性和准确性低、可获得性低以及对市场影响的间接性高等特性。受信息不足的影响,全球大宗商品供应链的市场透明度始终不高。近年来,随着互联网的发展,Web、移动通信网络、卫星影像、导航定位信息、电子商务等非传统数据爆炸性增长,这些另类数据为提升大宗商品市场透明度提供了新的可能性。

  基于卫星影像的数据作为一类另类数据应用于市场分析最早始于美国。2009年,RS Metrics创立,其早期业务就是通过获取大型零售商(如沃尔玛)门前停车场的车辆信息,与历史季度信息进行比对,来预测当季销售收入的变动,并在该零售商季报发布前建立交易头寸。2011年至2017年,RS Metrics利用卫星对美国44个主要零售商的67000个商场进行观测,按日生成基于停车场车辆计数的数据报告供投资者使用。多年跟踪研究的结果显示,使用该数据进行主动投资所获得的回报比跟踪零售商指数的被动投资回报高出4.7%。创立于2013年的Orbital Insight公司是基于卫星数据提供另类数据服务的另一个代表。它基于Digital Globe、Planet等遥感卫星运营商获取的遥感大数据监测大型原油存储基地的原油存量,为原油期货交易商提供库存信息。

  初期,类似于RS Metrics和Orbital Insight提供的数据仅用于少数采用复杂交易策略的机构。2019年2月,彭博(Bloomberg)扩展了旗下的Enterprise Access Point,使其数据授权用户可以访问来自多家数据提供商的非传统数据,其中就包含了RS Metrics、Orbital Insight等提供的基于卫星影像的另类数据服务。这是卫星数据进入金融信息主流市场的重要标志。

  我国是仅次于美国的航天大国,目前在轨运行的遥感卫星数量居世界第二。但是,在商业遥感卫星发展和利用卫星信息向投资机构提供高价值信息服务领域,我国与美国相比还存在较大的差距。近年来,中国公司在利用卫星数据监测全球原油库存方面也已开始起步。2019年3月,金融终端在EDB数据库中开始提供中科星睿基于卫星数据获得的原油库存数据产品,取得了良好的市场反响。

  鉴于利用遥感卫星数据助力期货市场研究还是一个较新的领域,本文拟从卫星系统设计、数据处理及应用、数据特点以及典型应用场景等方面做一简要介绍。01卫星系统的设计

  目前在轨运行的卫星可以粗略地划分为导航卫星、通信卫星、科学实验卫星和对地观测遥感卫星四类。美国的GPS卫星、中国的北斗卫星属于导航卫星。各类电视广播卫星、海事卫星、中继卫星,以及类似SpaceX公司即将发射的星链卫星等都属于通信卫星。中国近年来发射的量子科学实验卫星“墨子号”、暗物质粒子探测卫星“悟空”则属于科学实验卫星的范畴。对地观测遥感卫星通常简称遥感卫星,主要以获得大气层及地球表面的观测数据,提取大气和地表参数,帮助人们了解地球各圈层物质能量循环和人类活动,广泛应用于天气预报、地质调查和军事侦察等领域。我国遥感卫星又分为气象、陆地、海洋遥感卫星。

  用于对大宗商品基本面进行分析的卫星数据主要来自陆地遥感卫星,这类卫星通常装载以下三类不同的观测载荷以实现不同的观测目的:

  1.可见光相机:可见光相机可类比为安装在太空的数码相机。可用于商业用途的可见光卫星图像最高分辨率一般为0.5米。这类卫星可用于对重要目标、设施及周边区域进行精细观测,获得原油库存信息、重要建筑工地施工进度信息,以及基于周边人车流量信息分析重点目标经营情况等。

  2.红外相机:与可见光相机相比,红外相机获得的是成像区域的温度信息。目前在轨运行的红外相机可以获得优于0.1K的温度分辨能力。但与可见光相机的高分辨率能力相比,目前可应用于商业的红外成像卫星分辨能力为10米量级。这类卫星可用于获得区域能耗等宏观数据,以及炼油厂、发电厂等重要目标的生产状态等信息。

  3.成像雷达:成像雷达通过主动发射电磁波,可以夜间成像及在云、雾、雨等条件下成像,因此可以在光学相机不能获得数据时用作对重要及时间敏感目标进行应急成像。但是由于成像雷达获得的是目标的微波散射特性,图像不够直观,因此需要专业的图像解译。成像雷达卫星除了在天气条件不好时用作高分辨率光学卫星的补充,还可以通过获得毫米级的地表形变数据,获得并分析矿场产量信息等与大宗商品供给相关的重要数据。02卫星数据的处理与应用

  遥感卫星数据以各种图像数据形式呈现,与交易记录数据、文本数据及其他互联网数据存在一些技术差异。卫星数据处理的专业性也导致卫星数据在应用于具体行业时普遍存在技术障碍。粗略地讲,遥感卫星数据的使用过程可以分为信息提取、交易决策和评估修正三大环节。

  1.信息提取:基于大数据和人工智能的卫星数据处理方法

  卫星观测生成的数据,通过星地链路传输到卫星地面接收站后,根据不同类型传感器的成像原理,恢复成图像数据。卫星数据具有单个数据集非常庞大的特点,一幅高分辨率卫星图像大小常常达到10GB。以商业卫星数据服务商Digital Globe为例,该公司管理的卫星图像数据已超过100PB。从大量卫星图像上有效地提取信息通常存在技术上的困难。深度学习方法是当前对海量遥感卫星数据进行有效分析的主流方法。

  目前,在针对自然图像的计算机视觉领域,各类监督预训练的深度神经网络展示了突出的性能。与之对比,缺少高质量的标注数据是当前制约卫星影像分析能力的一个关键瓶颈。同时,为了获得交易优势,大宗商品交易对卫星图像分析的精度和效率都提出了很高的要求,进一步增加了技术上的困难。为了解决这个问题,以无监督预训练为代表的方法展现了很好的应用前景。特别是针对与自然图像差异很大的雷达图像,中国科学院空天信息研究院在利用堆栈卷积自编码器进行无监督预训练取得了很好的效果。

  2.决策:形成交易策略和提供交易信号

  通常人们可能将卫星数据分析结果理解成类似原油周库存量、铁矿石周产量这样的量化信息产品。然而在实际应用中,卫星数据表现出兼有传统数据和另类数据的特点。一方面,卫星观测手段可以作为获得传统市场数据的另一种信息渠道,并且可以展现其全球性、客观性和高时效性的优势。另一方面,采用更复杂交易策略的投资人可以基于从卫星数据中提到的多种信息形成另类交易策略并捕捉交易信号。

  在后一种交易策略中,投资者通常试图建立从观测信号中预测市场状态发生显著变化的趋势和可能性,并据此进行交易。这时,基于卫星对市场变化趋势预测的有效性和时效性就比对生产链或消费链环节的某个供给或需求绝对量估计的准确性更加重要。这种交易策略还对在全球尺度上基于卫星的间接观测和抽样观测分析原油市场供给提供了技术上的可行性。

  最近一两年来,基于卫星影像的数据分析还越来越多地表现出与其他类型的另类数据、传统数据进行综合的趋势。

  3.评估与修正:数据和模型的迭代发展

  基于卫星数据构建的交易模型是一个需要不断评估和迭代修正的动态模型。一方面,随着卫星设计技术的进步,出现新的卫星观测数据类型,传感器的分辨率等技术指标日益提高,信息提取算法和预测模型需要修正。另一方面,市场可能出现新的变化和特征,而机器学习方法为代表的人工智能方法也日新月异,要求对数据获得策略、信息提取模型、交易模型、数据和计算体系架构和平台不断调整。

  这些动态因素都要求对整个卫星数据应用的流程、模型和算法建立一个全面的评估和反馈机制,以实现对数据、软件工具进行不断改进,进而保持市场竞争中的优势。03卫星数据的特点

  在大数据时代,卫星图像数据在大宗商品交易中通常被看作另类数据的一种。根据另类数据的来源,我们大致可将其归为以下三类:个人活动产生的数据,如社交网站或电商平台上的数据;商业活动产生的记录数据,如交易、物流、信用卡记录等;通过卫星或航空观测获得的影像数据、导航数据等。

  尽管卫星数据相对昂贵,但由于它是一种可以公开的、平等的从市场获得的非个人数据,随着各国对个人隐私数据的保护和对内幕信息交易的监管越来越严格,利用卫星信息获得交易优势正在成为一个重要的合法手段。与之对比,个人数据的收集受到隐私保护法规的限制,而无人机等手段又常常由于空域管制无法实施。2019年5月8日,我国国家航天局发布了《国家民用遥感数据管理暂行办法》,为遥感卫星数据的商业应用提供了有力的政策保障。

  除此之外,卫星影像数据还具有以下独特性:

  1.全面性:卫星观测手段具有天然的全球性,可以对传统手段不能有效覆盖的边远地区或境外建立数据认知,在全球化市场具有不可替代的优势。

  2.时效性:卫星观测手段往往可以在信息通过传统渠道发布前数周、数日获知生产或有关活动的变化。利用人工智能手段,还可以大大缩短从数据到信息的延时。

  3.客观性:从卫星图像中提取信息可以有效消除人工采集信息的偏差甚至故意造假,作为独立数据源,验证和修正其他渠道所获得的信息。04典型应用场景

  1.原油库存信息及其应用

  从卫星数据中获取全球原油库存信息是最早的应用场景之一。投资者可以利用原油库存信息建立对原油市场供求关系和原油期货价格走势的判断。

  2019年3月,经济数据库开始提供另类数据。其中,由中科星睿基于卫星遥感数据加人工智能算法获得的日度频次原油库存数据,发布时间和频率均领先于EIA周度库存报告,与EIA数据比对精度高达95%(图1)。该公司还可根据客户需求提供全球指定库存地区和油罐的即时库存数据。



  这些数据可帮助从事原油期货交易的客户强化对原油期货价格走势的判断和不同原油期货品种间(如Brent/WTI或INE/WTI)的跨市价差分析能力;亦可帮助原油贸易融资提供方提升风险管理能力。

  2.矿业生产监测应用

  利用卫星图像对主要冶炼厂及其储存设施实施变化监测可以较好地预测相关商品的价格变化趋势。RS Metrics基于对美国、中国、智利、俄罗斯、澳大利亚等国家约500个类似目标的卫星数据提供了一系列全球铝、铜、锌、钢铁价格预测产品及服务。基于2013年至2018年的跟踪分析显示,基于RS Metrics的数据对CME铜期货价格的1月、2月和3月方向变化预测精度可达到78%、76%和81%(如图2)。



  利用卫星手段还可以对矿区生产情况及港口运输情况进行持续监测,进而丰富矿业生产信息。通过对矿坑中的采掘设备、装载车辆活动、周边堆场可以测算采掘量;通过火车装载情况、港口堆场、装船情况可以测算外运量(见图3)。随着技术进步,利用雷达卫星数据干涉处理直接测算采掘量或堆量也正在开发和评估中。



  3.跟踪、分析和评估突发事件对市场的影响

  突发事件的发生很容易对市场产生影响。例如自然灾害发生的时间、区域和严重程度很容易影响大宗农产品的市场表现。如果建立利用卫星对突发事件进行跟踪、分析和评估的能力,就能够在交易中获得优势。

  2018年11月,BHP的一列火车在西澳大利亚发生脱轨事故,铁矿石远期现货价格立即回升到75美元/吨以上,同时从澳大利亚到中国的铁矿石运价下跌超过10%。事故发生后,小卫星公司Planet向RS Metrics按日提供了事故发生及相关区域的卫星持续观测数据,通过对港口区域的铁矿石堆量变化和事故恢复情况的分析,为客户建立对市场影响范围和程度的正确估计。

  淡水河谷公司的Brucutu铁矿复产的事件是另一个典型案例。今年4月16日,淡水河谷公司发布了72小时内恢复铁矿运营的复产消息,铁矿石价格立即做出反应。使用高分辨率卫星可在消息发布前观测到铁矿复产前的准备活动(图4),从而在复产公告前做出预判。



  4.特定行业发展趋势与大宗商品的关系分析

  行业的兴衰是影响大宗商品价格的内在驱动要素。以螺纹钢为例,55%以上的螺纹钢都用于房地产行业。在政策稳定的条件下,螺纹钢价格跟随房地产、基建等下游需求同趋势变化。但是选择合适的指标预测这一变化则存在技术上的困难。分析显示,房地产开发投资完成额滞后螺纹钢价格1至2个月,商品房销售面积指标领先螺纹钢需求2至3个月,但与房地产工程施工进度之间的关系仍有弹性,而由于信息时效性不足,房屋新开工面积滞后螺纹钢表观消费。

  利用卫星图像获得房地产开工信息有独特的价值。图5展示了利用0.5米分辨率的卫星图像精细地获得建筑工地施工关键节点和阶段进展。除了获得特定开发商和特定楼盘的信息以外,利用卫星进行抽样调查还可生成反映行业整体发展趋势的宏观信息,并应用于螺纹钢需求分析和价格预测。



  5.宏观经济活动的趋势分析

  产业链转移对产业转出国和转入国大宗商品市场有显著影响。全球及重点关注区域经济发展的变化可提供与产业链转移相关的关键信息。利用夜光遥感数据和红外遥感数据对区域经济趋势进行分析已经成为了一种较为成熟的技术。例如,利用夜光遥感卫星对“一带一路”沿线国家夜晚城市灯光数据进行统计和分析,可以为后续产业投资布局提供指导(图6)。



  相比官方公布的宏观经济统计指标,利用卫星数据生成的指标数据具有几个方面的优势。一是可以提前官方数据获得产业链转移趋势;二是可以为特定区域的官方数据提供第三方佐证和修正;三是可以突破行政区域的限制,按照需要对评估区域进行定义,获得更精细的或更有价值的量化指标。通过多样化宏观经济指标与行业发展及全球产业链转移的综合分析,可以建立特定商品市场供给和需求基本面分析的模型。05展望

  在大数据时代,从事大宗商品交易的各类机构为提升基本面分析能力,不断尝试丰富各类数据,以期建立先于市场的交易策略。据统计,全世界有大约80%的基金机构使用了另类数据。

  在所有另类数据中,卫星遥感数据以其全球性、高时效性和高客观性,逐渐得到了机构投资者的认可,有部分机构投资者开始使用卫星遥感数据指导交易策略。现阶段,卫星遥感数据还是一种比较昂贵的信息源,但对于能够负担其成本且正在综合各类另类数据源并运用复杂交易策略的大型机构投资者而言,卫星数据价值仍获得高度认可。随着卫星成本的降低,卫星数据的价格正在快速下降。我们坚信,卫星遥感数据的广泛使用时代已经到来,卫星数据将为提升市场透明度和正确发现交易价格发挥重要作用。

  在提供基于卫星的另类数据方面,来自美国等发达国家的服务提供商在市场上仍然处于领先地位。但作为世界第二大经济体和航天大国,我国的市场先行者在建立卫星及信息服务全产业链服务,应用包括卫星数据在内的各种另类数据服务于大宗商品基本面分析这一新兴金融科技领域亦开始发力。

论坛官方微信、群(期货热点、量化探讨、开户与绑定实盘)
 
期货论坛 - 版权/免责声明   1.本站发布源码(包括函数、指标、策略等)均属开放源码,用意在于让使用者学习程序化语法撰写,使用者可以任意修改语法內容并调整参数。仅限用于个人学习使用,请勿转载、滥用,严禁私自连接实盘账户交易
  2.本站发布资讯(包括文章、视频、历史记录、教材、评论、资讯、交易方案等)均系转载自网络主流媒体,内容仅为作者当日个人观点,本网转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。本网不对该类信息或数据做任何保证。不对您构成任何投资建议,不能依靠信息而取代自身独立判断,不对因使用本篇文章所诉信息或观点等导致的损失承担任何责任。
  3.本站发布资源(包括书籍、杂志、文档、软件等)均从互联网搜索而来,仅供个人免费交流学习,不可用作商业用途,本站不对显示的内容承担任何责任。请在下载后24小时内删除。如果喜欢,请购买正版,谢谢合作!
  4.龙听期货论坛原创文章属本网版权作品,转载须注明来源“龙听期货论坛”,违者本网将保留追究其相关法律责任的权力。本论坛除发布原创文章外,亦致力于优秀财经文章的交流分享,部分文章推送时若未能及时与原作者取得联系并涉及版权问题时,请及时联系删除。联系方式:http://www.qhlt.cn/thread-262-1-1.html
如何访问权限为100/255贴子:/thread-37840-1-1.html;注册后仍无法回复:/thread-23-1-1.html;微信/QQ群:/thread-262-1-1.html;网盘链接失效解决办法:/thread-93307-1-1.html

返回列表