Freightos使用MATLAB和Google BigQuery执行在线货运物流的大数据分析

由于云中有数百万行数据跨越多个数据库，Freightos分析师发现运行分析非常繁琐，因此很难确定对运营和营销任务至关重要的关键见解。尽管他们可以对云中的数据运行查询以获取静态报告，但为了获得交互式探索和分析实时数据所需的洞察力，他们需要对云中数据进行查询。例如，为了理解用户行为，他们想量化用户对软件的参与程度和使用模式。与大多数大数据集一样，Freightos数据集几乎不可能下载用于本地处理。

在货运行业内，由于供求波动和燃料成本变化，路线和价格可以每小时变化一次。为了跟上这些变化，Freightos需要近实时性能。此外，来自外部来源的数据在格式和质量上各不相同。Freightos需要有效地访问其BigQuery数据的子集，然后快速清理数据、运行高级分析并可视化结果。

Freightos分析师与MathWorks咨询服务公司合作，将MATLAB与谷歌BigQuery集成，用于大数据分析。

他们共同开发了一种从BigQuery提取数据并将其导入MATLAB的自动化方法。在这种方法中，对BigQuery执行的查询的结果被导出到谷歌云存储，然后在MATLAB中下载和访问。

由于Freightos的大部分数据都依赖外部来源，包括外部数据提供商、第三方承运人和货运代理，因此分析师必须在分析查询结果之前对其进行清理。在MATLAB中，该团队开发了识别和纠正数据中异常值的脚本。

他们使用Statistics and Machine Learning Toolbox™对清理后的数据进行复杂的统计分析。一项分析评估了120000行货运报价，每行有30多列，以确定基于不同销售团队、公司和运输模式的运费定价波动。另一项由营销部门推动的分析探索了最常见的来源和目的地，并将其自动绘制成树状图。

在MATLAB中，Freightos和MathWorks顾问生成了散点图、树图和其他可视化图形，以更好地理解分析结果。他们还使用分析结果创建报告，帮助Freightos C级高管做出决策并制定营销战略。

Freightos目前正在使用MATLAB和BigQuery开发一个基于最新速率和BigQuery数据中路线的动态索引。该指数将使他们能够准确估计从中国主要城市到北美主要城市的运输成本。

Freightos计划使用统计和机器学习工具箱中的机器学习算法来预测未来的指数价格。

• 分析在几分钟内完成，而不是几小时。Freightos的数据分析师Leonid Hatskin表示：“通过MATLAB和BigQuery的集成，即使是大型报告，例如关于整个数据池的季度报告，现在也只需要10分钟。”。“在过去，这至少需要一个完整的工作日。MATLAB每月为我们的数据团队腾出至少一个工作日的时间。”
• BigQuery集成快速实现。“当我们向MathWorks咨询公司寻求BigQuery集成方面的帮助时，我们很快就从一个真实的人那里得到了真正的行动，”Buchman说道。“这种支持使MATLAB从强大变为我们不可替代的。”
• 洞察力获得速度快20倍。“与我们之前的方法相比，我们使用MATLAB和BigQuery的时间洞察力提高了20倍，”Buchman说。“我们无法为实现的上市时间改进定价。”