4. 以太坊链上数据分析难点

区块链上的数据分析从数据开始解读行为，再到意图再到交易心理。 其中，行为可以是交易者的行为、合约的行为或市场的行为。 对交易者意图的判断和长期观察可以导致他们的交易心理。 从合约行为可以更准确地理解合约创建者（项目方）的意图，代码不会说谎。 最后，通过对某些特定行为和意图的分析，可以得出市场的整体心​​理状态和心理预期。 链上数据的核心是交易数据。 然后，对交易数据进行深入分析，就可以得到我们想要的结果。

但是，一般来说，链上交易瞬息万变，一天24小时不停歇，每分每秒都可能发生重大变化。 因此，静态的链上交易数据分析是没有意义的。 需要构建一个动态的大数据分析系统，快速从线上交易数据的变化中获取分析结果，才能正确深入洞察链上交易。 然而，构建这样一个链上数据的大数据分析系统通常是一项复杂繁琐的工程，需要耗费大量的时间和资源才能完成。 本文介绍如何通过智领云在线云原生大数据应用开发平台BDOS Online，相对简单快速地完成这一复杂的项目。 在本文中，我们以比较流行的以太坊交易为例，讲解如何在BDOS Online上开发一个链上数据分析系统。

一、以太坊数据分析

以太坊中存在三种类型的交易：

常规交易是指只涉及以太坊原生代币（Ether）的转账，不涉及调用以太坊其他代币的合约或交易。 常规交易中的数据大致可以分为四大块：交易哈希、时间等，属于交易索引（index），为定位交易提供信息。 交易金额特指转入以太币的数量，交易的发送方和接收方为本次交易的交易双方。 Gas费的消耗是本次交易的发送方需要承担的交易费用。

除了上述数​​据外，涉及智能合约的交易还会多出三项内容：

(1) 以太坊执行交易（internal transactions）的内部流程；

（2）代币转账（token transfer）的结果；

(3) 合约执行的输入参数（input data）

在一个合约源码中，不仅定义了合约方法（函数），还定义了事件事件abc()和提交事件emit abc()。 提交的事件会记录在日志中，最后日志会记录在调用合约的一个交易的receipt函数中。

以太坊交易的数据获取方式

对于以太坊上的交易，我们需要同时获取实时的交易数据和历史数据，这些数据存储在交易日志和上述合约日志中。 针对这两类数据的采集，需要构建批流式一体化数据采集模式。

这些日志中的字段定义如下：

那么，在了解了以太坊交易中的数据以及各个字段的含义之后，我们就可以进入以太坊链上数据分析项目的数据汇总设计了。

2. 以太坊项目模块设计

本项目需要设计的模块如下表所示：

3. 以太坊项目的数据架构

接下来我们看一下项目的数据结构，如下图所示：

各层实现的功能如下：

4. 以太坊链上数据分析难点

区块链提供了账本的完整性，数据统计分析能力较弱，而大数据拥有海量的数据存储技术和灵活高效的分析技术，可以极大地提升数据的价值和使用空间。 两者的结合，即链上数据分析，是一个新兴的技术领域。 链上数据分析的重点和难点是挖掘账户/地址之间的关系。 在区块链上形成的是一个非常复杂的网络状数据。 再加上区块链的匿名性，很难在区块链上挖掘深度数据，需要大规模的网络分析和机器学习方法。

直接查询区块链获取问题的答案是非常费时费力的。 为了能够快速检索链上数据，目前主流的链上数据分析平台会将原始链上数据通过一系列的处理进行索引，最后存储在负责的数据仓库（data warehouse）中供平台更新和管理。 当用户在跟踪交易动态或查看可视化分析时，用户查询所谓的“链上数据”，实际上是在查询项目方控制的数据库，而不是区块链本身。

链上数据分析平台的数据仓库架构大致如下：

但是，如果用传统的方式来开发这个链上交易数据分析系统，光是数据仓库架构的搭建就需要数周的时间，而且还需要购买大量的软硬件资源，再加上系统配置和调整以及数据分析。 分析系统的开发不是几个月就能完成的。

有了BDOS Online，我们只需要注册一个账号，就可以马上开始手环上数据分析系统的开发。 BDOS Online是智领云自主研发的云原生DataOps大数据应用开发平台。 用户统一授权认证和数据安全管理，量化大数据平台ROI，赋能企业数字化转型。 用户可以以最低的成本即时拥有一套完整的在线大数据开发能力和工具体系。

在BDOS Online和传统大数据平台上开发大数据应用的主要优势如下：

节省时间：开箱即用。 节省搭建环境的时间，无需安装各种组件以太坊架构，无需申请各种账号，各种丰富的大数据组件工具随时可用，交互使用零成本；

标准化：标准化产品满足碎片化需求。 实现DataOps的全流程，不同角色的开发环境相互解耦，任何人都可以利用碎片化时间推进任务进度；

按需扩展：按需集成功能，随业务规模扩展。 云原生编排，k8s自动调度，初始分配资源少，验证可执行路径后，资源扩展方便； 方便扩展不同的区块链数据源；

快速落地：边做边做，边做边做，双向互补，不冲突。 顶层设计和具体实施同步进行，在验证变更的同时调整整体流程，在调整整体流程的同时改进每一步，快速迭代；

高安全性：满足个人和企业多租户的需求，不同用户在数据和应用的使用上互不影响以太坊架构，支持通过API接口、页面等多种形式提供数据。

5. 使用 BDOS Online 构建以太坊项目

在BDOS Online上制作数据项目是典型的数据中心解决方案。 从数据采集到数据处理再到数据服务，最后到做数据应用，都可以在BDOS Online平台上完成。 同时，还可以有效编排数据项，通过数据管道发起意见。

在以太坊链上搭建数据分析项目，前期无需搭建复杂的大数据应用开发环境。 您只需要在BDOS Online上注册一个账号，然后按照数据采集-数据处理-数据分析-数据应用-数据呈现的步骤，就可以轻松开发出媲美商业软件的以太坊数据分析应用。 但是，本文提供的示例仅提供了一些基本功能。 如果需要更复杂的分析功能，可以在以后的项目迭代中随时添加。 下图为本文提供的示例工程勾选的功能，其他未勾选的功能可以作为后期项目的迭代选项。

下图是BDOS Online上的项目主页：

项目流水线调度：

六、项目亮点及效果展示

综上所述，在BDOS Online上搭建以太坊项目有以下亮点：

下面是项目制作的应用效果演示：