暗号資産取引分析プラットフォーム開発事例

開発の背景

暗号資産取引所の監査業務では、監査人が暗号資産に関するデータを独自に取得する必要があります。初期の監査業務においては、エンジニアが手作業でブロックチェーンからデータを取得していました。しかし、監査チームから依頼を受けてエンジニアが対応する場合は、コミュニケーションのコストが発生します。さらに、暗号資産の盛り上がりなどを理由として、監査において取得しなければならないデータ量が増えたことにより、次第に手作業では対応できなくなりました。

そこで、R&Dチームは、監査チームがブロックチェーン上の特定のデータが欲しいと思った時に自分で簡単に分析ができるシステム「暗号資産取引分析プラットフォーム」を開発することにしました。（図１）このプラットフォームの開発には、金融機関の監査経験者、大手金融機関の決済システムに精通した者及び暗号資産の基礎技術であるブロックチェーン技術に詳しい技術者が参加しました。

図1: 暗号資産取引分析プラットフォームの概要

開発上の課題

ブロックチェーンのデータは時の経過とともに増大を続けており、ビットコインなどで600GB以上、中には10TB以上になるものもあるため、このプラットフォームの開発に際しては、ビッグデータ分析に対応したシステムの設計が求められました。

このシステムは、主に監査における利用が想定されていたことから、性能としては分析速度とデータの正確性の2つが重視されました。一方で、データ量が多いと分析時のクラウド費用が増えがちであり、それを抑制する必要があります。そこで、①分析速度を一定以上としつつも、②データの正確性を確保し、③コストを低く抑えることが開発チームの課題でした。

課題と解決策１：分析速度

まず、いかにしてブロックチェーン上に記録されている過去の全トランザクションという膨大なデータを高速に処理するかが課題でした。
ビッグデータ を扱う際に、1つのコンピュータで行える処理には限界があります。そこで、クラウド上のビッグデータ分散処理技術である「Spark」を利用し、複数のコンピュータで並列実行することで高速化を図りました。具体的には、ブロックチェーンノード（ブロックチェーンに参加しているコンピュータ）からデータを抽出時に、一時的に大量のノードをクローンして、並列してデータを抽出する仕組みを開発しました（図2）。

これにより、数億件のトランザクションの抽出であっても数時間で実行することが可能になりました。監査利用のためのデータ抽出は頻繁に行うものではないので、これは監査の目的達成との関係で十分な速度でした。

抽出されたデータはその後の分析時に扱いやすい標準形式に変換されてから保存されます。 したがって、このプラットフォームは主要な暗号資産に対応していますが、このETL処理によっていずれのブロックチェーンから抽出されたデータも全て標準化された形式してからクラウド上に保存するため、この後の様々な分析は全ての暗号資産に対して共通して実行できます。

図2: 暗号資産取引分析プラットフォームの仕組み

標準形式として保存されているデータを分析するに際して、利用者は、暗号資産取引分析プラットフォームのWeb画面を操作することにより、種々のアドレスのある過去の時点の暗号資産残高を一括検索したり、特定のブロックチェーンアドレスの取引明細データを抽出し異常データを分析したりできます。

暗号資産取引分析プラットフォームは、複数のチームからのリクエストに迅速に応えるため、一般的な分析依頼はWebアプリケーションを介して自動で実行する仕組みにしました。監査チームなどの利用者がWeb画面から分析内容を入力すると、自動的にクラウド上に分析用クラスタが立ち上がり、分析が完了すると利用者にメールで通知され、結果のダウンロードが可能になります。同時に多数のユーザー、多数の検索処理をかけられた場合にはクラウド上のリソースが自動で拡大するため、大規模なデータを分析する際にも処理時間の増加幅は小さく、100万件を超えるアドレスの過去全ての取引の検索であっても1時間以内に完了する分析速度を実現しました。

課題と解決策2：データの正確性

次に、複数のクラスタを用いて大量のデータを収集・変換する際には、データに破損が生じてしまうリスクがあります。これを防ぐため、データ抽出の完全性を保証するためにControl totalを実装し、ブロックチェーン上のデータと抽出処理後のデータの整合性を複数の観点から確かめる仕組みを導入しました。万が一、データ抽出に不備が生じた際には、データの抽出を再実行することで不備を解消します。

課題と解決策3：コストの削減

監査業務は1年ごとや四半期ごとといったサイクルがあるため、監査業務におけるこのシステムの利用が集中する時期とそうでない時期があります。したがって、システムの利用が少ない時は可能な限り費用を抑えて、利用が集中する時には多くの計算リソースを確保する必要があります。

そこで、暗号資産取引分析プラットフォームは、ユーザがWeb画面から分析情報を入力してからSparkクラスタを立ち上げて分析を行い、分析が終了すると自動で削除される仕組みを採用しています。これにより、必要な時は十分な分析速度を実現すると同時に、不要な時は分析用コンピュータの費用がかからないようにしています。

分析速度は通常30分程度になることが多いですが、これにはSparkクラスタをAzureで立ち上げるための時間が含まれています。常時立ち上げていればより高速にできますが、そこまでの速度が要求されていない今回のケースでは、費用の削減を優先しています。

高度な分析機能

暗号資産取引分析プラットフォームには、通常の利用者向けのWeb画面とは別に、Jupyter NotebookとSparkを用いてクラウド上に蓄積されたデータに対して自由な分析を行えるデータサイエンティスト向け分析環境があります（図3）。例えば、対象暗号資産の過去の取引履歴全てを元データとして、暗号資産がどのアドレスからどのアドレスに送られたかという暗号資産の移動の履歴を可視化することができます（図4）。

図3: 暗号資産取引分析プラットフォームの取引分析環境

図4: ビットコインのグラフ分析の例

クラウド×ビッグデータ×ブロックチェーンの知見

R&Dチームは、クラウド上でビッグデータを解析することに関して高いケイパビリティを有しています。本事例では、R&Dチームが有するビッグデータ解析技術とブロックチェーンに関する知見を組み合わせて、課題を解決しました。

R&Dチームは、ビッグデータ解析とクラウド運用の知見をブロックチェーン領域以外の様々な領域にも適用しています。その実績としては、企業リスクの分析、口コミやSNSなどのテキストデータ分析、IoTセンサーデータの分析などがあります。

また、ブロックチェーン技術の活用に関しても、本システムの開発などを通じて蓄積したブロックチェーン技術を活用し、暗号資産を扱う企業のみならず、ブロックチェーン技術に関わる企業向けにより高度なサービスを提供するための体制を構築しています。デロイト トーマツは2017年より暗号資産取引以外の領域も含めてブロックチェーン技術の適用等についてアドバイス、ブロックチェーン技術を用いた取引、記録等に係る評価手続の研究、およびそのために必要とされる内部統制設計のアドバイスを行ってきました。暗号資産・ブロックチェーン領域について、引き続き技術ノウハウを集約・活用し、より付加価値の高いソリューションサービスを提供してまいります。