DTRA清藤武暢とDTCY劉クリスが共著者としてICMRE 2024において論文を発表

研究成果の発表：Towards Federated Learning by Kernel

学会・研究会：ICMRE 2024

著者：Kilho Shin（学習院大）・清藤武暢（デロイト トーマツ リスクアドバイザリー）・劉クリス（デロイト トーマツ サイバー）

論文概要：
Kernelization enhances machine learning algorithms, allowing them to solve nonlinear problems by embedding data into high dimensional reproducing kernel Hilbert spaces (RKHS). It notably expanded the utility of Support Vector Machines (SVM) from linear to nonlinear classification, making SVM a powerful tool in modern machine learning. This technique, while yielding linear solutions in RKHS, translates them back to nonlinear solutions in the original data space, leveraging the representer theorem for feasible computation. The paper discusses applying kernelization to federated learning—a collaborative model prioritizing data privacy where multiple parties work together without exposing individual data. The approach relies on sharing Gram matrices, representing kernel values, to preserve the confidentiality of original data while enabling collective learning. Compared to traditional multi-party computation (MPC) and homomorphic encryption (HE), our kernelization-based method requires significantly less computational resources, offering a more practical solution for federated learning. However, it's crucial to mathematically evaluate the privacy implications of disclosing Gram matrices to ensure data security. This framework paves the way for efficient, privacy preserving federated learning.

カーネル法は、データ間のカーネル関数の値を計算し、それらの値を利用して分析する技術である。本技術を利用することにより、データサイエンスの分析対象としてしばしば現れる文字列等の非ベクトルデータを多変数解析により分析したり、非線形問題を線形的手法で解いたりすることを可能とし、機械学習アルゴリズムの分析能力を画期的に強化する技術である。カーネル法の本質は、データを高次元の再生核ヒルベルト空間(RKHS)に埋め込み、RKHSにおいて多変量解析を適用する点にある。一方、連合学習（Federated Learning）は、複数のパーティが自身の保有するデータを公開することなく、統合されたデータの学習を可能とすることを目的する技術である。当該技術は、大規模データの学習の重要性が増しつつも、プライバシーの保護が社会問題となる現代において重要な技術である。連合学習には、プライバシー強化を目的としてマルチパーティーコンピュテーション（Multi Party Computation）や準同型暗号（Homomorphic Encryption）等の暗号技術が利用されるが、大きな計算量のオーバーヘッドが発生するため、連合学習の実用性が低下する要因となることが多い。本論文では、データのカーネル値への変換にデータを秘匿する性質（データ秘匿性）があることを明らかにし、その秘匿性を定量的に評価することを目的とする。カーネル法では、カーネル関数を動的計画法等で効率的に計算できることが知られており（カーネルトリック）。そのため、カーネル法を用いることにより、上記のような連合学習における計算量のオーバーヘッドの回避に加え、計算効率の改善も期待できる。本論文では、まず、カーネル値に基づく学習を安全に委託するためのスキームを示し、次いで、委託スキームに基づいた連合学習のフレームワークを提示する。