要旨：クライアントドリフト補償手法は、フェデレーテッド学習（FL）におけるデータの非均一性の影響を軽減します。確率的勾配降下法（SGD）ベースのFLではドリフト補正が十分に研究されてきましたが、適応型クライアント最適化手法との相互作用についてはまだ十分に解明されていません。Adamなどの適応型最適化手法は、過去の勾配の移動平均を用いて各更新ステップを構築するため、最終的な更新方向のみを補正しても、その移動平均およびそこに含まれるドリフトは変更されません。本稿では、これらの移動平均に流入する前に各勾配を補正する「Federated Adaptive Gradient Correction（{\tt FA-GC}）」を提案し、最終的な更新方向に補正を加える「Federated Adaptive Naive Tracking（{\tt FA-NT}）」と比較しました。理想的な設定（勾配ノイズなし）において、FA-GCが従う更新方向は全局目的関数の停留点でのみ消滅する一方で、FA-NTが従う更新方向は最適化手法が非線形である場合には、それ以外の点でも消滅しうることを示しました。さらに、Adam系手法、勾配正規化、および行列更新を直交化するMuonに対して、FA-GCの収束性を証明しました。FA-NTに対する我々の収束保証とは異なり、これらの保証にはクライアント間の非均一性を考慮した項は含まれていません。7つの画像および言語タスクにおいて、Adamを用いたFA-GCは目標精度に到達するのに平均して最も少ないラウンド数を必要とし、また3つの画像タスクでは、補正を行わないローカルAdamやFA-NTよりも総通信量も少なくなっています。SOAPを用いたQNLIの質問包含タスクでは、回転された基底上でAdamを適用する場合や、強い非均一性下では、FA-GCが最も高い精度を実現する一方で、FA-NTは補正を行わない最適化手法を下回ることが明らかになりました。
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。