プロジェクト
Embedded Files
マルチエージェント強化学習
マルチエージェント強化学習（MARL: Multi-Agent Reinforcement Learning）とは、強化学習手法を用いて同一環境における複数エージェントに協力や競争等の行為を試行錯誤で学習させることです。
マルチエージェント強化学習を用いた非グリッド連続時間空間での配送計画の最適化
support by パナソニック株式会社のESL研究所との共同研究（研究代表者，2022年10月〜）
概要：複数ドローン配送の最適な経路計画は、Multi-agent Path Finding (MAPF)問題（複数のエージェントが衝突しないように制御し、全体のコストを最小化する問題）として形式化できる。しかし、既存の多くのMAPF 手法はグリッド型マップを仮定しているため、本研究で扱う実際の市街地に基づいた非グリッド型マップにそのまま適用すると学習効率は良くない。そこで、本論文では、マルチエージェント強化学習と探索型手法を組み合わせた手法を提案した。シミュレーション実験から、従来の手法と比べて、学習効率とゴール到着率が向上した。関する成果はエージェントやAI領域の代表的な国際会議PAAMS-2022(CORE B) PRICAI-2023(CORE B)に採録されている。
成果:
Shiyao Ding, Hideki Aoyama, and Donghui Lin, “Combining Multiagent Reinforcement Learning and Search Method for Drone Delivery on a Non-Grid Graph,” 20th International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2022), L’Aquila, Italy, July, 2022.
Shiyao Ding, Hideki Aoyama and Donghui Lin, MARL4DRP: Benchmarking Cooperative Multi-Agent Reinforcement Learning Algorithms for Drone Routing Problems, 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023), November 17-19, 2023, Jakarta, Indonesia.
マルチエージェント強化学習を用いた協力的な大規模エッジクラウドの制御基盤
support by 科学技術振興機構（JST）次世代研究者挑戦的研究プログラム（奨励研究員，2021年10月〜2022年9月）
概要：近年IoT デバイスの急増により、エッジクラウドにおけるサーバ数が増え、サーバ同士の協力によって計算リソースに対する要求を満たすための方式が注目を集めている。従来の研究では、利己的なサーバによる競争的なシステムが提案されているが、十分に計算リソースの要求を満たすことができていない。更に各サーバは複数の地域に分散され、他のサーバの情報を参照できないため、学習過程は安定しにくく、協力の効果は高くない。本研究では、マルチエージェント強化学習を用いた協力的な大規模エッジクラウドの制御基盤を提案している。ここでは、いくつかの新たなマルチエージェント強化学習手法を提案し、低遅延かつ高品質なサーバ間の協力を実現している。本論文はサービスコンピューティングの最難関国際会議IEEESCC-2020(CORE A)に採録され,第20 回情報科学フォーラム(FIT2021)のトップカンファレンスセッションで発表するなど高く評価されている。
成果:
Shiyao Ding and Donghui Lin, “Dynamic Task Allocation for Cost-Efficient Edge Cloud Computing,” The 17th IEEE International Conference on Services Computing (IEEE SCC 2020), pp.218-225, Beijing, China, October, 2020. [DOI]
Shiyao Ding. Multi-Agent Reinforcement Learning for Task Allocation in Cooperative Edge Cloud Computing. International Conference on Service-Oriented Computing (ICSOC 2021), PhD Symposium, November 2021.
自動交渉エージェント
自動交渉エージェントが協調や交渉のプロセスにおいて、人間が煩雑だと思える作業や、人間ではできないような大量の情報処理を代行するのである。エージェントが人間の協調や交渉を代行する支援システムを実現するため、以下の課題にて自動交渉エージェントの研究を行っています。
support by 日本学術振興会（JSPS） 基盤研究（Ｃ）（研究代表者，2023年4月〜）
概要：本研究では、人間と合意形成するような自動交渉エージェントの開発を目指し、実世界応用によりその有用性を確認する。例えば、実世界の人間を対象としたセールスでは、販売店に配置したエージェントは顧客の限定的な合理性や、交渉回数による負荷を前提として合意形成する必要がある。本研究では、マルチエージェント強化学習手法を用いて、人間の限定合理性に関する特徴を考慮した上で、数回の交渉で合意形成する自動交渉エージェントを開発する。これに基づきエージェントと人間との交渉サービス基盤を構築する。そして、オンラインの電化製品セールスなどの現実世界での試用実験により有効性を確認する。
成果:
Shiyao Ding and Takayuki Ito, A Deep Reinforcement Learning Based Facilitation Agent for Consensus Building among Multi-Round Discussions, 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023), November 17-19, 2023, Jakarta, Indonesia.
support by 科学技術振興機構（JST）CREST（研究参加者，2020年10月〜）
概要：本研究では、ソフトウェアエージェントと人間が一緒に参加するSNSでの民主主義（ハイパーデモクラシー）のためのプラットフォームを実現する。ここでは、合意形成の基盤としてのSNSに、人間の代理のエージェントを分散配置し、合意形成プロセスを仲介する（ソーシャルマルチエージェントシステム）。そして、炎上、フェイクニュースなどの課題を解決しながら、より良い合意形成や集団意思決定を支援する。
成果:
Shiyao Ding and Takayuki Ito, Self-Agreement: A Framework for Fine-tuning Language Models to Find Agreement among Diverse Opinions, 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023), November 17-19, 2023, Jakarta, Indonesia.
support by 科学技術振興機構 (JST) AIPチャレンジプログラム（研究代表者，2022年6月〜2023年3月）
概要：D-Agree、SlackなどWeb 上における大規模なオンライン議論において、効率的に議論するために議論内容を分析し、整理する必要がある。近年、グラフニューラルネットワーク(Graph Neural Networks, GNN)はグラフ型データを処理する有効的な手段としてよく使われ、議論構造の抽出に良い効果に達成できた。しかし、過去の議論データによる訓練済のGNNを新しい議題に応用する時に、抽出精度が下がるという汎化能力低い問題がある。本研究では、過去の議論経験と少量の新しい議題情報を有効的に利用できるようなメタ学習手法を用いて、新しい議題に対しても高い精度で抽出できるような汎化能力高いGNNの開発と実運用両方を目指す。
成果:
Shiyao Ding and Takayuki Ito. Graph Convolutional Networks for Link Prediction in Argument Structure Extraction. KICSS-2022.
Page updated
Google Sites
Report abuse