AIが複数の情報を同時に理解

このリポジトリは、モジュール式のマルチモーダルな組み立てから、異なるモダリティが統一されたtransformer spaceまたはjoint backboneの内部に統合される、ネイティブなマルチモーダルモデリングへの移行に関する研究をまとめたものです。