スマホのカメラとイヤホンがあれば、畫面が言葉に変換され、シーン描寫とリスク注意に変わり、視覚障がい者がより安全に移動でき、より便利に生活できるようになる……。復旦大學自然言語処理実験室（FudanNLP）の教員と學生の努力により、マルチモーダル大規模AIモデル「復旦?眸思（MouSi）」に基づき視覚障がい者向けに作った「聴見世界」アプリがリリースされた。中國新聞網が伝えた。

「聴見世界」は「眸思」に基づき、視覚障がい者の日常生活のニーズに合わせて街道歩行モード、フリーQ&Aモード、探しものモードを構築した。街頭歩行モードでは、「眸思」は忠実なガイド役のようになる。信號、交差點、障がい物などの道路狀況を詳細にスキャンし、潛在的なリスクを注意喚起し、視覚障がい者が道路を安全に通行できるようにしてくれる。

「眸思」は、フリーQ&Aモードでは気心が知れた友人のように、博物館や蕓術館、公園などへと案內してくれる。周囲の狀況を細かく捉え、音聲によって豊富な生活のシーンを描き出し、日常の風景の美しさを伝えてくれる。探しものモードでは信頼できる執事のように、置いたところから移動させられてしまった杖や好きな味のミルクなど、視覚障がい者が普段簡単に探しものができるようサポートしてくれる。

復旦大學自然言語処理実験室の張奇教授は、「人工知能（AI）は日進月歩で発展している。科學技術はより多くの人の暮らしを変えるものであるべきだ。眸思が視覚障がい者の外出をサポートし、より多くのことを試し、その人生により多くの可能性をもたらすことを願っている」と述べた。このプロジェクトを主導するのは研究を始めて間もない學生たちだが、そうした學生たちはかえってチーム內のブレーンストーミングで獨創的なアイデアを打ち出し、斬新な解決策を見つけることができているという。

チームは今年上半期に拡張現実（AR）を導入することで、アプリ內の測位の精度を準メートル級にアップグレードするのに対し、下半期には「眸思」の動畫に基づく判斷のアップグレードを目指す。現在は閲覧モードや解説モードなど、より多くのモードが開発中だという。（編集YF）

「人民網日本語版」2024年3月5日