産学連携先:株式会社KSD
ローカルLLMは産業界で注目されています。つまり、OpenAIやGoogleの生成AIを利用する場合、企業や組織の機密事項を扱うことができません。第三者のシステムに機密情報を送ることになるからです。一方、生成AIの本来の能力は、社内や組織内の機密情報を扱うことができれば、業務改善等において飛躍的な効果があります。しかし、機密情報漏洩を懸念して当たり障りのないデータを生成AIに処理させることが中心となっています。
そこで、ローカルLLMは大企業を中心に自社内で高価な費用をかけて構築し、システム開発等に効果を示しています。ローカルLLMは完全にインターネットから切り離されて完全に情報を隠蔽することができます。
一方、中小企業にとって高価な費用をかけてローカルLLMを構築することは難しいです。近年のGPUやメモリの高騰によって、ローカルLLMが動作するコンピュータを準備するための費用は高価すぎるという問題があります。
本研究は、型落ちゲーミングPCを複数台使って、最新鋭の高価なコンピュータと同様の性能を持つローカルLLMを構築するチャレンジをしています。5年前の型落ちゲーミングPC4台で、メモリ32GBのRTX 5080のコンピュータ(数百万円)と同等程度のトークン数/秒が達成できました。まだ、チューニングや性能検査が不足していますが、型落ちゲーミングPCを有効利用する有望な研究になると考えています。
ローカルLLMは産業界で注目されています。つまり、OpenAIやGoogleの生成AIを利用する場合、企業や組織の機密事項を扱うことができません。第三者のシステムに機密情報を送ることになるからです。一方、生成AIの本来の能力は、社内や組織内の機密情報を扱うことができれば、業務改善等において飛躍的な効果があります。しかし、機密情報漏洩を懸念して当たり障りのないデータを生成AIに処理させることが中心となっています。
そこで、ローカルLLMは大企業を中心に自社内で高価な費用をかけて構築し、システム開発等に効果を示しています。ローカルLLMは完全にインターネットから切り離されて完全に情報を隠蔽することができます。
一方、中小企業にとって高価な費用をかけてローカルLLMを構築することは難しいです。近年のGPUやメモリの高騰によって、ローカルLLMが動作するコンピュータを準備するための費用は高価すぎるという問題があります。
本研究は、型落ちゲーミングPCを複数台使って、最新鋭の高価なコンピュータと同様の性能を持つローカルLLMを構築するチャレンジをしています。5年前の型落ちゲーミングPC4台で、メモリ32GBのRTX 5080のコンピュータ(数百万円)と同等程度のトークン数/秒が達成できました。まだ、チューニングや性能検査が不足していますが、型落ちゲーミングPCを有効利用する有望な研究になると考えています。
総合情報学部3年 NGUYEN TIEN DAT
学生活動状況報告
前期はゲーミングPC教室(G-Lab)でローカルLLMの分担処理の実現を目指しました。つまり、ゲーミングPCに生成AIモデル(無料版)をインストールして、質疑応答するWebアプリインターフェースを構築し、連続して4つの質問をすると、4台のゲーミングPCでそれぞれ1つずつ処理するという形式です。まず、4台の教室のゲーミングPCにローカルLLM用モデルをインストールするところから始まり、4台のゲーミングPCの情報をやり取りするためのローカルネットワークを作ります。それをWebアプリケーションが動作するノートPCに接続できる環境を構築します。ノートPCがそれぞれの質問を入力するPCとなります。ただし、この場合は本来の分散処理(一つの質問を4台で同時並行して処理する)ではなく、4つの質問があったときに、一つの質問を一つのゲーミングPCにそれぞれ割り当てるという、並列らしきローカルLLMの実現でした。
しかし、夏休みから後期にかけて、本来の分散処理をMesh-LLMを使って実現しました。つまり、一つの質問を同時に4台が並列に処理するということです。これによって、型落ちゲーミングPC1台での生成LLMの処理時間が、単純計算で4台の場合はその約4分の1となります。Mesh-LLMを使うためのそれぞれのPCへの環境構築を自動で実施するためのバッチファイルを作り、かつ、分散処理のチューニングにチャレンジ中で、さらに速度と性能を改善する予定です。
しかし、夏休みから後期にかけて、本来の分散処理をMesh-LLMを使って実現しました。つまり、一つの質問を同時に4台が並列に処理するということです。これによって、型落ちゲーミングPC1台での生成LLMの処理時間が、単純計算で4台の場合はその約4分の1となります。Mesh-LLMを使うためのそれぞれのPCへの環境構築を自動で実施するためのバッチファイルを作り、かつ、分散処理のチューニングにチャレンジ中で、さらに速度と性能を改善する予定です。
総合情報学部3年 久良 広樹
参加学生一覧
【3年】
花谷 恭弥、谷岡 翼、長谷川 直哉、伊藤 尚也、織田 果菜恵、北野 晄平、谷 豪斗、和泉 樹美果、今井 一真、NGUYEN TIEN DAT、楠元 翔太郎、久良 広樹、坂下 柊斗、杉本 照都、田中 悠翔、PATRICK BENEDIKT、山本 真夕、横瀬 綾美、LAETITIA KAYLIN CIONA
花谷 恭弥、谷岡 翼、長谷川 直哉、伊藤 尚也、織田 果菜恵、北野 晄平、谷 豪斗、和泉 樹美果、今井 一真、NGUYEN TIEN DAT、楠元 翔太郎、久良 広樹、坂下 柊斗、杉本 照都、田中 悠翔、PATRICK BENEDIKT、山本 真夕、横瀬 綾美、LAETITIA KAYLIN CIONA
