産学連携先:株式会社KSD

ローカルLLMは産業界で注目されています。つまり、OpenAIやGoogleの生成AIを利用する場合、企業や組織の機密事項を扱うことができません。第三者のシステムに機密情報を送ることになるからです。一方、生成AIの本来の能力は、社内や組織内の機密情報を扱うことができれば、業務改善等において飛躍的な効果があります。しかし、機密情報漏洩を懸念して当たり障りのないデータを生成AIに処理させることが中心となっています。

そこで、ローカルLLMは大企業を中心に自社内で高価な費用をかけて構築し、システム開発等に効果を示しています。ローカルLLMは完全にインターネットから切り離されて完全に情報を隠蔽することができます。
一方、中小企業にとって高価な費用をかけてローカルLLMを構築することは難しいです。近年のGPUやメモリの高騰によって、ローカルLLMが動作するコンピュータを準備するための費用は高価すぎるという問題があります。

本研究は、型落ちゲーミングPCを複数台使って、最新鋭の高価なコンピュータと同様の性能を持つローカルLLMを構築するチャレンジをしています。5年前の型落ちゲーミングPC4台で、メモリ32GBのRTX 5080のコンピュータ(数百万円)と同等程度のトークン数/秒が達成できました。まだ、チューニングや性能検査が不足していますが、型落ちゲーミングPCを有効利用する有望な研究になると考えています。

総合情報学部3年 NGUYEN TIEN DAT

学生活動状況報告

参加学生一覧

【3年】
花谷 恭弥、谷岡 翼、長谷川 直哉、伊藤 尚也、織田 果菜恵、北野 晄平、谷 豪斗、和泉 樹美果、今井 一真、NGUYEN TIEN DAT、楠元 翔太郎、久良 広樹、坂下 柊斗、杉本 照都、田中 悠翔、PATRICK BENEDIKT、山本 真夕、横瀬 綾美、LAETITIA KAYLIN CIONA