ローカルLLMとは?
ローカルLLMとは、自社のサーバやパソコンなど、手元(ローカル)の環境で動かすLLMのことです。「オンプレミスのLLM」と呼ばれることもあります。
LLM(Large Language Model:大規模言語モデル)は、大量の文章を学習し、文章の理解や作成ができるAIで、ChatGPTに代表される生成AIの中心となる技術です。一般的な生成AIのサービスでは、入力した文章がインターネットを通じてサービス事業者の環境に送られ、そこで処理されます。ローカルLLMでは、この処理を自社の機器の中で行います。
なぜローカルLLMが注目されている?
生成AIを業務で使いたくても、顧客の個人情報、患者の情報、設計図や契約書などの機密情報を外部のサービスに入力できない、という企業や組織が多いためです。誰でも入手して自社の環境で動かせる形で公開されるLLMが増え、比較的小さなモデルでも日本語の文章を扱えるようになったことで、自社の環境で生成AIを動かす選択肢が現実的になっています。
ローカルLLMとクラウドの生成AIの違いは?
主な違いは、データの置き場所、性能、始めやすさ、費用の考え方です。
| 項目 | クラウドの生成AIサービス | ローカルLLM |
|---|---|---|
| データの置き場所 | サービス事業者の環境。入力を学習に使わない設定や、国内でのデータ保管を選べるサービスもある | 自社のサーバや端末。LLMの処理に外部との通信は不要 |
| 性能 | 最新の高性能なモデルを使いやすい | 機器の性能で、使えるモデルの大きさや同時に使える人数が決まる |
| 始めやすさ | 契約すればすぐ使える | 機器の調達と設置、環境の構築が必要 |
| 費用の考え方 | 利用量や利用者数に応じた料金が多い | 機器の購入費と保守の費用。利用量に応じたクラウドの利用料はかからない |
| 外部とのネットワーク接続 | 必要 | LLMの処理には不要(閉じたネットワークの中でも使える) |
| 管理 | モデルの更新や障害の対応はサービス事業者が行う | 機器・モデルの更新や障害の対応を自社(または委託先)で行う |
※一般的な傾向です。サービスや契約の内容によって異なります。

ローカルLLMのメリットとデメリットは?
メリット
- データを外部に送らずに使える:個人情報や機密情報を含む文書の要約・作成に使いやすくなります。
- 閉じたネットワークで使える:インターネットにつながない社内のネットワークや、医療機関の電子カルテのネットワークの中でも使えます。
- 利用量で費用が増えない:機器を用意すれば、使う回数が増えてもクラウドの利用料はかかりません。
- 自社に合わせて調整しやすい:モデルや設定を、自社の用途や書式に合わせて選べます。
デメリット
- 機器の用意が必要:AIの計算を高速に行う半導体(GPU)を積んだ機器が必要で、初期の費用がかかります。
- 性能に上限がある:機器の性能によって、使えるモデルの大きさと同時に使える人数が決まり、最新の大規模なモデルと同じ性能は出にくくなります。
- 運用の手間がかかる:モデルの更新、機器の保守、障害の対応を自社で行うか、委託する必要があります。
ローカルLLMの導入に必要な環境は?
ローカルLLMを動かすには、主に次の3つが必要です。
| 必要なもの | 内容 | 選ぶときのポイント |
|---|---|---|
| 機器(ハードウェア) | GPUを積んだパソコンやサーバ | 使うモデルの大きさと、同時に使う人数で必要な性能が決まる。小規模なら小型の機器、部署や病院全体で使うならGPUを増やせるワークステーションやサーバ |
| LLM(モデル) | 自社の環境で動かせる形で公開されているモデル | 日本語の性能、モデルの大きさ、利用条件(商用利用の可否など)を確かめる |
| 使うための仕組み | 画面(チャットなど)、社内の文書を読み込ませる仕組み、ほかのシステムとの連携 | プログラミングをせずにAIのアプリや処理の流れを作れる環境があると、現場で使い始めやすい |
社内のシステムとはどうつなぐ?
文書の作成に必要な情報が業務システムの中にある場合、手で集めてAIに入力していては手間が減りません。RPA(Robotic Process Automation)を使うと、業務システムから必要な情報を集めてローカルLLMに渡し、生成した文章を受け取って後続の作業を行う流れを自動化できます。

ローカルLLMはどんな用途に向いている?
外部に出しにくい情報を扱い、決まった形の文書を繰り返し作る業務に向いています。
| 業種・部門 | 用途の例 |
|---|---|
| 医療機関 | 退院サマリ、看護サマリ、診療情報提供書などの文書の下書き |
| 自治体 | 住民の情報を含む文書の要約、問い合わせの回答の下書き |
| 金融・保険 | 顧客の情報を含む書類の要約、社内規程の検索 |
| 製造業 | 設計書や技術文書の検索・要約、報告書の作成 |
| 法務・人事 | 契約書の確認の補助、人事の書類の作成 |
反対に、最新の情報の検索や、高度な推論が必要な作業は、クラウドの高性能なモデルのほうが向いていることがあります。扱う情報と求める性能で使い分けます。
ローカルLLMの導入はどう進める?
| 段階 | やること |
|---|---|
| 1. 対象の業務を決める | どの業務の、どの文書の作成・要約に使うかを決める。扱う情報の種類と、使う人数・部署を確かめる |
| 2. 事前に検証する | 個人情報を含まないサンプルのデータで、生成の品質と処理の性能を確かめる |
| 3. 現場で試す | 対象の文書を決め、業務システムとの連携を含めて、現場で使えるかを確かめる |
| 4. 機器の構成を決めて導入する | 検証の結果から、機器の性能と台数、運用・保守の体制を決める |
| 5. 広げる | 効果を確かめながら、使う部署や業務を増やす |
クラウドでも自社専用にする方法はある?
あります。クラウド上に自社専用の環境を作り、暗号化した専用の通信路(VPN:Virtual Private Network)で接続する方法です。プライベートクラウドとも呼ばれます。機器を自社に置かずに済み、用途に合わせて高性能なモデルを選べるため、使う部署や人数が多い場合に向いています。
| 選び方の目安 | 向いている環境 |
|---|---|
| 情報を社外に一切出さずに使いたい、まず小さく始めたい | ローカルLLM |
| 社外の環境でも自社専用に管理したい、高性能なモデルを使いたい、全社で使いたい | クラウド上の自社専用の環境 |
| すぐに試したい、機密情報は扱わない | 一般的なクラウドの生成AIサービス |
オープン株式会社のローカルLLMの提供例は?
オープン株式会社は、医療機関向けに、ローカルLLMとRPAを組み合わせて退院サマリなどの文書作成を自動化する「医療業界向け生成AI」を提供しています。2つの構成から選べます。
| 構成 | 内容 |
|---|---|
| ローカル環境モデル | 院内のネットワークの中に構築する。機器は、小規模向けの小型スーパーPCと、中規模以上向けのGPUワークステーション(標準でGPU1基、最大4基まで増設可能)の2つから選ぶ。メーカー保証はどちらも3年間。LLMの処理に外部との通信は不要で、入力したデータが生成AIの処理のために院外へ送られることはない |
| AWS環境モデル | AWS(Amazon Web Services)上の自院専用の環境に、院内からVPNで接続する。最新の日本語モデルを使え、一部の部署から始めて段階的に広げられる |
電子カルテからのデータの抜き出しと、生成した文書の後続の作業は、RPAのBizRobo!で自動化します。プログラミングをせずにAIのアプリやワークフローを作れる環境を提供し、院内での作成が難しい場合は別途有償で開発します。導入の前には、患者情報を含まないサンプルのデータで生成の品質と処理の性能を確かめるデータ検証を、無償で行います(データの提出から5営業日程度)。費用は、対象の業務と環境(機器の構成など)によって個別に見積もります。
医療機関での生成AIの使い方や事例は「医療の生成AI活用とは?」で詳しく解説しています。
よくある質問
ローカルLLMとは何ですか?
インターネット上のサービスではなく、自社のサーバやパソコンの中で動かす大規模言語モデル(LLM)です。入力したデータを外部のサービスに送らずに生成AIを使えます。
ローカルLLMとクラウドの生成AIの違いは?
ローカルLLMは自社の機器でデータを処理するため、情報を外部に出さずに使えますが、性能は機器で決まり、機器の用意と運用が必要です。クラウドの生成AIは高性能なモデルをすぐに使えますが、データはサービス事業者の環境で処理されます。
ローカルLLMの導入に必要な環境は?
GPUを積んだパソコンやサーバ、自社の環境で動かせる形で公開されているLLM、使うための画面や業務システムとの連携の仕組みが必要です。
ローカルLLMが向いている用途は?
個人情報や機密情報を扱い、決まった形の文書を繰り返し作る業務に向いています。医療機関の退院サマリなどの文書の下書き、自治体や金融機関での文書の要約などです。
ローカルLLMの性能はクラウドより低いですか?
使える機器の性能によっては、最新の大規模なモデルより性能が低くなることがあります。文書の要約や下書きなど用途を決めれば、実用的に使えるモデルもあります。事前にサンプルのデータで検証して確かめましょう。
ローカルLLMはインターネットにつながなくても使えますか?
LLMの処理には外部との通信が要らないため、閉じたネットワークの中でも使えます。ただし、モデルの更新や保守のために接続が必要になる場合があります。
まとめ
ローカルLLMは、自社の環境で動かすことで、データを外部に送らずに生成AIを使える仕組みです。機器の用意と運用が必要で、性能は機器で決まるため、扱う情報、使う人数、求める性能から、ローカルLLM、クラウド上の自社専用の環境、一般的なクラウドのサービスを選びます。まず対象の業務を決め、サンプルのデータで品質を確かめてから導入しましょう。
▶ お問い合わせ