ローカルAI（ローカルLLM）とは？自分のパソコンで動かすAIの話

ChatGPT のようなAIは、ふつうは遠くのサーバーで動いています。そのAIを、自分のパソコンの中で動かすこともできます。

LLMとは：たくさんの文章から学んだAI

LLMは、Large Language Model の頭文字です。日本語では「大規模だいきぼ言語モデル」と呼びます。

総務省の白書でも、生成AIを支える技術の1つとして紹介されています。

とても多くの文章を読んで学び、言葉のつながり方を覚えたAIです。その力で、質問に答えたり、文章をつくったりします。

AIが学んだ中身は、「パラメータ」という数の集まりとして残ります。この数が多いほど、AIは大きくなります。

総務省の白書によれば、GPT-3 のパラメータは1,750億です。AIの歴史は AIの歴史と仕組み で紹介しています。

ローカルとは：AIの本体を手元に置く

ChatGPT や Claude をブラウザで使うとき、AIは遠くのサーバーで動いています。入れた文章は、インターネットを通って届きます。

ローカルAIでは、AIの本体を一度だけダウンロードします。本体は、学んだ中身が入った大きなファイルです。

あとは、自分のパソコンの中で計算して答えます。ここが「ローカル（手元）」の意味です。

Ollama という無料の道具の説明には、こう書かれています。「手元で動かすとき、入力もデータも、こちらからは見えません」。

よいところ：外に出ない・通信なしで動く

よいところは、おもに3つです。

• 外に出ない入れた文章は、パソコンの中で扱われます。社外に出したくない資料と相性がよい使い方です。
• 通信なしで動くLM Studio の説明にも、本体を先に入れておけば「完全にオフラインで動く」とあります。
• 使うたびのお金がないOllama は、手元で動かす分は無料で、回数の上限もありません。

一方で、苦手なこともあります。いちばん大きいのは、パソコンの性能で使えるAIの大きさが決まることです。

サーバーのAIと手元のAIの比べ方は、AIはどこで動かす？ でくわしく書いています。

「7B」とは？ 大きさとメモリの話

ローカルAIの名前には、よく「7B」「70B」などが付きます。B は Billion（10億）で、パラメータの数を表します。

7B なら70億、70B なら700億です。数字が大きいほど賢くなりやすく、そのぶん重くなります。

AIを動かすときは、本体をメモリに丸ごと載せます。だから、本体の大きさとメモリの広さが大事です。

Ollama で配られている本体の大きさを、いくつか並べます（2026年9月時点）。

たとえば OpenAI の gpt-oss-20b は、公式に「16GBのメモリで動く」とされています。一方の gpt-oss-120b は、80GBのGPUが1枚要ります。

パソコンの中身の話は、パソコンの中身 と AIとパソコンの性能 で説明しています。

本体を小さくする工夫もあります。「量子化りょうしか」といいます。

数の細かさを少し落として、ファイルを小さくする方法です。賢さはなるべく保ったまま、軽くします。

Google の資料では、Gemma 4 の31B は、そのままだと約70GBです。量子化すると約17.5GBになり、4分の1ほどに縮みます。

どうやって始める？

始めるのに、特別な知識はいりません。無料で使える道具があります。代表的なのは、この2つです。

• Ollama（オラマ）Mac・Windows・Linux で使えます。手元で動かす分は無料です。黒い画面（ターミナル）で使うのが基本です。
• LM Studio画面を見ながら、マウスで使えます。2025年7月から、仕事での利用も無料になりました。Mac は Apple シリコンのものが対象です。

手順は、だいたい3つです。

• 1. 道具を入れる公式サイトから、道具をダウンロードします。
• 2. AIの本体を選ぶ最初は、小さいもの（数GB）から試すのが安全です。
• 3. 話しかけるダウンロードが終われば、あとはチャットと同じように使えます。

AIの本体は、いろいろな会社や研究機関が公開しています。たとえば、次のようなものがあります。

• GemmaGoogle が公開しています。
• gpt-ossOpenAI が公開しています。
• LlamaMeta が公開しています。
• QwenAlibaba が公開しています。
• 日本生まれのAI国立情報学研究所の LLM-jp や、東京科学大学と産総研の Swallow などがあります。

黒い画面が苦手なら、ターミナルとは？ も読んでみてください。

仕事で使う前に、確かめること

公開されているAIには、それぞれ使い方の約束ごとがあります。これを「ライセンス」といいます。

Gemma 4・gpt-oss・Qwen3.5 などは、Apache 2.0 という、仕事でも使いやすいライセンスです。

Llama は、Meta 独自のライセンスです。たとえば、月の利用者が7億人を超える場合は、Meta の許可が要ります。

ほかにも、気をつけることがあります。

• 知識には締め切りがあるたとえば Llama 3.1 の学習データは、2023年12月までです。新しい出来事は知りません。
• 日本語の得意・不得意Llama 3.1 の公式の対応言語に、日本語は入っていません。日本語なら、日本語に強いAIを選びます。
• 答えは人が確かめるローカルでもサーバーでも、AIの答えはそのまま使わず、人の目で確かめます。

会社でAIを使うときの考え方は、国も指針にまとめています。総務省と経済産業省の「AI事業者ガイドライン」で、2026年3月に第1.2版が出ています。

何を手元に置き、何をサーバーに任せるか。その線引きは、業種や仕事によって違います。迷ったら、ご相談ください。

よくある質問