手元で動かすAIと、サーバーで動かすAIの違い

AIを動かすには、計算する場所が必要です。選べる場所は2つです。

置き場所は2つ：自分の机か、借りた工場か

1つめは、自分の会社のパソコンで動かす方法です。ローカル、手元、オンプレミスなどと呼ばれます。自分の机で自分で作業する形です。

2つめは、インターネット越しに他社の設備で動かす方法です。これをクラウドと呼びます。

ChatGPT や Claude のように、ブラウザで使うAIは全部これです。

マイクロソフトはクラウドを、こう定義しています。「サーバー、保管、データベース、ネットワーク、ソフト、分析などのコンピューティングサービスを、インターネット経由で届けること」。

工場を建てずに、よその工場に頼む形です。

費用：買い切りか、月額か

クラウドは月額です。使った分を、毎月払います。

マイクロソフトの説明では、クラウドの特徴として「使ったサービスの分だけ支払う」ことが挙げられています。「ハードの用意やソフトの更新といった、時間のかかるIT管理の手間」がなくなるともされています。

使う人が増えたら増やし、減ったら減らせます。最初にまとまった出費がありません。

手元は買い切りです。最初にパソコンを買います。そのあとのAIの利用料はかかりません。

動かすソフト自体は、無料のものがあります。前の記事で触れた Ollama も、その1つです。

ただし、手元には見えにくい費用があります。おもに次の3つです。

• 減価げんか買った機械は古くなり、値段が目減りしていきます。
• 電気代動かしているあいだ、ずっとかかります。
• 手間更新や不具合の対応を、誰かがやることになります。

マイクロソフトが「なくなる」と書いているのは、まさにこの手間です。手元を選ぶなら、この手間を誰が持つのかを決めておく必要があります。

判断の目安はこうです。使う人が少なく、使う量も読めないなら、まずクラウドです。

毎日たくさん使い、かつ次に述べる秘密の事情があるなら、手元を検討する順番になります。

秘密の扱い：社外に出せない情報があるとき

ここが、中小企業にとっていちばん大事な判断材料です。

クラウドに文章を入れるということは、その文章が社外の設備に届くということです。

相手が信頼できる会社かどうかとは、別の話です。事実として、社外に出ます。

手元で動かす場合は、出ません。Ollama の解説によれば、AIの本体はパソコンの中に置かれ、そこで動きます。

同じ解説には、GPU を使わず CPU だけで動かす指定方法も書かれています。つまり、特別な機械がなくても手元で動かす道はあります。

では、何を基準に線を引くか。ここは自社で決めるものですが、参考になる公的な資料があります。

IPA（独立行政法人情報処理推進機構）が公開している「中小企業の情報セキュリティ対策ガイドライン」です。2026年9月時点で第4.0版です。

付録として「中小企業のためのクラウドサービス安全利用の手引き」が付いており、無料で入手できます。

実務としては、先に線を引いてください。たとえば、こういう情報です。

• 顧客の個人情報名前、住所、連絡先など。
• 見積の原価仕入れ値や、もうけの数字。
• 人事の話給与や評価の中身。
• 契約書の中身相手と交わした条件。

これらを入れてよいかどうかを、使い始める前に決めます。決めていないと、現場は良心的に判断して、良心的に間違えます。

上限と速さ：小さく速いか、大きく賢いか

クラウドのAIは、事業者が用意した大規模な設備で動きます。手元の1台では載せられない規模のAIが使えます。しかも、勝手に新しくなります。

手元のAIは、机の広さが上限です。AIの本体を、メモリに丸ごと載せる必要があるからです。

2026年9月時点で、Ollama が配布する gemma3 というAIのファイルサイズは、小さいものが292MB、いちばん大きいものが17GBです。

同じ解説には、70B規模のAIを動かしている状態で42GBを使う表示例も載っています。

一方、速さには手元の利点があります。往復の通信がありません。

決まった短い作業を大量に繰り返す用途では、手元のほうが体感が良いことがあります。

ただし、手元は動きはじめに時間がかかることがあります。Ollama の解説では、読み込んだAIは既定きていで5分間メモリに置かれ、そのあと机から降ります。

つまり久しぶりに使うと、棚から机へ載せ直す待ち時間が出ます。この動きは設定で変えられます。

止まったとき、どうなるか

クラウドのAIは、通信が切れれば使えません。これは性能の問題ではなく、仕組みの問題です。

台風や災害で、回線が不安定になることがあります。社内の道具が全部止まると、業務ごと止まります。

手元のAIは、通信が切れても動きます。ただし、電気は必要です。

停電すれば、どちらも止まります。デスクトップよりノートパソコンのほうが、この点では粘ります。

対策は、大がかりなものでなくて構いません。止まったときに手で回す手順を、紙で1枚持っておくことです。

誰に電話するか、どこに書き留めるか。これがあるだけで、止まった日の損失が変わります。

千葉で実際に起きた通信障害の話 → 電波はあるのにネットがつながらない原因は？

中小企業の現実的な答え：まず併用

まずクラウドから始めてください。手間が軽く、賢さの上限が高く、初期費用がありません。

文章づくり、要約、たたき台、調べもの。この範囲なら、これで足ります。このためにパソコンを買い替える必要はありません。

そのうえで、線を引いてください。クラウドに入れてよい情報と、だめな情報です。IPA の手引きが役に立ちます。

そして、だめな情報をAIで扱う必要が出てきたときに、はじめて手元を検討してください。

そのときは、必要な机の広さから逆算ぎゃくさんします。「AIに詳しくなってから」ではなく「外に出せない仕事が出てきてから」が、正しい順番です。

道具の話に見えて、これは業務の設計の話です。どこまでを外に頼み、どこからを自分の手元に置くか。

この線は、業種によって違います。決め方に迷ったら、ご相談ください。

よくある質問