AnythingLLMをVPSに構築して社内ドキュメントでRAGを始める
筆者の結論（最初に読んでください）
はっきり書いておきます。AnythingLLMのRAG構築に、GPUは要りません。
「GPU搭載VPSを使えばもっと速い」という記事をたまに見かけますが、CPU推論のOllamaで十分動きます。月数万かけてGPU VPSを勧めてくる記事は、アフィリエイト報酬が高いGPUプランに誘導したいだけで、この用途に対してオーバースペックです。GPU推しの記事を見かけたら、まずそこを疑ってください。自分はそういう記事を見るたびにちょっと残念な気持ちになります。
VPS選びの結論もシンプルです。
- まず試してみるなら → KAGOYA（月770円〜、14日無料お試しあり）
- 毎月使い続けるなら → XServer VPS（月990円固定、毎月の計算から解放される）
- 損益分岐点は月76時間。それ以上稼働させるならXServer固定の方が安い
RAG自体は「難しそう」と思われがちですが、AnythingLLMは本当にDockerのコマンド数行で立ち上がります。自分も最初は少し構えてたんですが、拍子抜けするくらいあっさり動きました。「社内のPDFをAIに読ませたい」という要件があるなら、試す価値は十分あります。
RAGとは？なぜ企業に必要なのか
RAG（Retrieval-Augmented Generation / 検索拡張生成）は、AIが回答する際に自社のドキュメントを検索して、その内容を元に回答する仕組みです。
通常のChatGPTは学習データにない情報には答えられません。しかしRAGを使えば：
- 社内マニュアルの内容に基づいてAIが回答
- 契約書や仕様書から必要な情報を即座に検索
- 過去のプロジェクト資料を参照しながらアドバイス
- 新人研修の質問に自動回答
自分の感覚で言うと、「社内Wikiの検索をAIが代わりにやってくれる」イメージが一番近いです。 しかも「どのページに書いてあるか」じゃなくて「その内容を要約して答えてくれる」のが大きい。社内Wikiって「どのページに何が書いてあるか」をわかってる人しか使いこなせなかったりする。そこが変わるのはわりと革命的で、「あのページ、どこだっけ」を繰り返してた時間が消えます。
なぜAnythingLLMなのか
RAGツールは他にもいくつかありますが、正直に言うとAnythingLLMが一番ラクです。
| 特徴 | AnythingLLM | Dify | LangChain |
|---|---|---|---|
| 導入難易度 | ◎（Docker 1行） | ○ | △（コーディング必要） |
| UI | ◎（ブラウザ完結） | ◎ | ×（UIなし） |
| ドキュメント対応 | PDF/Word/txt/CSV等 | PDF/txt/Word | 自分で実装 |
| ローカルLLM対応 | ◎（Ollama連携） | ◎ | ◎ |
| セキュリティ | ◎（完全ローカル） | ◎ | ◎ |
Difyも悪くないですが、AnythingLLMの方が「とりあえず動かす」までが明らかに速い。LangChainはエンジニアが自分でガリガリ書くツールなので、「社内ドキュメントをAIに読ませたい」という用途であえて選ぶ理由はないです。コーディングを楽しみたい人が選ぶものであって、業務効率化が目的なら違う。
非エンジニアでも使えるUI + 完全ローカル動作が最大の強みです。 この2つが揃ってるツールは意外と少ない。どちらか片方だけなら他にもあるんですが、両方揃ってるとなるとAnythingLLMが頭一つ抜けてる印象があります。
必要なVPSスペック
| 用途 | CPU | メモリ | ストレージ |
|---|---|---|---|
| 小規模（文書100ページ以下） | 2コア | 4GB | 50GB |
| 中規模（文書1,000ページ以下） | 4コア | 8GB | 100GB |
| 大規模（文書10,000ページ以上） | 8コア | 16GB以上 | 200GB以上 |
正直に言うと、最初は4GBプランで十分です。 「まず動かしてみて、遅かったら上げる」でいい。最初から大きいプランを選ぼうとしてスペック選びで悩んで着手が遅れる、というのが一番もったいないパターンです。
それと改めて言いますが、GPUは本当に不要です。AnythingLLMはAPIかOllamaに推論を投げる設計なので、VPS側にGPUがあっても何の意味もない。CPU推論のOllamaで普通に動きます。GPU VPSを勧めてくる記事は、アフィリエイト単価が高いGPUプランへの誘導を疑ってかかっていいです。
おすすめVPS
自分のおすすめはこうです。
「まず試してみたい」ならKAGOYA一択。14日間の無料お試しがあって、その期間に週末が2回入ります。平日は仕事があってなかなか触れなくても、2回の週末があればセットアップから動作確認まで余裕で完結します。「2週間もあるのに両方の週末も触れなかった」はさすがにないはず。時間課金なので使わない時間は課金されないのも助かるし、試してみて「これは要らないな」と判断したら課金ゼロで終われます。損切りが早くできる選択肢です。
「継続して使うと決めたなら」XServer VPSの月990円固定が精神的にラクです。毎月「今月何時間使ったっけ」と計算しなくていい。RAGサーバーは一度ドキュメントを入れたら基本置きっぱなしになるので、固定料金の安心感はじわじわ効いてきます。月990円 = 1日あたり約33円。コーヒー1杯より安い計算です。
構築手順
ステップ1：VPSにDockerをインストール
ssh root@あなたのIPアドレス
curl -fsSL https://get.docker.com | sh
ステップ2：Ollamaをインストール（ローカルLLM用）
curl -fsSL https://ollama.ai/install.sh | sh
ollama pull llama3
ollama pull llama3 でモデルのダウンロードが始まります。数GBあるので少し待ちます。自分は最初これで「止まった？」と焦りましたが、普通にダウンロード中なので放置でOKです。プログレスバーが動いていれば正常。じっと見てても速くならないので他のことをしながら待ちましょう。
ステップ3：AnythingLLMを起動
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
--add-host=host.docker.internal:host-gateway \
-v anythingllm:/app/server/storage \
--name anythingllm \
--restart always \
mintplexlabs/anythingllm
--restart always を入れておくのがポイントです。VPSが再起動したときに自動でAnythingLLMも立ち上がります。これを忘れると再起動のたびに手動で起動しなきゃいけなくて地味にめんどくさい。書いておいて損はないオプションなので、コピペするときに消さないでください。
ステップ4：初期設定
ブラウザで http://あなたのIPアドレス:3001 にアクセス。
- 管理者パスワードを設定
- LLMプロバイダーで「Ollama」を選択
- Ollamaの接続先:
http://host.docker.internal:11434 - モデル:
llama3 - 埋め込みモデル: 内蔵のものを使用
正直、ここまでで30分かかりません。 初めてDockerを触る人でも、コマンドをコピペしながらやれば詰まるポイントはほぼないです。「Dockerって難しそう」という先入観を持ってる人ほど、やってみると拍子抜けすると思います。怖がって先延ばしにする時間の方がもったいない。
ステップ5：ドキュメントをアップロード
- 「ワークスペース」を作成（例: 「社内マニュアル」）
- 「ドキュメントをアップロード」でPDF等を投入
- 自動的にチャンク分割 → ベクトル化
- チャット画面で質問すれば、ドキュメントの内容を元にAIが回答
ワークスペースは用途ごとに分けるのが使いやすいです。「人事規程」「技術マニュアル」「営業FAQ」みたいに分けておくと、質問するときに関係ないドキュメントを検索しなくて済む。全部まとめて放り込むと精度が落ちる場合があるので、ここは少し丁寧にやる価値があります。最初に構造を決めておく5分が、後の検索精度に響いてきます。
活用シーン
人事部門
就業規則・福利厚生の問い合わせに自動回答。「有給休暇の申請方法は？」→ 社内規定を参照して即回答。
これ、人事担当者が一番喜ぶやつだと思います。 毎回同じ質問に答える工数がバカにならないので。「同じこと何回も聞かれる」という状況を放置してるなら、RAGを試してみる価値は十分あります。
IT部門
技術マニュアル・手順書をRAGに登録。トラブルシューティングの一次対応をAIが代行。深夜のインシデント対応で「あのマニュアルどこだっけ」と焦る場面が減ります。
営業部門
製品カタログ・FAQ・過去の提案書を元に、顧客からの質問にAIが回答案を作成。「この製品の仕様、確認してから折り返します」が「今すぐ確認できます」になる。
法務部門
契約書のテンプレートや法令をRAGに登録。契約内容の確認作業を効率化。
法務・人事のように「機密情報を扱う部門」こそVPSセルフホストの意味があります。 クラウドサービスに社内規程や契約書を上げることへの心理的ハードルはわりと高いし、実際に情報システム部門や上司に止められるケースもある。完全ローカル構成なら「データがどこにも行かない」と技術的根拠を持って説明できます。稟議を通す場面でも使える論点です。
セキュリティのポイント
AnythingLLMをVPSにセルフホストする最大のメリットはデータが外部に漏れないこと。
- ドキュメントはVPS内のストレージに保存
- AIの推論もVPS内で完結（Ollama使用時）
- 外部APIを使わなければ、インターネットへの送信ゼロ
- VPSのファイアウォールで社内IPのみアクセス許可すれば、さらに安全
はっきり書いておきます。「社内ドキュメントをChatGPTに貼り付けてはいけない」というルールの会社は多いはずです。 でもAnythingLLMのセルフホスト構成なら、ドキュメントはVPSの外に出ない。「AIを使いたいけどデータが心配」という社内の反対意見に対して、技術的な根拠を持って答えられる。情報システム部門への説明が通りやすくなるのは、地味に大きいポイントです。
よくある質問（FAQ）
まとめ：あなたの使い方で選ぶ
| あなたの状況 | おすすめ構成 | 月額目安 |
|---|---|---|
| まず動作確認したい | KAGOYA 4GBプラン（無料お試し14日） | 770円〜（試用後） |
| 毎日使う・管理コストを減らしたい | XServer VPS 4GBプラン（月額固定） | 990円（1日33円） |
| ドキュメント量が多い（1,000ページ超） | XServer VPS 8GBプラン | 1,980円 |
| とにかく安く本番運用したい | KAGOYA 4GBプラン（時間課金） | 770円〜 |
| GPU VPS（月数万）を勧められた | やめとけ。CPU推論で十分動く | — |
損益分岐点の話をすると、 KAGOYAの時間課金は1時間あたり約0.5〜1円台（プランによる）なので、月に76時間以上稼働させるならXServerの固定料金の方が安くなります。RAGサーバーは基本24時間稼働させるので、月換算すると720時間。継続運用するなら最初からXServer固定の方がトータルで安いし、毎月の課金計算から解放されます。
- 月76時間未満の利用 → KAGOYA時間課金が安い
- 月76時間以上（≒常時稼働） → XServer固定990円の方が安い
AnythingLLMは「最も簡単にRAG環境を構築できるツール」です。
- Docker数行で構築完了
- ブラウザからドキュメントをアップロードするだけ
- Ollama連携でAPI料金ゼロ
- データは自分のVPS内に完全保管
これが最終回答じゃないし、VPS選びも今の判断が永遠に正解である必要もないです。まずKAGOYAの無料お試しで動かしてみて、使い続けると思ったらXServerに移行するでも全然いい。14日あれば判断できます。週末2回あれば、セットアップして、ドキュメントを入れて、チームに試してもらうところまで行けます。「社内のPDFにAIで質問できる環境」を一度体験したら、元には戻れないと思いますよ。