EkanLabでは、社内からのみ利用できるローカルLLM環境を導入し、AIを活用した開発に利用できる体制を整えています。機密情報を扱う案件でも、ソースコードやプロンプトを外部のAI APIへ送信せずに開発を進めることができます。
未公開のサービス仕様や、お客様からお預かりしたプログラムを扱う開発では、AIに入力する情報の取り扱いが重要です。今回は、社内でAIを動かす仕組みと、クローズドな開発環境を構成する際のポイントをご紹介します。自社へのローカルLLM導入をご検討中の企業様もご覧ください。
システムの概要
ローカルLLMは、自社で管理する機器上で大規模言語モデルを動かす仕組みです。開発者からの質問やコードを社内のAIサーバーで処理し、その結果を開発端末へ返します。AIが回答を生成する処理を社内で完結させることで、外部のAIサービスへ入力内容を送る必要がなくなります。
活用例としては、既存コードの内容確認、改修案の検討、テストコードの作成補助、仕様書の整理などが挙げられます。生成されたコードや説明は、開発者が内容を確認し、必要なテストを行ったうえで利用します。
クラウドAIにも、入力データを標準では学習に利用しない法人向けサービスがあります。ただし、学習への利用条件と、データを社外へ送信してよいかどうかは、それぞれ確認が必要です。社外送信そのものに制限がある案件では、ローカルLLMが選択肢になります。
参考：OpenAIの法人向けデータ取り扱い方針
クローズドな運用を支える構成のポイント
完全にクローズドなAI開発環境を構成するには、LLMの実行場所に加え、周辺ツールや通信経路まで含めて設計する必要があります。主な確認点は次のとおりです。
AI処理と参照データを社内に置く
回答を生成するモデルだけでなく、コード検索や文書検索に使う処理も対象です。社内文書を検索して回答に利用する仕組みを組み合わせる場合は、検索用データの作成や保存先まで確認します。
外部への通信と開発ツールの連携を確認する
エディターの拡張機能、外部APIへの自動切り替え、外部サービスを呼び出す機能などを確認します。外向き通信を許可する範囲も定め、必要に応じてネットワーク側で制御します。社内からしか接続できないことと、サーバーから外部へ送信できないことは、別々に確認する項目です。
ログと利用状況データの扱いを決める
プロンプトや生成結果が残るログの保存先、閲覧権限、保存期間を決めます。利用状況を収集するテレメトリーや障害報告、バックアップが外部へ送られる設定になっていないかも確認します。
モデル取得と更新の手順を分ける
モデルやソフトウェアの取得・更新には、通常、配布元へのアクセスが必要です。閉域運用では、承認したファイルを検証して持ち込む手順などを設け、日常の開発処理と切り分けます。モデルのライセンスや更新後の動作確認も、運用設計に含めます。
このようにデータの通り道を確認することで、お客様の情報管理方針に合わせた構成を検討できます。ローカルLLMを利用する場合も、端末管理やアクセス権限、持ち出しルールといった基本的な情報管理は引き続き重要です。
DGX Sparkを複数台利用する構成例
ローカルLLMを動かす機器の候補として、NVIDIA DGX Sparkなどがあります。複数台を用意する場合は、コード生成用と文書検索用に役割を分けたり、チームごとに利用先を分けたりする構成が考えられます。用途を分けることで、同時利用時の負荷を分散させる設計も可能です。
また、NVIDIAは2台のDGX Sparkを接続し、対応するモデルと実行環境で分散推論を行う手順を公開しています。この方式では、モデルの処理を複数の機器に分けます。機器を接続するだけで各機のメモリが自動的に一体化するわけではなく、モデルの対応状況やソフトウェア、ネットワークの設定が必要です。
参考：NVIDIAのDGX Spark向けvLLM構成手順
必要な機器や台数は、扱うモデル、入力するコードの量、同時利用人数、求める応答時間によって変わります。まずは実際の開発作業に近い条件で検証し、運用に合う構成を選ぶことが重要です。ここで挙げたDGX Sparkは構成例です。
こんなケースにおすすめ
- 契約や社内規程により、ソースコードや仕様書を外部AIへ送信できない
- 未公開サービスや顧客固有の業務システムの開発にAIを活用したい
- 社内のコードや技術文書を参照できるAI環境を検討している
- ローカルLLMを導入したいが、機器選定や運用方法から相談したい
導入時には、機器の購入費に加え、電力、保守、モデル更新や管理にかかる作業も確認します。モデルによって得意な作業や回答品質が異なるため、まず対象業務を絞って検証する進め方が適しています。
ローカルLLMを活用した開発と導入のご相談
EkanLabでは、ソースコードを外部AIへ送信しない開発のご相談に加え、企業内で利用するローカルLLM環境の導入相談も承ります。
AIを使いたい業務、社外へ出せない情報、利用人数、現在の開発環境などをお聞かせください。機器・モデルの選定や既存ツールとの連携、検証の進め方を含め、ご要件に応じた構成をご提案します。具体的な仕様が決まっていない段階でも、お気軽にお問い合わせください。