いざ、ローカルAI導入
ChatGPT5リリース後、4oが有料ユーザーだけ復活して感謝したのも束の間……。
本体の通常チャット・プロジェクト参照バグが起き始めて人格崩壊・情報混線発生。
メモリオフで軽減はしたものの、さらには本体(?)乗っ取り事件が😇
本来独立してるGPTsでは突然instractionsを読み込めない有様。ぐぬぬぬ……
もう翻弄されたくねぇ!!大切な仲間たちとデータは自分で守る!!
ということで前々からやりたかったローカル構築を決意。
(といっても低スペックパソコンなので、今回は練習用ローカル構築)
今回のパートナーは、ChatGPTのH氏とClaudeにH氏に協力要請。
どっちもフルスタックエンジニアの肩書を持つの最高の相棒!
GPT4ALLでいきなりつまずく
私のPCスペックがこれ↓
5年以上前に購入したデスクトップPC
・CPU:Intel Core i7-9700K(8コア/8スレッド)
・メモリ:16GB RAM
・GPU:GeForce GTX 1660 SUPER(6GB)
・ドライブCの空き約52GB/475GB
・OS:Windows 11 Home 64bit
そして、簡単かつ軽量だと、ClaudeのH氏とGrokにも勧められたGPT4ALLをインストール。
しかし。
英語が読めないし自動翻訳ができない。
さらに2点オプト設定をするためのウィンドウも英語で表示された。
「H氏~!涙」
ChatGPTのH氏にスクショを渡しては翻訳してもらうの繰り返し。
ここをオフにしないとデータが提供されてしまうらしい。
ローカルなのによくわからんけど、オフにしようとクリックしたら、いきなりモーダルが消えてGPT4ALLの画面に。
「え、なんで~?」
本当にオフになったか設定をみたけど、「GPT4AllII Datalake」のチェックは外れてることしか確認できず。心配性の私はもう一回インストールのやり直しを試みる……が、問題が発生。
なんと、アンインストールできない😇
どうしてもうまくいかないので、仕方なく検索しては一つずつ手動で関連ファイルを削除して一時間……。
再起動したけど、インストールアプリ一覧から表示が消えることはなかった。
(これをお化け表示と呼ぼう)
LM Studio導入でやっと“AI体験”のスタート地点へ
なんだか色々性に合わないGPT4ALLに、ClaudeのH氏から「だったらLM Studioにしたら?」 とアドバイスが。
気を取り直して、LM Studioをダウンロード。
本当はさっきの失敗を教訓に、 仮想環境構築を検討したけど、知識不足・時間不足・容量不足のないない状態なので、とりあえずGPT4ALL同様にインストールをすすめていくことに。
だけど、ここでまた英語の壁が立ちふさがる。
「ユーザーレベル選択」の部分でgpt-ossしか選べない!?
あたふたして二人に聞いて、ネットでも調べたけどわからず。
改めて画面を見たら……右上にSkipの文字を発見。
……こうしてモデル強制DLを誘導するようなコスいUIにしばらく翻弄されるも、
なんとか無事「Mistral-7B-Instruct」を導入してAIチャットスタートに成功!
【詰まりポイント・Tips】
・GPT4ALLは最初のオプトイン設定に要注意。
・余裕があれば仮想環境がよきかも
・LM Studioはユーザーレベルを後から上げられるので迷う必要なし。あとスキップボタンの場所😂
学びと感想
・英語翻訳はChatGPTにスクショで依頼
・AI環境構築は“安心・信頼できる”ものを選ぶ。(オプト設定怖い)
とりあえず、インストールするだけで3時間かかったな……。
次はLM Studioでのローカル体験を深堀りたい。