Windows環境でローカルLLM（Llama）のチャットBOTを作成してみた

スター・ウォーズ」は、世界中の観客を魅了し続ける時代を超えた傑作です。
その魅力的なストーリーテリング、緻密な世界構築、そしてアイコニックなキャラクターたちは、文化的現象としての地位を確立しています。
初めて観る時も、お気に入りのエピソードを再び観る時も、スター・ウォーズは時代を超えた喜びを提供し、観客に 長期間にわたって感情的、文化的、または知的な影響 を与えます。

$ git lfs install
Git LFS initialized.
$ git clone https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-AWQ
Cloning into 'Llama-3-ELYZA-JP-8B-AWQ'...
remote: Enumerating objects: 48, done.
remote: Counting objects: 100% (44/44), done.
remote: Compressing objects: 100% (43/43), done.
remote: Total 48 (delta 17), reused 0 (delta 0), pack-reused 4 (from 1)
Unpacking objects: 100% (48/48), 2.65 MiB | 2.23 MiB/s, done.
Filtering content: 100% (2/2), 1.33 GiB | 1.11 MiB/s, done.

$pip install llama-cpp-python
  Building wheel for llama-cpp-python (pyproject.toml) ... error
  error: subprocess-exited-with-error
  × Building wheel for llama-cpp-python (pyproject.toml) did not run successfully.
  │ exit code: 1
  ╰─> [20 lines of output]
      *** scikit-build-core 0.10.5 using CMake 3.30.2 (wheel)
      *** Configuring CMake...
      2024-08-28 16:41:10,601 - scikit_build_core - WARNING - Can't find a Python library, got libdir=None, ldlibrary=None, multiarch=None, masd=None
      loading initial cache file C:\Users\xxx\AppData\Local\Temp\tmpx0w5k3o8\build\CMakeInit.txt
      -- Building for: NMake Makefiles
      CMake Error at CMakeLists.txt:3 (project):
        Running
         'nmake' '-?'
        failed with:
         no such file or directory
      CMake Error: CMAKE_C_COMPILER not set, after EnableLanguage
      CMake Error: CMAKE_CXX_COMPILER not set, after EnableLanguage

C:\cmake-3.30.2-windows-x86_64\bin

$pip install llama-cpp-python
Successfully built llama-cpp-python
Installing collected packages: MarkupSafe, diskcache, jinja2, llama-cpp-python
Successfully installed MarkupSafe-2.1.5 diskcache-5.6.3 jinja2-3.1.4 llama-cpp-python-0.2.89

from llama_cpp import Llama
import chainlit as cl
llm = Llama(
    model_path="models/Llama-3-ELYZA-JP-8B-q4_k_m.gguf",
    chat_format="llama-3",
    n_ctx=1024,
)
async def process_message(user_message):
    response = llm.create_chat_completion(
        messages=[
            {"role": "user", "content": user_message}
        ],
        max_tokens=1024,
    )
    # デバッグ用にレスポンスを出力
    print("Raw response:", response)
    print("Response keys:", response.keys())
    response_text = ""
    if "choices" in response and len(response["choices"]) > 0:
        choice = response["choices"][0]
        print("Choice details:", choice)
        if "message" in choice and "content" in choice["message"]:
            response_text = choice["message"]["content"]
            print("response_text:", response_text)
        else:
            response_text = "No content found in message."
    else:
        response_text = "No choices found in response."
    return response_text
@cl.on_message
async def on_message(message: cl.Message):
    user_message = message.content
    print(f"Received user message: {user_message}")
    response_text = await process_message(user_message)
    print(f"Response text: {response_text}")
    if response_text:
        print("debug1")
        await cl.Message(content=response_text).send()
        print("debug2")
    else:
        await cl.Message(content="Error: No response text found.").send()
if __name__ == "__main__":
    cl.start()

$chainlit run local-llm2.py

＜LLMからの応答（デバッグログより）＞
犬と猫はどちらも人気のペットですが、性格や特徴が異なります。以下は、犬と猫の長所と短所をまとめたものです。
犬の長所と短所:
長所:
- 社会性が高く、人とコミュニケーションをとることができる。
- 鳴き声や体を使って表現することができる。
- 運動能力が高く、散歩や遊びに連れて行くことができる。
- 専門の訓練を受けることで、様々な仕事や競技に参加することができる。
短所:
- 鳴き声がうるさい。
- 専門の訓練やしつけが必要。
- 社会性が高いため、人と接することが多く、ストレスを感じることがある。
- 運動能力が高いため、散歩や遊びに時間と体力が必要。
猫の長所と短所:
長所:
- 独立心が高く、人と接することが少ない。
- 鳴き声が小さく、うるさくない。
- 専門の訓練やしつけが必要ない。
- 運動能力が低いため、散歩や遊びに時間と体力が必要ない。
短所:
- 社会性が低く、人とコミュニケーションをとることが少ない。
- 表現方法が限定的で、感情を表すことが少ない。
- 専門の訓練やしつけが必要ないため、問題行動をとることがある。
- 運動能力が低いため、散歩や遊びに連れて行くことが少ない。
以上は、犬と猫の長所と短所をまとめたものです。どちらがよいかは、個人の好みや生活スタイルによって異なります。

    if response_text:
        print("debug1")
        await cl.Message(content=response_text).send()
        print("debug2")

from llama_cpp import Llama
import chainlit as cl
from chainlit import make_async
llm = Llama(
    model_path="models/Llama-3-ELYZA-JP-8B-q4_k_m.gguf",
    chat_format="llama-3",
    n_ctx=1024,
)
def process_message(user_message):
    response = llm.create_chat_completion(
        messages=[
            {"role": "user", "content": user_message}
        ],
        max_tokens=1024,
    )
    # デバッグ用にレスポンスを出力
    print("Raw response:", response)
    print("Response keys:", response.keys())
    response_text = ""
    if "choices" in response and len(response["choices"]) > 0:
        choice = response["choices"][0]
        print("Choice details:", choice)
        if "message" in choice and "content" in choice["message"]:
            response_text = choice["message"]["content"]
            print("response_text:", response_text)
        else:
            response_text = "No content found in message."
    else:
        response_text = "No choices found in response."
    return response_text
async_process_message = make_async(process_message)
@cl.on_message
async def on_message(message: cl.Message):
    user_message = message.content
    print(f"Received user message: {user_message}")
    response_text = await async_process_message(user_message)
    print(f"Response text: {response_text}")
    if response_text:
        print("debug1")
        await cl.Message(content=response_text).send()
        print("debug2")
    else:
        await cl.Message(content="Error: No response text found.").send()
if __name__ == "__main__":
    cl.start()