អត្ថបទនេះបកប្រែពីភាសាអង់គ្លេសដោយ AI។ អានអត្ថបទដើមជាភាសាអង់គ្លេស →
ដំណើរការ AI ផ្ទាល់លើ Mac ជាមួយ Ollama៖ Chat, Tools, RAG និងបង្កើតម៉ូដែលផ្ទាល់ខ្លួន (តួលេខជាក់ស្តែងពី Mac mini M4)
ប្រើ Ollama លើ Mac mini M4 (16 GB)៖ កម្មវិធី Chat, OpenAI SDK, Tool Calling, RAG និងបង្កើតម៉ូដែលផ្ទាល់ខ្លួន ជាមួយល្បឿនជាក់ស្តែង និងកូដគំរូ
ខ្ញុំចង់ដឹងថា Mac mini M4 ធម្មតាមួយគ្រឿងទំហំ 16 GB អាចដំណើរការ AI ផ្ទាល់លើម៉ាស៊ីនបានកម្រិតណា។ មិនបាច់ពឹងលើ Cloud, មិនបាច់មាន API key ហើយគ្មានទិន្នន័យណាមួយចេញក្រៅម៉ាស៊ីនឡើយ។ ដូច្នេះហើយ ខ្ញុំបានដំឡើង Ollama រួចបង្កើតគម្រោងតូចៗចំនួនប្រាំជាមួយវា៖ កម្មវិធី Chat, ការប្រើ OpenAI SDK ភ្ជាប់ទៅ localhost, ការហៅប្រើ Tool (tool calling), ប្រព័ន្ធ RAG សម្រាប់ស្វែងរកឯកសារផ្ទាល់ខ្លួន និងការបង្កើតម៉ូដែលផ្ទាល់ខ្លួនមួយ។
អ្វីៗទាំងអស់ខាងក្រោមនេះ សុទ្ធតែជាលទ្ធផលពីការតេស្តជាក់ស្តែង។ អ្នកអាចមើលវីដេអូបង្រៀនលម្អិតមួយជំហានៗនៅទីនេះ៖
▶ WATCH ON YOUTUBEWatch the video
💻 កូដទាំងអស់មាននៅលើ GitHub៖ https://github.com/rainyreaksmey/ollama-mac-course
Ollama ជាអ្វី (ក្នុងមួយកថាខណ្ឌ)
Ollama គឺជាកម្មវិធីតូចមួយដែលជួយទាញយកម៉ូដែលបើកចំហ (ដូចជា Llama, Qwen, Gemma និងម៉ូដែលផ្សេងទៀត) មកដំណើរការលើកុំព្យូទ័រផ្ទាល់ខ្លួនរបស់អ្នក។ វានឹងដំណើរការម៉ូដែលទាំងនោះតាមរយៈ http://localhost:11434 ដូច្នេះរាល់កម្មវិធីណាដែលអាចផ្ញើ HTTP request សុទ្ធតែអាចប្រើវាបានទាំងអស់ មិនថាជា Terminal, Python ឬ Tool ណាដែលដើរជាមួយ OpenAI API នោះទេ។ ចំពោះម៉ាស៊ីន Apple Silicon វិញ វានឹងដំណើរការម៉ូដែលនៅលើ GPU ផ្ទាល់តាមរយៈ Metal។
ការដំឡើង និងការសាកល្បងម៉ូដែលដំបូង
ទាញយក Ollama ពី ollama.com រួចអូសវាចូលទៅក្នុង Applications ហើយបើកវា។ បន្ទាប់មកវាយពាក្យបញ្ជា៖
ollama pull qwen3:4b-instruct
ollama run qwen3:4b-instruct --verbose--verbose នឹងបង្ហាញល្បឿនបន្ទាប់ពីឆ្លើយសំណួរនីមួយៗរួច។ នៅលើ M4 ខ្ញុំទទួលបានលទ្ធផល៖
| ម៉ូដែល | ល្បឿន | ចំណាំ |
|---|---|---|
| Qwen 3 · 4B instruct | 35.8 tokens/s | 100% GPU, ផ្ទុកចូល 3.2 GB, context ទំហំ 4,096-token |
| Llama 3.2 · 3B | 44.8 tokens/s | លឿនជាង ប៉ុន្តែវាមិនស្គាល់ថា Ollama ជាអ្វីទេ (ព្រោះទិន្នន័យបង្វឹកមានដែនកំណត់) |
ពាក្យបញ្ជាពីរដែលខ្ញុំប្រើញឹកញាប់បំផុត៖
ollama ps # what is loaded right now, and on CPU or GPU
ollama show qwen3:4b-instruct # context length, parameters, templateម៉ូដែលដែលបើកដំណើរការរួច នឹងស្ថិតនៅក្នុង Memory រយៈពេល 5 នាទីបន្ទាប់ពីសំណួរចុងក្រោយ រួច Ollama នឹងបិទវាចេញពី Memory ដោយស្វ័យប្រវត្តិ។
1. កម្មវិធី Chat បែប Streaming ដែលមាន Memory ចងចាំ
ការប្រើ Package ផ្លូវការ ollama លើ Python គឺជាវិធីងាយស្រួល និងលឿនបំផុត៖
import ollama
messages = [{"role": "system", "content": "You are a friendly tutor. Keep answers short."}]
while True:
question = input("you › ")
if question in {"exit", "quit"}:
break
messages.append({"role": "user", "content": question})
reply = ""
for chunk in ollama.chat(model="qwen3:4b-instruct", messages=messages, stream=True):
print(chunk.message.content, end="", flush=True)
reply += chunk.message.content
print()
messages.append({"role": "assistant", "content": reply}) # memory: the model sees the whole chat"Memory" ឬការចងចាំនៅទីនេះ មិនមែនជាវេទមន្តអ្វីឡើយ៖ គឺអ្នកគ្រាន់តែផ្ញើប្រវត្តិសន្ទនាទាំងមូលត្រឡប់ទៅវិញរាល់ពេលសួរតែប៉ុណ្ណោះ។
2. ប្រើ OpenAI SDK ប៉ុន្តែដំណើរការលើម៉ាស៊ីនផ្ទាល់
Ollama មានផ្ដល់ Endpoint ដែលត្រូវគ្នាជាមួយ OpenAI ដូច្នេះកូដចាស់ៗរបស់អ្នកអាចដំណើរការបាន ដោយគ្រាន់តែប្ដូរកូដមួយបន្ទាត់ប៉ុណ្ណោះ៖
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama") # the key is ignored
r = client.chat.completions.create(
model="qwen3:4b-instruct",
messages=[{"role": "user", "content": "Explain an API in one sentence."}],
)
print(r.choices[0].message.content)នេះជាវិធីងាយស្រួលបំផុតក្នុងការប្តូរគម្រោងតូចៗចេញពី API បង់លុយ ដើម្បីយកមកតេស្តសាកល្បង។
3. Tool calling៖ ឱ្យម៉ូដែលហៅ Function របស់ Python មកដំណើរការជាក់ស្តែង
អ្នកគ្រាន់តែបញ្ជូន Function ធម្មតារបស់ Python ដែលមានសរសេរ Docstring។ ម៉ូដែលនឹងសម្រេចចិត្តដោយខ្លួនឯងថាតើត្រូវហៅ Function មួយណា ដូច្នេះអ្នកត្រូវភ្ជាប់ឈ្មោះ Tool នីមួយៗទៅនឹង Function របស់វា ហើយពិនិត្យមើល Argument មុននឹងឱ្យវាដំណើរការ៖
import inspect, ollama, subprocess
def get_disk_free() -> str:
"""Get the free space on this Mac's main disk."""
out = subprocess.run(["df", "-g", "/"], capture_output=True, text=True).stdout.split("\n")[1].split()
return f"{out[3]} GB free of {out[1]} GB"
TOOLS = {"get_disk_free": get_disk_free} # add more tools here
messages = [{"role": "user", "content": "How much free disk space does my Mac have?"}]
response = ollama.chat(model="qwen3:4b-instruct", messages=messages, tools=list(TOOLS.values()))
messages.append(response.message) # once, before the tool results
for call in response.message.tool_calls or []:
fn = TOOLS.get(call.function.name)
args = call.function.arguments or {}
if fn is None or set(args) - set(inspect.signature(fn).parameters):
result = f"error: no tool {call.function.name} with arguments {list(args)}"
else:
result = fn(**args)
messages.append({"role": "tool", "tool_name": call.function.name, "content": result})
print(ollama.chat(model="qwen3:4b-instruct", messages=messages).message.content)នៅក្នុងការតេស្តរបស់ខ្ញុំ ដោយមានបន្ថែម Function ទីពីរសម្រាប់ពិនិត្យទំហំ Memory (get_memory នៅក្នុងឯកសារ tools.py នៃ Repository) ម៉ូដែលបានហៅដំណើរការ Function ទាំងពីរ ហើយឆ្លើយត្រឡប់មកវិញថា៖ សល់ទំហំ Disk 150 GB, សល់ Memory 61% នៃ 16 GB។ សូមអរគុណដល់ Ahmet Özel ដែលបានជួយប្រាប់ថា កូដ Loop ជំនាន់ដំបូងរបស់ខ្ញុំតែងតែហៅ Function ដដែលៗគ្រប់ពេល។
4. RAG៖ ឆ្លើយសំណួរចេញពីឯកសារផ្ទាល់ខ្លួនរបស់អ្នក
នេះជាផ្នែកដែលមានប្រយោជន៍បំផុត។ ដំបូងឡើយ ខ្ញុំបានសួរទៅកាន់ Llama 3.2 ធម្មតាថា តើ Studio របស់ខ្ញុំប្រើ Mac មួយណា? ប្រាកដណាស់ វាមិនដឹងចម្លើយឡើយ។ បន្ទាប់មក ខ្ញុំក៏បានបញ្ចូលកំណត់ត្រារបស់ខ្ញុំឱ្យវាស្គាល់តាមរយៈ RAG៖
import numpy as np, ollama
from pathlib import Path
chunks = [p.strip() for f in Path("docs").glob("*.md") for p in f.read_text().split("\n\n") if p.strip()]
vectors = np.array(ollama.embed(model="nomic-embed-text", input=chunks).embeddings)
vectors /= np.linalg.norm(vectors, axis=1, keepdims=True)
question = "Which Mac does the studio use?"
q = np.array(ollama.embed(model="nomic-embed-text", input=question).embeddings[0])
best = np.argsort(vectors @ (q / np.linalg.norm(q)))[::-1][:3]
context = "\n\n".join(chunks[i] for i in best)
print(ollama.generate(model="llama3.2:3b",
prompt=f"Answer using only this context:\n\n{context}\n\nQuestion: {question}").response)លទ្ធផលដែលត្រូវគ្នាល្អបំផុតទទួលបានពិន្ទុ 0.869 ហើយម៉ូដែលតូចដដែលនេះបានឆ្លើយយ៉ាងត្រឹមត្រូវថា៖ "Apple M4 ទំហំ 16 GB"។ ម៉ូដែលដដែល លើ Mac ដដែល គ្រាន់តែមានទិន្នន័យជាក់ស្តែងត្រឹមត្រូវនៅក្នុង Prompt ប៉ុណ្ណោះ។
5. បង្កើតម៉ូដែលផ្ទាល់ខ្លួនជាមួយ Modelfile
Modelfile មិនមែនជាការបង្វឹកម៉ូដែលថ្មីនោះទេ។ វាគ្រាន់តែជាការវេចខ្ចប់ម៉ូដែលគោល ជាមួយការកំណត់ និង System Prompt ផ្ទាល់ខ្លួនរបស់អ្នកប៉ុណ្ណោះ៖
FROM llama3.2:3b
PARAMETER temperature 0.4
PARAMETER num_ctx 8192
SYSTEM """
You are Rainy Tutor, a patient coding teacher for beginners.
Explain with one simple everyday analogy.
Answer in under 60 words.
"""ollama create rainy-tutor -f Modelfile
ollama run rainy-tutor "What is a variable?"បន្ថែមពិសេស៖ ការ Fine-tune ជាមួយ MLX រួចយកមកដំណើរការក្នុង Ollama
នៅក្នុងវីដេអូក៏មានបង្ហាញពីការ Fine-tune បែប LoRA ជាក់ស្តែងលើ Llama 3.2 1B ជាមួយ MLX របស់ Apple ផងដែរ៖ ប្រើទិន្នន័យគំរូ 120 ឧទាហរណ៍, រត់ 300 ជំហាន ក្នុងរយៈពេលប្រហែល 6 នាទី និងបានបង្វឹក 0.456% នៃប៉ារ៉ាម៉ែត្រសរុប។ Validation loss ទទួលបានលទ្ធផលល្អបំផុតនៅជំហាន 100 (1.382) ហើយចាប់ផ្តើមឡើងមកវិញបន្ទាប់ពីនោះ (1.811 នៅជំហាន 300) ដែលនេះជាសញ្ញាច្បាស់នៃការ Overfitting ដូច្នេះខ្ញុំក៏បានជ្រើសរើសយក Checkpoint នៃជំហាន 100 មកប្រើ។ បន្ទាប់ពីដំណើរការ mlx_lm.fuse រួច ពាក្យបញ្ជា ollama create បាន Import វាផ្ទាល់ចេញពី safetensors ក្នុងល្បឿន 36.7 tokens/s។ ចំណុចគួរប្រយ័ត្នមួយ៖ អ្នកត្រូវដាក់ TEMPLATE របស់ Llama 3 chat នៅក្នុង Modelfile បើពុំនោះទេ ចម្លើយដែលចេញមកនឹងខុសរញ៉េរញ៉ៃទាំងអស់។
តើ Mac ទំហំ 16 GB គ្រប់គ្រាន់ដែរឬទេ?
សម្រាប់ម៉ូដែលទំហំ 3B–4B គឺល្មមប្រើស្រួលតែម្តង៖ ល្បឿន 35–45 tokens/s គឺលឿនជាងល្បឿនដែលអ្នកអាចអានទាន់ទៅទៀត។ ម៉ូដែលតូចៗទាំងនេះ ពិតជាស័ក្តិសមខ្លាំងសម្រាប់កម្មវិធី Chat, ការហៅប្រើ Tool, ការធ្វើ RAG លើឯកសារផ្ទាល់ខ្លួន និងការតេស្តសាកល្បងបែបឯកជនភាព។ ប៉ុន្តែពួកវាមិនអាចជំនួសម៉ូដែល Cloud ធំៗលើកិច្ចការដែលត្រូវការការគិតស៊ីជម្រៅនោះឡើយ ហើយម៉ូដែល 1B ដែល Fine-tune រួច ក៏នៅតែអាចឆ្លើយខុសការពិតខ្លះដែរ។ ដូច្នេះអ្នកត្រូវដឹងថាគួរប្រើវាសម្រាប់កិច្ចការណាទើបសមរម្យ។
ប្រសិនបើអ្នកចង់មើលការអនុវត្តជាក់ស្តែងគ្រប់ជំហាននៅលើអេក្រង់ (តាំងពីការដំឡើង, ការដំណើរការស្គ្រីបនីមួយៗ រហូតដល់ការ Fine-tune) វីដេអូពេញមាននៅលើប៉ុស្តិ៍ YouTube របស់ខ្ញុំ, ចំណែក វីដេអូបន្តកម្រិតខ្ពស់ នឹងបង្ហាញពីវិធីជួសជុលបញ្ហាស្វែងរកក្នុង RAG និងការ Import ម៉ូដែល GGUF ហើយ កូដទាំងអស់មាននៅលើ GitHub។
ចុះអ្នកទាំងអស់គ្នាវិញ តើកំពុងដំណើរការម៉ូដែលអ្វីខ្លះនៅលើម៉ាស៊ីនផ្ទាល់? ខ្ញុំនឹងជ្រើសរើសម៉ូដែលបន្ទាប់មកធ្វើតេស្ត តាមរយៈមតិយោបល់របស់អ្នកទាំងអស់គ្នានៅខាងក្រោម។


