Create personal AI Agent - 3

What is Inference?

Machine Learning, Neural Network Deep Learning တို့ကို သိပြီးသွားရင် အဲလို Train လို့ ရလာတဲ့ LLM/SLM တွေရဲ့ နောက်တစ်ဆင့်က သုံးစွဲသူက မေးလာတဲ့ မေးခွန်းတွေကို တွက်ချက်ပြီး အဖြေထုတ်ပေးဖို့ပါပဲ။ အဲဒီ လုပ်ငန်းစဥ်ကို Inference လို့ ခေါ်ပါတယ်။

အသုံးပြုသူက မေးလာတဲ့ Prompt (မေးခွန်း) ကို လက်ခံပြီး Model ရဲ့ သင်ကြားထားတဲ့ Weight တွေကို အသုံးပြုတွက်ချက်ပြီး အဖြေထုတ်ပေးတဲ့ လုပ်ငန်းစဥ်ကို Inference လို့ ခေါ်တာပါ။ ဘယ်လို အဆင့်တွေ Inference လုပ်ငန်းစဥ်တွေထဲမှာ ပါလဲ ဆိုရင်၊ အကြမ်းဖျဥ်းအားဖြင့်

• Prompt ကို Tokenization လုပ်တယ်။
• Neural Network ထဲကို Forward Pass လုပ်တယ်။
• Next-token prediction တွက်ချက်တယ်။
• Token တွေကို Text ပြန်ပြောင်းတယ်။
• ပြီးရင် API ကနေတဆင့် Response ပြန်ထုတ်ပေးတယ်။

Inference လုပ်ငန်းစဥ်အတွက်လည်း တွက်ချက်ရေးယူနစ်တွေ အများကြီးလိုပြီး Microsoft, AWS, Google, OpenAI, Hugging Face တို့လို့ Company ကြီးတွေက Online Cloud Platform မှာ service တွေ ပေးသလို ကိုယ်ပိုင် Server နဲ့ Local On-premises မှာလည်း Inference Process တွေကို Deploy လုပ်လို့ ရပါတယ်။ Ollama, NVIDIA NIM, vLLM, LM Studio တို့ကလည်း လူသုံးများတဲ့ Inference S တနည်း Inference Engine တွေပါပဲ။

ဒီနေရာမှာ သိထားရမယ့် အချက်က Inference Engine တွေက ထုတ်ပေးတဲ့ format ပါ။ API format ပေါ့။ ကိုယ်ရဲ့ Agent က Prompt နဲ့ Parameters တွေကို ဘယ်လို JSON format နဲ့ ပေးရပြီး LLM ရဲ့ Result Output ကို ဘယ်လို JSON structure နဲ့ ပြန်ပေးမှာလဲဆိုတဲ့ format ပေါ့။ Standard စံစနစ်မဟုတ်ပေမယ့် Inference Output တွေမှာ အသုံးများဆုံး API Structure က တော့ OpenAI format ပါ။ သူက ရိုးရှင်းတာရယ်၊ Developer တွေရင်းနှီးပြီးသားဖြစ်တဲ့ JSON Format ဖြစ်တာရယ်၊ Chat-based Interaction အတွက် အဆင်ပြေတာ၊ Tool Calling, Function Calling အတွက်လည်း Support လုပ်ထားတာတွေကြောင့်ပါ။

Google, AWS (Bedrock), Anthropic တို့ကတော့ သူတို့ရဲ့ Custom API Schema တွေကို အသုံးပြုကြပြီး တချို့ Platform တွေမှာတော့ OpenAI-compatible Mode သို့မဟုတ် Converter Layer တွေကို အသုံးပြုလို့ ရပါတယ်။

AI Agent Developer တစ်ယောက်အနေနဲ့ သိထားရမှက LLM တွေကို Train ပြီးသွားရင် Weight တွေက Fix ဖြစ်သွားတယ်။ Training ပြီးသွားတဲ့ Model Weight တွေကို Inference အတွက် အသုံးပြုပါတယ်။ Weight တွေကို ပြန်လည်ပြောင်းလဲချင်ရင်တော့ Fine-tuning ဒါမှမဟုတ် Re-training လုပ်ရပါတယ်။

API ကနေ Trained Model ကို ခေါ်သုံးလို့ ရပြီး API Request ကနေလာတဲ့ Prompt တွေ ကို နောက်ကွယ်မှာ Neural Network က Processing လုပ်တယ်၊ ရလာတဲ့ Generated Result ကို API Response အနေနဲ့ ပြန်ပေးတယ် အဲဒီ Neural Network Processing ကြီးတစ်ခုလုံးကို Inference လို့ ခေါ်တယ်ဆိုတာပါပဲ။ Ollama, Hugging Face နဲ့ NVIDIA NIM တို့ဟာ လူသုံးများတဲ့ Inference Engine တွေပါ။

What is Ollama?

Ollama ကတော့ Local PC မှာ အလွယ်တကူ စမ်းဖို့ အကောင်းဆုံးလို့ ပြောလို့ ရပါတယ်။ Windows/Linux/Max different OS တွေမှာလည်း Support လုပ်ပါတယ်။ command prompt ကနေ Free Models တွေကို အလွယ်တကူ Download လုပ်ပြီး Offline စမ်းနိုင်ပါတယ်။ ဒါအပြင် OpenAI-Compatible ဖြစ်တဲ့ အတွက် API Server local မှာ ပါပြီးသားဖြစ်ပြီး Developer တွေက AI Agent တွေနဲ့ ချိတ်ဆက် အသုံးပြုနိုင်ပါတယ်။

What is Hugging Face?

Hugging Face ကလည်း Ollama လိုပဲ Local မှာ အလုပ်လုပ်လို့ ရသလို Cloude Platform မှာလည်း အလွယ်တကူ သုံးစွဲလို့ ရအောင် Host လုပ်ပေးထားတဲ့ စနစ်တစ်ခုပါ။ Hugging Face က AI သမားတွေရဲ့ GitHub လို့တောင် တင်စားခေါ်ဝေါရတဲ့ AI Models မျိုးစုံ၊ Open Dataset တွေနဲ့ AI related Open-Source တွေကို တစ်စုတစ်စီးထဲ စုပေးထားတဲ့ Platform ကြီးပါ။

What is NVIDIA NIM?

နာမည်ကျော် NIVIDIA ကုမ္ပဏီကြီးရဲ့ Inference ပါ။ NIM ရဲ့ အရှည်ကိုက NIVIDIA Inference Microservices လို့ အဓိပ္ပါယ်ရပါတယ်။ သူက Enterprise Company ကြီးတွေ မြန်နှုန်းမြင့် AI Agent တွေ ဆောက်ဖို့ သူတို့ရဲ့ NVIDIA GPU Chip တွေနဲ့ အဆင်သင့် သုံးစွဲနိုင်အောင် လုပ်ပေးထားတဲ့ စနစ်တစ်ခုပါ။

AI Agent Developer တစ်ယောက်အတွက် Inference Engine ရွေးချယ်မှုက အရေးကြီးပါတယ်။ Local Development နဲ Privacy ကို ဦးစားပေးရင် Ollama ကို ရွေးချယ်ပါ၊ Open-Source Model တွေကို စမ်းသပ်ချင်ရင် Hugging Face ကို သုံးပါ။ ဒါပေမယ့် Production သွားမယ် Enterprise Level Scale Workload တွေအတွက်စဥ်းစားရင်တော့ NVIDIA NIM ပါပဲ။ သူက အမြန်နှုန်း၊ Scalability နဲ GPU Optimization တွေအတွက် အားသာချက်ရှိပါတယ်။

နောက်ဆောင်းပါးမှာ Ollama ကို လက်တွေ့ လုပ်ကြည့်ပြီး Open WebUI နဲ့ စမ်းကြည့်ကြတာပေါ့။

လေးစားစွာဖြင့်
ဇင်မင်း