Ollama merupakan salah satu LLM tools yang paling banyak dipakai untuk mengumpulkan beberapa model Training AI ke dalam server fisik sehingga tidak membutuhkan koneksi internet untuk melakukan aktivitas AI Assistant atau AI Agent. Walaupun gitu, Spesifikasi hardware terhadap server tersebut lumayan tinggi agar bisa menjalankan program tersebut dengan lancar dan optimal beserta bisa memasukkan banyak parameter model AI sehingga dapat menghasilkan jawaban yang lebih akurat.
Sebelum memulai ikuti tutorial ini untuk memastikan kamu memakai SBC Orange Pi Zero 3 yang kapasitas RAM 4 GB, tidak rekomendasi pakai SBC Orange Pi Zero 3 yang kapasitas 2 GB kebawah karena RAM tersebut akan terpakai untuk menjalankan AI Agent dari Ollama melalui CLI itu dikalikan 2 dari jumlah parameter model yang ada.
Tutorial ini tidak disarankan untuk penggunaan AI Agent sebagai production karena rawan terjadi hang atau overheat terhadap SBC tersebut bahkan bisa merusak server itu sendiri karena melakukan ngepush untuk Usage CPU dalam SBC tersebut. Dengan adanya LLM Ollama ini, kamu tidak perlu koneksi internet untuk menjawab dari pesan prompt di AI Agent pada Ollama karena sudah dimasukkan data model AI Training ke dalam server.
LANGKAH-LANGKAH
1. Aktifkan web browser di PC atau laptop kamu.
2. Masukkan alamat IP Aapanel Admin ke kolom address bar, tekan Enter.
3. Masukkan username dan password dengan benar dan tepat.
4. Klik Login.
5. Klik Tab Docker.
6. Ketikkan “ollama” di kolom pencarian, tekan Enter.
7. Pilih Ollama biasa tanpa embel apapun di belakangnya dengan sesuai kebutuhan, Klik Install.
8. Untuk service port itu kode port default dari Ollama itu 11434, maka dibiarkan saja atau ganti port container dengan sesuai kebutuhan.
9. Klik Confirm.
9. Sedang proses instalasi Ollama Docker memakan waktu sekitar 15 – 45 menit, tergantung kecepatan internet.
10. Untuk mengetahui log aktivitas dari ollama, maka bisa klik ikon kertas yang tertera.
11. Berikut hasil dari log aktivitas di dalam Ollama Docker.
12. Berikut hasil proses instalasi Ollama Docker dengan sukses.
13. Klik Tab Terminal.
Tunggu beberapa saat sampai muncul tampilan Terminal dari Aapanel.
14. Kode perintah di bawah untuk mengetahui list container yang ada di dalam docker.
docker ps15. Tekan Enter.
Apabila tidak muncul nama container Ollama tadi, maka kamu harus melakukan install ulang yang ada kemungkinan ada error pada saat proses instalasi container tersebut.
16. Kode perintah di bawah untuk memasuki ke dalam container Ollama dari docker.
docker exec -it ollama_grbr-ollama_GrBr-1 bashollama_grbr-ollama_GrBr-1 = nama containter Ollama yang ada di dalam docker pada server kamu.
17. Tekan Enter.
18. Buka halaman tab baru
19. Kunjungi situs Ollama Models.
20. Carilah nama models yang ramah untuk spesifikasi SBC Orange Pi Zero 3, ketikkan aja nama model qwen2.5, tekan Enter.
21. Klik nama model qwen2.5.
22. Pilihlah jumlah parameter dari models tersebut dengan sesuai spesifikasi RAM dari Orange Pi Zero 3 yang kamu pakai.
23. Klik ikon Copy.
24. Kode perintah di bawah untuk melakukan unduhan model training qwen2.5:0.8b ke dalam Ollama container.
ollama pull qwen2.5:0.8b25. Tekan Enter.
Hal ini membutuhkan waktu antara 2 – 15 menit (tergantung kecepatan internet).
26. Kode perintah di bawah untuk menjalankan model training qwen2.5:0.8b di dalam Ollama container.
ollama run qwen2.5:0.8b27. Tekan Enter.
Tunggu beberapa saat sampai muncul prompt di dalam terminal.
28. Masukkan kalimat atau pesan prompt yang ingin mendapatkan jawaban dari qwen tadi, tekan Enter.
Tunggu beberapa saat sampai selesai dalam proses menampilkan jawaban prompt dari pertanyaan tadi.
Selesai.
CATATAN
Pada saat proses untuk mendapatkan informasi atau jawaban dari pesan prompt melalui Ollama sebagai LLM dan Qwen2.5 sebagai data model training AI pasti memakai CPU sampai 100%. Proses tersebut bisa terlihat pada gambar di bawah ini.
Untuk mengeluarkan dari Ollama run tadi, maka bisa ketik /bye atau CTRL + D (via keyboard). Setelah keluar dari Ollama run tadi, posisi RAM dan CPU akan kembali ke semula yang sesuai dengan layanan tools atau aplikasi lain yang sedang berjalan di sistem background.
PENUTUP
Kamu bisa belajar atau eksperimen dalam membangun suatu LLM dengan bantuan Ollama sebagai LLM Tools utama dan Docker yang digunakan agar terpisah atau terisolir dari beberapa tools atau aplikasi yang berkaitan dengan secara langsung di dalam SBC Orange Pi Zero 3. Setelah dibangun, kamu bisa mencari jawaban melalui AI Agent tanpa koneksi internet sama sekali.
Misalkan, jika Ollama Container di dalam Docker itu bermasalah atau error, tidak memengaruhi tools atau aplikasi lain yang berjalan secara monolitik langsung di dalam server lokal.
