Hai, Sob! Ollama adalah tool canggih yang memungkinkan kamu menjalankan Large Language Model (LLM) secara lokal. Tool ini memudahkan kamu, sebagai developer, data scientist, atau pengguna teknis, untuk menyesuaikan LLM sesuai kebutuhan spesifikmu.
Meski Ollama bisa digunakan lewat GUI pihak ketiga seperti Open WebUI, kamu juga bisa menjalankannya melalui CLI (Command-Line Interface). Dengan cara ini, kamu bisa mendokumentasikan respons ke file, sekaligus mengotomatiskan alur kerja menggunakan skrip.
Di artikel kali ini, kamu akan belajar cara menggunakan Ollama lewat CLI, mulai dari perintah dasar, berinteraksi dengan LLM, hingga mengotomatiskan tugas dan menjalankan modelmu sendiri. Yuk, simak panduannya di bawah ini!
Prasyarat
Pastikan server kamu memiliki kapasitas memori yang cukup untuk menginstal model yang diinginkan. Pada artikel ini minimal kebutuhan sistem yang diperlukan yaitu:
- RAM paling minimal 4 GB (untuk model ringan ), disarankan 8GB ke atas untuk penggunaan model besar
- CPU 4 cores atau lebih
Sekarang mari memulai langkah-langkah untuk menjalankan Ollama melalui terminal.
Cara Setting Ollama di CLI
Pastikan kamu sudah menginstal Ollama di VPS, jika belum ikuti caranya di artikel Cara Install Ollama di VPS
Selanjutnya, pelajari beberapa perintah penting Ollama di bawah ini:
Penggunaan Dasar Ollama
Pada bagian ini akan menjelaskan penggunaan Ollama di CLI, mencakup proses interaksi dengan model hingga menyimpan output ke dalam file.
Menjalankan LLM
LLM di Ollama memerlukan model agar bisa digunakan. Sebagai contoh, artikel ini akan mengunduh model Llama 3.2 dengan perintah pull.
ollama pull llama3.2
Tunggu proses unduhnya sampai selesai. Lama prosesnya tergantung pada ukuran file mode yang diunduh.
Tips: Apabila memerlukan model lain untuk didownload, kunjungi library model resmi Ollama yang menyediakan infromasi penting untuk setiap model, termasuk opsi penyesuaian, dukungan bahasa, dan skenario penggunaan yang direkomendasikan.
Setelah model berhasil didownload, kamu bisa langsung menjalankannya dengan prompt spesifik, misalnya seperti berikut.
ollama run llama3.2 "Explain the basics of machine learning."
Untuk memulai sesi interaktif model tanpa perintah, jalankan:
ollama run llama3.2
Dalam mode ini, kamu bisa berinteraksi dengan memberikan pertanyaan atau instruksi kepada LLM. Setelah mendapatkan respon dari model, kamu juga bisa bertanya lebih lanjut atau lebih detail. Seperti pada prompt berikut:
Can you elaborate on how machine learning is used in the healthcare sector?
Ketik perintah di bawah ini jika ingin mengakhiri sesi.
/bye
Melatih LLM
Model open-source seperti Llama 3.2 sebenarnya udah cukup oke buat ngerjain tugas-tugas umum, misalnya bikin konten, nulis artikel, atau bantu brainstorming ide. Tapi kalau kamu punya kebutuhan yang lebih spesifik, model ini mungkin belum maksimal. Supaya hasilnya lebih akurat, kamu bisa latih ulang modelnya pakai data yang lebih relevan dengan topik yang kamu butuhkan.
Nah, satu hal penting yang perlu kamu tahu kalau Large Language Model (LLM) kayak gini punya keterbatasan dalam hal ingatan jangka pendek. Artinya, data yang kamu pakai buat melatih model cuma “nempel” selama sesi percakapan berlangsung. Begitu sesi ditutup dan kamu mulai sesi baru, modelnya nggak akan ingat data pelatihan sebelumnya. Jadi, kalau kamu mau hasil yang konsisten, kamu perlu kasih ulang data relevan di sesi berikutnya.
Untuk melatih model ini, mulai sesi interaktif dulu lalu ketikkan perintah di bawah ini.
Hey, I want you to learn about [topic]. Can I train you on this?
Setelah mendapatkan respon, berikan informasi dasar tentang topik kamu agar model dapat mempelajari dan memahaminya.
Dan agar wawasan modelnya luas, tambah pelatihannya dengan meminta model untuk mengajukan pertanyaan tentang topik kamu, misalnya:
Can you ask me a few questions about [topic] to help you understand it better?
Setelah model memperoleh cukup informasi tentang topik yang diinginkan, akhiri pelatihan dan coba tes model dengan mengajukan pertanyaan spesifik serta cobalah berdiskusi untuk memastikan model bisa mengingat dan menerapkan pengetahuan yang sudah dipelajari.
Penggunaan Tingkat Lanjut Ollama di CLI
Di bawah ini akan membahas penggunaan Ollama tingkat lanjut di CLI.
Membuat Model Khusus
Dengan menggunakan Ollama melalui antarmuka CLI, kamu bisa membangun model yang disesuaikan dengan kebutuhan spesifik kamu. Di bawah ini langkah-langkah untuk membuat model kustom di Ollama.
1. Buat Modelfile baru
Gunakan perintah nano untuk membuat Modelfile baru, misalnya file akan diberi nama custom-modelfile.
nano custom-modelfile
Lalu, salin dan tempel template Modelfile dasar berikut.
# Use Llama 3.2 as the base model
FROM llama3.2
# Adjust model parameters
PARAMETER temperature 0.7
PARAMETER num_ctx 3072
PARAMETER stop "assistant:"
# Define model behavior
SYSTEM "You are an expert in cyber security."
# Customize the conversation template
TEMPLATE """{{ if .System }}Advisor: {{ .System }}{{ end }}
Client: {{ .Prompt }}
Advisor: {{ .Response }}"""
2. Menyesuaikan file model
Kamu perlu menyesuaikan beberapa bagian penting pada Modelfile-nya, antara lain:
- Model dasar (FROM) -> Langkah awal dalam membuat instance kustom adalah memilih model dasar yang akan digunakan, misalnya Llama 3.2.
FROM llama3.2
- Parameter (PARAMETER) -> Mengatur perilaku model, seperti:
- Temperature: mengatur tingkat kreativitas model. Semakin tinggi nilainya (contohnya 1.0), model akan menghasilkan respons yang lebih imajinatif. Sebaliknya, nilai yang lebih rendah (seperti 0.5) membuat model lebih fokus dan terarah.
PARAMETER temperature 0.9
- Contex window (num_ctx) -> Menentukan seberapa banyak teks sebelumnya yang akan dijadikan konteks oleh model saat merespons.
PARAMETER num_ctx 4096
- System message (SYSTEM) -> Mengatur perilaku model sesuai kebutuhan. Misalnya, Anda bisa menginstruksikannya untuk berperan sebagai tokoh tertentu, atau membatasi respons agar tidak menjawab pertanyaan yang tidak relevan.
SYSTEM “You are an expert in cyber security. Only answer questions related to cyber security. If asked anything unrelated, respond with: ‘I only answer questions related to cyber security.’"
- Template (TEMPLATE) -> Menyesuaikan struktur interaksi antara pengguna dengan model, misalnya:
TEMPLATE """{{ if .System }}<|start|>system
{{ .System }}<|end|>{{ end }}
<|start|>user
{{ .Prompt }}<|end|>
<|start|>assistant
"""
Setelah selesai melakukan penyesuaian, simpan file dan keluar dari editor nano dengan Ctrl+X, Y lalu Enter.
3. Buat dan jalankan model khusus
Jika Modelfile sudah siap, jalankan perintah di bawah ini untuk membuat model berdasarkan Modelfile tersebut.
ollama create custom-model-name -f ./custom-modelfile
Jika tidak ada error, jalankan model seperti biasa menggunakan perintah:
ollama run custom-model-name
Sekarang kamu dapat memulai berinteraksi dengan model yang sudah dikonfigurasi sesuai preferensi kamu, sehingga dapat langsung mulai berinteraksi dan menguji hasil penyesuaiannya.
Modelfile yang telah dibuat dapat terus disempurnakan dengan menyesuaikan berbagai elemen, mulai dari pengaturan parameter, modifikasi pesan sistem, penambahan template interaksi yang lebih kompleks, hingga menyisipkan data milik kamu sendiri. Setelah melakukan perubahan, simpan file tersebut dan jalankan kembali model untuk melihat bagaimana penyesuaian tersebut memengaruhi respons yang dihasilkan.
Mengotomatiskan Tugas dengan Skrip
Mengotomatiskan tugas-tugas berulang di Ollama dapat membantu kamu menghemat waktu sekaligus menjaga konsistensi dalam alur kerja. Untuk melakukannya, kamu bisa memanfaatkan bash script untuk menjalankan perintah secara otomatis, atau menggunakan cron job agar tugas dijalankan sesuai jadwal tertentu. Berikut langkah-langkahnya:
Membuat dan menjalankan bash script
- Buka text editor dan buat file baru bernama ollama-script.sh
nano ollama-script.sh
- Tambahkan perintah yang ingin dijalankan. Contoh: menjalankan model dan menyimpan output ke file:
#!/bin/bash
# Run the model and save the output to a file
ollama run llama3.2 "What are the latest trends in AI?" > ai-output.txt
- Berikan izin eksekusi pada file skrip:
chmod +x ollama-script.sh
- Jalankan skrip langsung dari terminal:
./ollama-script.sh
Menjadwalkan tugas dengan cron job
Untuk menjalankan skrip secara otomatis pada waktu tertentu, Anda bisa mengatur cron job:
- Buka editor crontab:
crontab -e
- Tambahkan baris jadwal dan path ke skrip. Contoh: menjalankan skrip setiap hari Minggu pukul 00:00:
0 0 * * 0 /path/to/ollama-script.sh
- Simpan dan keluar dari editor setelah menambahkan jadwal.
Contoh Penggunaan Umum Untuk CLI
Berikut adalah beberapa contoh penerapan Ollama melalui CLI yang dapat digunakan dalam berbagai skenario.
Pembuatan teks
Dengan memanfaatkan model yang telah dilatih sebelumnya, kamu dapat menghasilkan ringkasan, membuat konten, atau memberikan jawaban atas pertanyaan tertentu.
- Meringkas file teks berukuran besar
ollama run llama3.2 "Summarize the following text:" < long-document.txt
- Membuat konten seperti artikel blog atau deskripsi produk
ollama run llama3.2 "Write a short article on the benefits of using AI in healthcare."> article.txt
- Menjawab pertanyaan spesifik untuk mendukung proses riset
ollama run llama3.2 "What are the latest trends in AI, and how will they affect healthcare?"
Pemrosesan, analisis, dan prediksi data
Ollama juga dapat digunakan untuk berbagai tugas analisis data, seperti klasifikasi teks, penilaian sentimen, dan prediksi berbasis input.
- Menganalisi sentimen dari ulasan pengguna
ollama run llama3.2 "Analyze the sentiment of this customer review: 'The product is fantastic, but delivery was slow.'"
- Mengklasifikasikan teks ke dalam kategori tertentu
ollama run llama3.2 "Classify this text into the following categories: News, Opinion, or Review." < textfile.txt
- Melakukan prediksi berdasarkan data yang tersedia
ollama run llama3.2 "Predict the stock price trend for the next month based on the following data:" < stock-data.txt
Integrasi dengan tool eksternal
Kemampuan Ollama CLI juga dapat diperluas dengan menghubungkannya ke alat eksternal, sehingga Anda bisa mengotomatisasi proses dan memperkuat fungsionalitas sistem lain.
- Menghubungkan Ollama dengan API eksternal untuk mengambil dan menganalisis data
curl -X GET "https://api.example.com/data" | ollama run llama3.2 "Analyze the following API data and summarize key insights."
- Menjalankan Ollama sebagai subproses dalam kode Python
import subprocess
result = subprocess.run(['ollama', 'run', 'llama3.2', 'Give me the latest stock market trends'], capture_output=True)
print(result.stdout.decode())
Contoh-contoh di atas menunjukkan fleksibilitas Ollama CLI dalam berbagai konteks. Mulai dari pembuatan konten hingga analisis data dan integrasi sistem. Cocok untuk developer, peneliti, maupun pengguna teknis yang ingin memaksimalkan potensi LLM secara lokal.
Simak terus tips-tips dari Jagoan Hosting di laman Pusat Tutorial Hosting dan Domain Jagoan Hosting Indonesia. Jika ada bagian dari tutorial yang tidak ditemukan, kamu bisa menghubungi teman-teman di Jagoan Hosting supaya bisa dibantu lebih lanjut melalui Live Chat atau fitur Open Tiket ya!