Yerel yapay zekâ için iş istasyonu planlarken en kritik değer ekran kartının belleğidir (VRAM): model ve bağlam bu belleğe sığdığında hızlı, sığmadığında çok yavaş çalışır. Bu rehber; VRAM, sistem belleği ve depolama ihtiyacını model büyüklüğüne göre hesaplamayı üretici ve proje belgeleriyle gösterir.
- 9 dk okuma
- Yayın:
- Üçgen Market Teknik Ekibi
Kısa yanıt
Yerel yapay zekâ için nasıl bir iş istasyonu gerekir?
Önce kullanacağınız modelin boyutunu belirleyin. FP16 hassasiyette her milyar parametre yaklaşık 2 GB, 8 bit'te yaklaşık 1 GB, 4 bit'te yaklaşık 0,5 GB yer kaplar;[1][2] bağlam için modelin üzerine yaklaşık %15 pay bırakılmalıdır.[2] Sistem belleği en az ekran belleği kadar, tercihen 1,5–2 katı olmalı; model dosyaları için NVMe SSD kullanılmalıdır.[2]
- VRAMModelin sığdığı bellek
- ~2 GB / milyarFP16 ağırlıklar
- 1,5–2 × VRAMSistem RAM'i
- NVMeModel dosyaları
VRAM ihtiyacı nasıl hesaplanır?
Hugging Face'e göre X milyar parametreli bir modelin ağırlıkları BF16 veya FP16 hassasiyette yaklaşık 2·X GB bellek ister.[1] Nicemleme (quantization) bu ihtiyacı yarıya veya dörtte bire indirir.
Model belleği = parametre sayısı × parametre başına bayt; buna bağlam (KV önbellek) için ek pay eklenir.
| Model | 4 bit dosya boyutu | Önerilen VRAM sınıfı |
|---|---|---|
| Llama 3.1 8B | 4,9 GB (FP16: 16 GB) | 8–12 GB; FP16 için 24 GB |
| Qwen3 14B | 9,3 GB | 12–16 GB |
| gpt-oss 20B | 14 GB | 16–24 GB |
| Gemma 3 27B | 17 GB | 24 GB |
| Qwen3 32B | 20 GB | 24–32 GB |
| Llama 3.1 70B | 43 GB | 48 GB |
| gpt-oss 120B | 65 GB | 80–96 GB |
NicemlemeQuantization. Model ağırlıklarını daha az bitle (ör. 8 veya 4 bit) saklayarak bellek ihtiyacını azaltma yöntemi; doğrulukta bir miktar kayıp olabilir. KV önbellekKey-value cache; modelin bağlamdaki metni hatırlamak için tuttuğu bellek. Bağlam uzadıkça doğrusal olarak büyür.
Model VRAM'e sığmazsa ne olur?
Ollama, modelin bir kısmını sistem belleğine taşıyabilir; "ollama ps" komutu modelin ne kadarının GPU'da, ne kadarının işlemcide çalıştığını gösterir.[6]
Hız farkı
Puget Systems'e göre yalnızca işlemciyle çalıştırmak iyi bir ekran kartına göre 10 ila 100 kat yavaştır; modelin ne kadarı sistem belleğine taşınırsa o kadar yavaşlar.[2]
- Puget'in 12 GB ekran belleğine sahip bir kartla yaptığı testte, tamamen VRAM'e sığan 12B model saniyede 46,45 token üretti; bir kısmı sistem belleğine taşan 27B model ise saniyede 1,57 token üretti.[7]
- Bu nedenle model seçimi ile ekran kartı seçimi birlikte yapılmalıdır.
Bağlam uzunluğu
Ollama'da varsayılan bağlam penceresi 4096 token'dır; bağlam ve eşzamanlı istek sayısı arttıkça bellek ihtiyacı da artar.[6]
- KV önbellek 8 bit'e indirildiğinde FP16'ya göre yaklaşık yarı, 4 bit'te yaklaşık dörtte bir bellek kullanır.[6]
- Uzun belgelerle çalışacaksanız bağlam için ek ekran belleği planlayın.
Sistem belleği ve depolama
Ekran kartı modeli çalıştırır; sistem belleği ve disk ise modelin yüklenmesini ve taşma durumunu belirler.
| Bileşen | Öneri | Neden? |
|---|---|---|
| Sistem belleği | En az VRAM kadar, tercihen 1,5–2 katı | Puget Systems'in iş istasyonu önerisidir; sunucularda toplam VRAM'in en az 2 katı önerilir.[2][8] |
| Depolama | NVMe SSD, birkaç TB | Model dosyaları yüzlerce GB'a ulaşabilir; Llama 3.1 405B 243 GB'tır.[3] NVMe, modelin yüklenme süresini kısaltır.[2] |
| İşlemci | Güncel çok çekirdekli işlemci | Puget, sunucularda ekran kartı başına 2–4 işlemci çekirdeğini yeterli görür.[8] |
Veri gizliliği: Yerel çalışan modellerde istemler ve belgeler kurumun kendi donanımında işlenir, üçüncü taraf bir hizmete gönderilmez. Bu, hassas proje ve müşteri verisiyle çalışan ekipler için yerel yapay zekânın başlıca nedenlerinden biridir.
İnce ayar ve görsel üretimi
Modeli çalıştırmak (çıkarım) ile modeli eğitmek veya ince ayar yapmak çok farklı bellek ister.
Tam eğitim
Karma hassasiyetli tam eğitimde parametre başına yaklaşık 18 bayt gerekir; aktivasyonlar buna dahil değildir.[9]
- 18 bayt / parametre
QLoRA ile ince ayar
QLoRA yöntemi, 65 milyar parametreli bir modelin tek bir 48 GB ekran kartında ince ayarına imkân verecek kadar bellek ihtiyacını azaltır.[10]
- 4 bit
- 48 GB
Görsel üretimi
NVIDIA'ya göre Stable Diffusion 3.5 Large 18 GB'ın üzerinde VRAM kullanır; FP8 sürümüyle ihtiyaç 11 GB'a iner.[11]
- 18 GB+
- FP8
Düşük hassasiyet
NVIDIA, FLUX.1 Kontext'te BF16'dan FP8'e geçişin yaklaşık 2 kat, FP4'e geçişin yaklaşık 3 kat bellek tasarrufu sağladığını belirtir.[12]
- FP8
- FP4
Ekran kartı seçenekleri
Yerel yapay zekâda kart seçimini ekran belleği, güç tüketimi ve sürekli çalışma koşulları belirler.
| Kart | Ekran belleği | Güç | Not |
|---|---|---|---|
| RTX PRO 4000 Blackwell | 24 GB GDDR7, ECC | 145 W | Tek yuva; 8–27B modeller |
| GeForce RTX 5090 | 32 GB GDDR7 | 575 W | Yüksek hız; ECC belirtilmez |
| RTX PRO 5000 Blackwell | 48 veya 72 GB GDDR7, ECC | 300 W | 70B sınıfı 4 bit modeller |
| RTX PRO 6000 Blackwell | 96 GB GDDR7, ECC | 600 W | En büyük modeller ve ince ayar |
NVIDIA AI Workbench, yerel ve uzak ortamlarda aynı arayüzle yapay zekâ projeleri yürütmeyi sağlayan ücretsiz bir platformdur.[15] Ekran kartı farkları için RTX PRO ile GeForce yazımıza bakabilirsiniz.
Model büyüklüğüne göre üç yapılandırma
Sitedeki gerçek yapılandırmalardan üç farklı model sınıfı için örnek.
8–27B modeller
Belge özetleme, kod yardımcısı, ekip içi sohbet.
İşlemciCore Ultra 9 285K
RAM64 GB DDR5
Ekran kartıRTX PRO 4000, 24 GB ECC
Depolama1 TB NVMe SSD
20–32B modeller ve görsel
Daha büyük modeller ve görsel üretimi.
İşlemciCore Ultra 9 285K
RAM64 GB DDR5
Ekran kartıGeForce RTX 5090, 32 GB
Depolama1 TB NVMe SSD
70B sınıfı modeller
4 bit 70B modeller, ince ayar denemeleri.
İşlemci2 × Xeon Gold 5520+
RAM128 GB DDR5 ECC
Ekran kartıRTX PRO 5000, 48 GB ECC
Genişleme16 bellek yuvası
Özellikler ürün sayfalarından alınmıştır; güncel fiyat ve stok bilgisi ürün sayfasındadır. Depolama ihtiyacı büyükse ek NVMe SSD teklif isteğinde belirtilebilir. 96 GB'lık RTX PRO 6000 gibi kartlarla yapılandırmalar için teklif isteyebilirsiniz.
Teknik dokümanları üzerinde soru-cevap yapmak isteyen bir mühendislik ofisi; 32 milyar parametreli bir modeli 4 bit olarak çalıştırmayı planlıyor.
ModelQwen3 32B, 4 bit
Dosya boyutu20 GB
Bağlam payıyaklaşık %15
KullanıcıBirkaç kişi, sırayla
Sık sorulan sorular
Yerel yapay zekâ donanımıyla ilgili en çok sorulanlar.
Yerel yapay zekâ için kaç GB VRAM gerekir?
Modele bağlıdır. 8 milyar parametreli bir model 4 bit olarak yaklaşık 5 GB, 70 milyar parametreli bir model yaklaşık 43 GB yer kaplar. Bağlam için ek pay bırakıldığında 8–14B modeller için 12–16 GB, 27–32B modeller için 24–32 GB, 70B modeller için 48 GB ekran belleği önerilir.
Model VRAM'e sığmazsa çalışır mı?
Ollama gibi araçlar modelin bir kısmını sistem belleğine taşıyarak çalıştırabilir; ancak hız belirgin biçimde düşer. Puget Systems'in testinde VRAM'e sığmayan model, sığan modele göre yaklaşık 30 kat daha yavaş çalıştı.
Sistem belleği ne kadar olmalı?
Puget Systems iş istasyonları için en az ekran belleği kadar, tercihen 1,5–2 katı sistem belleği önerir. 32 GB ekran belleği için 64 GB, 48 GB ekran belleği için 96–128 GB uygun bir başlangıçtır.
GeForce mi, RTX PRO mu?
GeForce RTX 5090 32 GB bellek ve yüksek hız sunar. RTX PRO kartlar 48 ve 96 GB gibi daha yüksek bellek seçenekleri, ECC'li bellek, daha düşük güç tüketimi ve iş istasyonu kasalarına uygun soğutma sunar. Büyük modeller ve sürekli çalışma için RTX PRO öne çıkar.
İnce ayar için ne kadar bellek gerekir?
Tam eğitim parametre başına yaklaşık 18 bayt gerektirdiği için çok büyük bellek ister. QLoRA gibi yöntemler bu ihtiyacı büyük ölçüde azaltır; QLoRA makalesine göre 65 milyar parametreli bir modelin ince ayarı tek bir 48 GB ekran kartında yapılabilir.
Model dosyaları için ne kadar disk gerekir?
Birkaç modelle çalışacaksanız 1–2 TB NVMe SSD başlangıç için yeterlidir. Büyük modeller tek başına yüzlerce GB tutabilir; örneğin Llama 3.1 405B 243 GB'tır. Birden fazla büyük model planlanıyorsa ek SSD önerilir.
İlgili yazılar
Konuyu tamamlayan içerikler.
Kaynaklar
Yazıdaki bilgiler aşağıdaki proje ve üretici belgelerine dayanır.
- Optimizing LLMs for speed and memoryHugging Face
- Tech Primer: What hardware do you need to run a local LLM?Puget Systems
- llama3.1Ollama kütüphanesi
- gpt-ossOllama kütüphanesi
- qwen3Ollama kütüphanesi
- Ollama FAQOllama
- Sizing VRAM to generative AI and LLM workloadsPuget Systems
- Enterprise AI hardware recommendationsPuget Systems
- Model training anatomyHugging Face
- QLoRA: Efficient Finetuning of Quantized LLMsarXiv
- RTX AI Garage: TensorRT for RTXNVIDIA blog
- Optimizing FLUX.1 Kontext with low-precision quantizationNVIDIA Developer
- NVIDIA RTX PRO professional desktop GPUsNVIDIA
- GeForce RTX 5090NVIDIA
- NVIDIA AI WorkbenchNVIDIA
Bu yazıdaki terimler
Yerel yapay zekâYapay zekâ modellerinin bulut hizmeti yerine kurumun kendi bilgisayarında çalıştırılması.
ParametreModelin öğrendiği sayısal değerler; model büyüklüğü milyar parametre (B) ile ifade edilir.
Çıkarımİngilizcesi inference. Eğitilmiş modelin soru yanıtlama veya görsel üretme gibi işler için çalıştırılması.
TokenModelin metni işlerken kullandığı küçük metin parçası; hız saniyedeki token sayısıyla ölçülür.
FP16 / FP8 / FP4Sayıların 16, 8 veya 4 bitle saklandığı hassasiyet biçimleri; bit azaldıkça bellek ihtiyacı düşer.
OllamaAçık modelleri yerel bilgisayarda indirip çalıştırmayı sağlayan yazılım.
Dell, HP ve Lenovo iş istasyonları, profesyonel ekran kartları ve 3Dconnexion ürünlerinde yapılandırma ve teklif desteği veren ekip. Hakkımızda
Teknik bilgiler tarihinde kaynaklarla karşılaştırıldı.