Evde Çalışacak Çok Kullanıcılı Yapay Zeka Kurulum Tavsiyesi

[mcanozen]

Nvidia alma şansım yok amd alacağım. Amd ile neleri yapmak mümkün ?

Fp8 int8 araştırın fp16 sizin yapacağınız iş hangisi uygunsa ona uygun kart belirleriz

 

[YEB]

Fp8 int8 araştırın fp16 sizin yapacağınız iş hangisi uygunsa ona uygun kart belirleriz

Yapay zekaya sordum durumu kısaca özetledim bu sıkıştırma olayından haberim yoktu güzel birşeymiş. Ai nin yanıtının fotoğrafını atayım.

 

[mcanozen]

Hayırlı olsun hangi kart alacaksın

 

[owenscottnscott]

30 bin dolarlık 4x A6000 bu ev işi için şart değil. 4-5 kişi sohbet, belge ve biraz kod istiyorsa tek kart yeter, ölçü VRAM. İkinci el 24 GB'lık bir 3090, 14B-32B bir modeli evde kaldırır. AMD ile de olur (llama.cpp), ama Open WebUI ve ajan araçlarının çoğu CUDA bekliyor, ilk kartı NVIDIA almak kurulumu kısaltır. Herkese ayrı sohbet için Open WebUI, kodu da makinenin içine değil bir konteynere verin. 2011 laptopu bu işe sokmayın, onu günlük makine olarak bırakın.