Kişisel Sohbet Botları ve Belgelerinizle Beslenme: Chat with RTX ile Üretim Seviyesinde Yapay Zeka’yı Keşfedin.
Sohbet robotları, NVIDIA GPU tabanlı bulut sunucuları tarafından desteklenerek her gün dünya çapında milyonlarca kişi tarafından kullanılıyor. Şimdi, bu çığır açan araçlar yerel, hızlı, özel üretken yapay zeka için NVIDIA RTX destekli Windows PC’lere geliyor.
Şu anda ücretsiz olarak indirilebilen RTX ile Sohbet, kullanıcıların en az 8 GB video rastgele erişim belleğine veya VRAM’e sahip yerel bir NVIDIA GeForce RTX 30 Serisi GPU veya üstü ile hızlandırılmış bir sohbet robotunu kendi içerikleriyle kişiselleştirmelerine olanak tanıyan bir teknoloji demosudur.
Nvidia RTX ekran kartlarına ulaşmak için tıklayınız!
RTX ile Sohbet, yerel, GeForce destekli Windows PC’lere üretken yapay zeka özellikleri kazandırmak için erişimle artırılmış üretim (RAG), NVIDIA TensorRT-LLM yazılımı ve NVIDIA RTX hızlandırması kullanır. Kullanıcılar, bilgisayardaki yerel dosyaları veri kümesi olarak Mistral veya Llama 2 gibi açık kaynaklı büyük bir dil modeline hızlı ve kolay bir şekilde bağlayarak hızlı ve bağlamla ilgili yanıtlar için sorgular oluşturabilir.
Notlar ya da kayıtlı içerikler arasında arama yapmak yerine, kullanıcılar sadece sorgu yazabilirler. Örneğin, “Las Vegas’tayken ortağımın tavsiye ettiği restoran hangisiydi?” diye sorulabilir ve RTX ile Sohbet, kullanıcının işaret ettiği yerel dosyaları tarayarak cevabı bağlamıyla birlikte sağlayacaktır.
Araç .txt, .pdf, .doc/.docx ve .xml gibi çeşitli dosya formatlarını destekler. Uygulamayı bu dosyaları içeren klasöre yönlendirdiğinizde araç bunları saniyeler içinde kütüphanesine yükleyecektir.
RTX ile Sohbet, Windows RTX PC’lerde ve iş istasyonlarında yerel olarak çalıştığından, sağlanan sonuçlar hızlıdır ve kullanıcının verileri cihazda kalır. RTX ile Sohbet, bulut tabanlı LLM hizmetlerine güvenmek yerine, kullanıcıların hassas verileri üçüncü bir tarafla paylaşmaya veya internet bağlantısına ihtiyaç duymadan yerel bir bilgisayarda işlemesine olanak tanır.
En az 8 GB VRAM’e sahip GeForce RTX 30 Serisi veya daha yüksek bir GPU’ya ek olarak RTX ile Sohbet için Windows 10 veya 11 ve en son NVIDIA GPU sürücüleri gerekir.
Editörün notu: RTX ile Sohbet’te kullanıcı farklı bir kurulum dizini seçtiğinde kurulumun başarısız olmasına neden olan bir sorun tespit ettik. Bu sorun gelecekteki bir sürümde düzeltilecektir. Şu an için kullanıcılar varsayılan kurulum dizinini kullanmalıdır (“C:\Users\\AppData\Local\NVIDIA\ChatWithRTX”).
RTX ile LLM Tabanlı Uygulamalar Geliştirin
RTX ile Sohbet, LLM’leri RTX GPU’larla hızlandırma potansiyelini gösteriyor. Uygulama, GitHub’da bulunan TensorRT-LLM RAG geliştirici referans projesinden oluşturulmuştur. Geliştiriciler, RTX için TensorRT-LLM ile hızlandırılmış kendi RAG tabanlı uygulamalarını geliştirmek ve dağıtmak için referans projeyi kullanabilir. LLM tabanlı uygulamalar oluşturma hakkında daha fazla bilgi edinin.
GeForce RTX 4090 GPU, NVIDIA GTC’ye tam, yüz yüze konferans bileti ve daha fazlası gibi ödüller kazanma şansı için 23 Şubat Cuma gününe kadar sürecek olan NVIDIA Generative AI on NVIDIA RTX geliştirici yarışmasına yapay zeka destekli bir Windows uygulaması veya eklentisi girin.
Kaynak: blogs.nvidia.com
