AnasayfayorumlarMicrosoft ve Nvidia, dünyanın en güçlü dil modelini yarattı

Microsoft ve Nvidia, dünyanın en güçlü dil modelini yarattı

Nvidia ve Microsoft Pazartesi günü, "adlı bir şey üzerinde birlikte çalıştıklarını açıkladılar.Megatron-Turing Doğal Dil Üretimi modeli». İki şirket, en büyük ve en yetenekli olanı yarattığını iddia ediyor "monolitik model transformatör bugüne kadar eğitilmiş dil'.

Microsoft

Ayrıca bkz: Microsoft güncellemeleri: Windows 10 KB5006670 ve KB5006667 ve Salı günü yayınlanan yeni Yama

Bunun ne kadar büyük olduğu hakkında bir fikir edinmek için ünlü GPT 3 son yıllarda bilinir hale gelen, şimdi 175 milyar parametreye sahip. Karşılaştırıldığında, yeni MT-NLG modeli 105 seviyeye yayılıyor ve en az 530 milyar parametreye sahip.

MT-NLG, modellerin halefidir NLG 17B'yi Turing και megatron-LM ve okuduğunu anlama, sağduyu, tamamlama tahmini, kelime açıklama ve tabii ki dilsel sonuçlar gibi çeşitli doğal dil görevlerinde "eşsiz doğruluk" gösterebildi.

Nvidia ve Microsoft tren bu devasa yapay zeka modeli bir arada süper bilgisayar adlı Selene. 560 sunucudan oluşan bir sistemdir. Nvidia DGX'i A100, her biri sekiz GPU A100 arabirimler aracılığıyla bağlanan 80 gigabayt VRAM ile donatılmış NVLink και NVS anahtarı. Microsoft, bu yapılandırmanın süper bilgisayarlarda kullanılan referans mimarisine benzer olduğunu not eder. bulut Azure NDv4.

İlginçtir ki, Selene de işlemciler tarafından desteklenmektedir. AMD EPYC 7742. Selene'nin inşaatı yaklaşık 85 milyon dolara mal oldu.

Ayrıca bakınız: AMD ve Nvidia ekran kartlarının fiyatları daha da arttı

Microsoft, MT-NLG'nin 15 milyardan fazla çip içeren 339 veri kümesinde eğitildiğini söylüyor. Setler, akademik dergiler gibi İngilizce dil kaynaklarından, Wikipedia ve Stack Exchange gibi çevrimiçi topluluklardan, aşağıdakiler gibi kod depolarından alındı. GitHub, haber siteleri ve daha fazlası. En büyük veri seti denir Yığın ve 835 gigabayt içerir.

Nvidia

Genel olarak proje, daha büyük AI modellerinin yeterince iyi çalışması için daha az eğitime ihtiyaç duyduğunu ortaya koydu. Bununla birlikte, çözülmemiş kalan sorun önyargı sorunudur. Gerçek dünyadan mümkün olduğunca fazla ve farklı veri kullanıldığında bile dev dil modellerinin eğitim sürecinde önyargıları, kalıp yargıları ve her türlü toksisiteyi artırdığı ortaya çıkıyor.

Yapay zeka modellerinin, kendilerine beslenen verilerdeki yanlılığı güçlendirme eğiliminde olduğu yıllardır biliniyor. Bunun nedeni, veri kümelerinin cinsiyetçi, ırksal ve dini önyargıların yaygın olduğu çeşitli çevrimiçi kaynaklardan toplanmış olmasıdır. Bunu çözmedeki en büyük zorluk, ne kadar kaynak kullanılırsa kullanılsın, çok çalışan ve hala devam eden önyargıyı ölçmektir.

Önceki bir Microsoft deneyi, adında bir Twitter sohbet robotuydu. Tay. Tay'ın insanların ona öğretebileceği en kötü özellikleri edinmesi sadece birkaç saat sürdü ve şirket, piyasaya sürüldükten 24 saatten kısa bir süre sonra onu hurdaya çıkarmak zorunda kaldı.

Ayrıca bkz: Microsoft, Windows Alt Sistemini (Linux) bir Windows 11 uygulamasına dönüştürüyor

Nvidia ve Microsoft, bu sorunu çözmeye kararlı olduklarını ve bu alandaki araştırmaları desteklemek için her türlü çabayı göstereceklerini belirttiler. Aynı zamanda, MT-NLG'yi kullanmak isteyen kuruluşların, kullanıcılara yönelik olası zararı azaltmak ve en aza indirmek için uygun önlemlerin alındığından emin olması gerektiği konusunda uyarıyorlar. Microsoft, herhangi bir yapay zeka kullanımının kılavuzda açıklanan güvenilirlik, güvenlik, gizlilik, şeffaflık ve hesap verebilirlik ilkelerine uyması gerektiğini kaydetti."Sorumlu AI".

Mia yokhttps://www.secnews.gr
Kendin olmak, seni sürekli değiştirmek isteyen bir dünyada, en büyük başarın.
spot_img

CANLI HABERLER