Titan V vs 1080 Ti - CNN-larda eng yaxshi ish stoli GPU-larining jangovor jangi. Titan V bunga arziydimi? 110 TFLOPS! miya yo'q, to'g'rimi?

NVIDIA-ning Titan V - bu eng yaxshi "ish stoli" GPU, Volta arxitekturasida qurilgan bo'lib, maxsus varaqda 110 ta "chuqur o'rganish" TFLOPS bilan maqtanadi. Bu aql bovar qilmaydigan raqam. Taqqoslang, "ish stoli" GPU uchun hozirgi shoh 1080 Ti bilan solishtirganda 11 GbDR5 xotira bilan 11 "oddiy" TFLOPSni 699 dollarlik stiker narxi juda arzon.

Titan V-ning va'dasi juda hayajonli bo'lsa-da, $ 2999 narx nuqtasini yutish biroz qiyin. Ammo 10x TFLOPS bilan Titan V-ni sotib olish kerakmi? Bu 10 1080 Ti olish kabi emasmi? Yoki siz xuddi shu pulga 4 1080 Ti sotib olganingiz yaxshiroqmi?

Boshqa tomondan, DGX Station hozirda 49900 dollarga sotilmoqda (odatda 69900 dollar). Bu Tesla V100 rusumli 4-darajali server darajasiga ega bo'lib, ular ish stoli Titan V-ga qaraganda ancha yaxshi xususiyatlarga ega (garchi minora BOSSga o'xshasa-da, men uni qo'llab-quvvatlash va SLA bilan ta'minlaydi.) Ammo ko'pchiligimiz (heck, Men ko'p universitetlar va AI tadqiqot laboratoriyalariga pul tikaman) atrofida pul sarflash uchun bunday pul yo'q. Agar qilgan bo'lsangiz ham, iqtisodiy jihatdan mantiqiy bo'lganiga ishonch hosil qiling. BTW, agar siz ma'lumotlar uzatish markazidan foydalanayotgan bo'lsangiz, NVIDIA yaqinda EULA-ni "ish stoli" sinfidagi GeForce va Titan GPU-larini ma'lumotlar markazlarida ishlatishni taqiqlash uchun yangilagan.

Shunday qilib savol tug'iladi, agar siz o'zingizning GPU qurilmangizni qurmoqchi bo'lsangiz, Titan V bunga loyiqmi?

Titan V va uning server darajasidagi katta akasi Tesla V100 mutlaqo yangi ekanligini aytish bilan boshlayman. V100 2017 yil may oyida chiqdi va Titan V faqat shu oyda chiqdi (2017 yil dekabr.) Ko'pgina chuqur o'rganish tizimlari barcha potentsial ko'rsatkichlardan foydalanish mumkinligiga ishonch hosil qilish uchun Volta-ni qo'llab-quvvatlashga shoshilishdi.

Masalan, PyTorch yaqinda CUDA 9 va Volta GPU-larni qo'llab-quvvatlaydigan 0.3.0 versiyasini chiqardi. Men ushbu sozlash bilan o'ynab keldim va PyTorch hamjamiyati menga yordam berishda juda yaxshi (ayniqsa, Sumit Chintala - rahmat do'stim!). Endi PyTorch-ni Titan V-da ishlata olaman, natijada ishlash farqlarini namoyish qilish uchun ba'zi bir taqqoslash kodini yozdim. Hozircha natijalar faqat PyTorch 0.3.0 natijalarini o'z ichiga oladi, ammo men boshqa ramkalar uchun ham natijalarni qo'shishni rejalashtirmoqdaman (EDIT: endi taqqoslash natijalari TensorFlow 1.4.0 va Caffe2 0.8.1 sonlarini ham o'z ichiga oladi - qarang) batafsil ma'lumot olish uchun havola), barchasi CUDA 9.0.176 va CuDNN 7.0.0.5-da, hatto o'yin maydonidan tashqarida.

Titan V va 1080 Ti ning ishlashini taqqoslash

Yuqoridagi natijalarni ko'rib chiqaylik.
Titan V va 1080 Ti bir xil sozlamalarda bir-birlariga taqqoslangan (bundan tashqari, ushbu kartalar ikkala kompyuterdagi 16x PCIE uyalariga joylashtirilgan.)

Yuqorida ko'rsatilgan vaqt raqamlari millisekundlarda o'lchanadigan CNN orqali oldinga va orqaga o'tish uchun ("poezd"). Bu o'rtacha harajatlar, bir necha isitish vaqtidan keyin 20 martadan oshib ketilgan. Men buni bir necha bor ishlatganman va bu raqamlar barqaror.

Qayd etish kerak bo'lgan qiziq narsalar:

  • Shubhasiz, Titan V 1080 Ti-dan tezroq. Ammo, agar siz 32 bitli ("bitta" aniqlikdagi) ishlarni taqqoslasangiz, Titan V 1080 Ti-ga nisbatan ~ 20% tezroq ishlaydi.
  • Titan V-ning 16-bitli ("yarim" aniqligi) 32 bitli hamkasblariga qaraganda tezroq ishlaydi. 1080 Ti yarim aniqlikda ishlashdan foyda ko'rdi, ammo Titan V bilan taqqoslaganda unumdorlik darajasi juda kam.

Ushbu raqamlar, aslida "OH MENING XUDONING TITAN V YO'Q YO'Q!"

NVIDIA 10x TFLOPS haqida yolg'on gapiradimi? Ishonchim komilki, ularning marketing bo'limi yaxshi halol odamlardir, lekin bu erda o'ynashda bir qancha omillar mavjud. Birinchidan, Volta-ning juda tezkor Tensor yadrolarini olish uchun dasturiy ta'minot tomonidan hali ham yaxshilanish uchun imkoniyat mavjud. Ammo, shunga qaramay, agar ko'p kodli yo'llar maksimal nazariy ishlashga imkon beradigan sharoitlarga mos kelmasa (NVIDIA tomonidan CUDA 9-da CUDA 9-da Tensor Corellarni dasturlashda bir necha QOIDALARga qarang), siz shunchaki qila olasiz. Volta GPU imkoniyatlaridan imkon qadar ko'proq foydalanish uchun / CUDA / CuDNN darajasida biz qancha yaxshilanishlarni ko'rishimiz mumkinligini vaqt ko'rsatadi, ammo men CNN-ning mashhur dasturlarida ko'rgan dastlabki raqamlar (men asosan kompyuter ko'rish ishlari bilan shug'ullanaman. CNN-da) Titan V-ni olishni oqlamaydi shekilli, ayniqsa dasturiy ta'minot o'ynab turgan paytda uni olish kerak.

Eng so'nggi texnologiyalar bilan o'ynash va erta qabul qiluvchi bo'lish qiziqarli bo'lsa-da, agar siz o'zingizning shaxsiy GPU qurilmangizda AI tadqiqotini olib borishga yoki mahsulotni qurishga e'tibor qaratmoqchi bo'lsangiz, men ushbu yozuvdan boshlab 1080 Ti-ni sotib olishni tavsiya qilaman (NVIDIA chiqmaguncha) yaqin kelajakda undan ham yaxshi alternativa mavjud; ular bizni yangi relizlar bilan hayratga solishga qodir.) Shuningdek, bitta Titan V 12GB xotiraga ega, 1080 Ti esa unchalik katta bo'lmagan 11GB ga ega. Ammo agar siz ulardan ikkitasini bir xil pulga sotib olsangiz (hech bo'lmaganda GPUlarda ... sizga qo'shimcha quvvat manbai, 4 GPU quvvatlaydigan anakart, ko'proq operativ xotira va boshqa sovutish tizimlari kerak bo'ladi), siz ko'proq GPU bilan yakunlanasiz. xotira (44GB va 12GB.) Agar bir nechta GPU olishni xohlasangiz, 2x 1080 Ti ni olishim kerak, deb o'ylayman. Shunday qilib, GPU-larni boshqasining ustiga o'rnatib qo'yish shart emas (sovutish uchun ko'proq havo oqimi - bu kartalar termal gaz kelganda ishlashni sezilarli darajada yo'qotishi mumkin ... siz suvni sovutishingiz mumkin, ammo bu xarajat, kuch va sarfni sezilarli darajada oshiradi. Bundan tashqari, faqat ikkita karta bilan GPU'lardan 250Wx2 quvvat olish imkoniyati mavjud, shuning uchun siz arzonroq elektr ta'minotidan qochishingiz mumkin. Qanday bo'lmasin, men tez iteratsiya qilishim uchun bir nechta GPU va ular bo'yicha tajribalarni o'tkazish juda qimmatli deb bilaman, shuning uchun men yaxshi murosaga kelishni tavsiya qilaman.
Havo bilan sovutilgan GPUlarning issiqlik bilan bog'liq muammolarini hal qilishning yana bir varianti, agar sizda 3-4tasi bo'lsa, salqin suvda turishni istamasangiz va estetik va shovqin haqida qayg'urmasangiz, ba'zi bir PCIE kengaytirgichlarini olish kerak. Ragers va bu g'alaba Kaggler nima qilgan bo'lsa:

Carvana Image Masking Challenge g'olib jamoasining a'zolaridan biri Vladimir Iglovikov tomonidan ishlab chiqarilgan 4x 1080 Ti mashinasi.

Umid qilamanki, siz ushbu xabarni foydali deb topasiz. Iltimos, Titan V yoki 1080 Ti-da ko'rmoqchi bo'lgan biron-bir aniq natijangiz bor-yo'qligini menga xabar bering. O'qiganingiz uchun tashakkur!