[собираю кластерок] Как можно больше GPU в ед. стоимости
ИМХО, смотри в сторону форумов биткоин-майнеров
скорее всего они успели собрать достаточно интересной информации по этому поводу до пришествия специализированных майнеров
скорее всего они успели собрать достаточно интересной информации по этому поводу до пришествия специализированных майнеров
майнеры давно забили на GPU и используют спец карточки
часть проблем с тех пор не изменилась: охлаждение, питание, стабильность
уточни еще, в чем выражается вычислительная мощность?
ставь gtx titan'ы, чо 
Биткоины майнили на видюхах АМД - получалось существенно выгоднее, чем на NVIDIA. При чём что в цене за саму видюху, что в потребляемом электичестве.
С 8xPCI-E слотами есть ещё вот такая: http://ru.msi.com/product/mb/Big-Bang-Marshal--B3-.html
Но у неё распределение линий не очень: 8 (16), 1, 8, 1, 8 (16), 1, 8, 1.
С 8xPCI-E слотами есть ещё вот такая: http://ru.msi.com/product/mb/Big-Bang-Marshal--B3-.html
Но у неё распределение линий не очень: 8 (16), 1, 8, 1, 8 (16), 1, 8, 1.
ну тут же для куда расчетов походу, так что амд не совсем при делах
Телепаты атакуют!
Слово CUDA в треде никто до тебя даже не произносил.
Слово CUDA в треде никто до тебя даже не произносил.
ставь gtx titan'ы, чоПо всей видимости GTX780Ti будет побыстрее. Так же GTX690 быстрее титана.
ну да, телепаты атакуют кудой, ведь автор в первом сообщении указал:
"Видеокарты: GeForce-ы"
да и в основном расчеты как-то под куду идут, под opencl пока еще не торт.
"Видеокарты: GeForce-ы"
да и в основном расчеты как-то под куду идут, под opencl пока еще не торт.
По всей видимости GTX780Ti будет побыстрее. Так же GTX690 быстрее титана.кстати, что касается:
http://www.anandtech.com/show/6760/nvidias-geforce-gtx-titan...
http://www.anandtech.com/show/6774/nvidias-geforce-gtx-titan...
интересные ссылки. и такое ощущение, что нв что-то сделала, чтобы покупали таки теслы, а не титаны или десктопные карты, т.е. как я понимаю не получится пускать большую задачу, задействующую все ускорители кластера, такая тема только для тесл у них. тесла идет порядка 100к рублев за карточку уже, что весьма нехило.
а как кстати на счёт такого апгрейда?
http://videocardz.com/40218/nvidia-geforce-gtx-690-modified-...
я так понимаю у них многие фичи тупо заблокированны, а такая переделка позволяет разблочить.
http://videocardz.com/40218/nvidia-geforce-gtx-690-modified-...
я так понимаю у них многие фичи тупо заблокированны, а такая переделка позволяет разблочить.
Да, но
В Америке или в Москве?
В Америке или в Москве?
По мне так в этом вопросе самое главное объём видео памяти и поддерживаемые спецификации.
Последние карточки значительно более приспособлены к работе в кластерах,чем предыдущие.
Для Куда соответственно поддержка архитектуры 3.5: GK110, GK208 Tesla K40, K20X, K20, GeForce GTX TITAN, GTX780Ti, GTX 780, Quadro K510M, Quadro K610M, Quadro K6000, GT 640(Rev.2)
Также немаловажна поддержка материнкой 16X pci-e 3.0
Последние карточки значительно более приспособлены к работе в кластерах,чем предыдущие.
Для Куда соответственно поддержка архитектуры 3.5: GK110, GK208 Tesla K40, K20X, K20, GeForce GTX TITAN, GTX780Ti, GTX 780, Quadro K510M, Quadro K610M, Quadro K6000, GT 640(Rev.2)
Также немаловажна поддержка материнкой 16X pci-e 3.0
Также немаловажна поддержка материнкой 16X pci-e 3.0Агентство ОБС сообщило, что
LGA1155 CPUs have X16 lanes in total (Xeons have 20), so anybody who says they have several x16 slots either split the lanes, or use PLX or nforce 200 chip to do that. I think of it like hub vs switch. If you run 3 or more GPUs, or in some cases even 2, you can get better performance using that additional chip.То есть получается, что для случая с восемью видюхами на один процессор, пусть и многоядерный, быстрый pci-e будет лишним из-за бутылочного горлышка с другой стороны.
Так ли это? Кто может прокомментировать?
То есть получается, что для случая с восемью видюхами на один процессор, пусть и многоядерный, быстрый pci-e будет лишним из-за бутылочного горлышка с другой стороны.Так ли это? Кто может прокомментировать?так от задачи зависит. если надо много данных гонять - то будет ботлнек, если в задаче мало данных и много считать - то все может быть окейно
если в задаче мало данных и много считать - то все может быть окейноа зачем тогда толстая шина? Видюхи могут через неё слать друг другу данные напрямую?
ну для игр зачастую пофиг, что там не все слоты x16 gen3, все хорошо работает и масштабируется даже в x8 gen2.
про расчеты уже сказали, если нет интенсивного обмена данными, то пусть хоть на х1 работает
в майнинговых фермах так и было по сути
про расчеты уже сказали, если нет интенсивного обмена данными, то пусть хоть на х1 работает
в майнинговых фермах так и было по сути
Видюхи могут через неё слать друг другу данные напрямую?Да, последние могут. Cuda 5.5 этому способствует.
GPUDirect
Key Features:
Accelerated communication with network and storage devices
Network and GPU device drivers can share “pinned” (page-locked) buffers, eliminating the need to make a redundant copy in CUDA host memory.
Peer-to-Peer Transfers between GPUs
Use high-speed DMA transfers to copy data between the memories of two GPUs on the same system/PCIe bus.
Peer-to-Peer memory access
Optimize communication between GPUs using NUMA-style access to memory on other GPUs from within CUDA kernels.
RDMA
Eliminate CPU bandwidth and latency bottlenecks using remote direct memory access (RDMA) transfers between GPUs and other PCIe devices, resulting in significantly improved MPISendRecv efficiency between GPUs and other nodes)
GPUDirect for Video
Optimized pipeline for frame-based devices such as frame grabbers, video switchers, HD-SDI capture, and CameraLink devices.
Даже если это не биткоины, наваять что-нибудь на FPGA с таким бюджетом имхо будет намного проще и эффективнее.
есть более приспособленные для этого системы
http://ru.wikipedia.org/wiki/LGA_2011
http://ru.wikipedia.org/wiki/LGA_2011
Процессоры LGA 2011 поддерживают четырехканальный режим работы оперативной памяти DDR3-1600 и 40 линий PCIe 3.0.
так для ГПУ расчетов у нВидии есть Теслы - те же карточки, тока больше опративы гораздо, что дает плюс, т.к. можно более объемные вычисления делать.
так для ГПУ расчетов у нВидии есть Теслы - те же карточки, тока больше опративы гораздо, что дает плюс, т.к. можно более объемные вычисления делать.У Титана 6Гб, не 40-е Теслы имеют тоже по 6 Гб. 40-е 12гб. Но стоит это всё дороже.
Условию (Как можно больше GPU в ед. стоимости) не удовлетворяет никаким образом. Хотя 12Гб уже позволяют развернуться.
По всей видимости GTX780Ti будет побыстрее.Да, судя по источникам, она будет практически в полтора раза быстрее Титана.
Более того некоторые производители будут впускать модели с 6Гб видеопамяти:
Итак, видеокарта GeForce GTX 780 Ti способна обрабатывать в секунду до 5 миллиардов треугольников и до 238 миллиардов текселей, в то время как быстродействие, выраженное в количестве выполняемых операций с плавающей запятой, составляет 5720 гигафлопс. Все эти значения превосходят таковые у видеокарты Radeon R9 290X (соответственно 4 млрд треугол./с, 176 Гтекс/с и 5632 Гфлопс), даже пропускная способность памяти у GeForce GTX 780 Ti выше: 336 Гбайт/с против 320 Гбайт/с. Правда, это преимущество обусловлено высокой эффективной частотой микросхем GDDR5.
http://www.overclockers.ru/hardnews/56960/GeForce_GTX_780_Ti...
EVGA не собирается представлять версию GeForce GTX 780 с 6 Гб памяти
Судя по предварительным данным, GeForce GTX 780 Ti получил 2880 потоковых процессоров, а увеличенная до 7 ГГц QDR частота памяти будет призвана в какой-то степени компенсировать неизменность разрядности шины, но наличие всего 3 Гб памяти типа GDDR5 на эталонных платах уже расстроило многих любителей высоких разрешений. Пока никто из партнёров NVIDIA не пообещал выпустить версию GeForce GTX 780 Ti с увеличенным объёмом памяти, но возможность их выхода уже начала обсуждаться, пусть и в довольно странном контексте.
Как сообщает ресурс VideoCardz, компания EVGA якобы готовит к анонсу версию GeForce GTX 780 с 6 Гб памяти типа GDDR5. В доказательство серьёзности намерений производителя ресурсом даже была опубликована фотография видеокарты на фоне коробки, явно упоминающей увеличенный объём памяти.
Однако, сотрудники EVGA в соответствующем разделе корпоративного форума пояснили, что опубликованное изображение не имеет отношения к реальному продукту, оно было создано ещё в июле, когда EVGA вынашивала соответствующие планы. Теперь же версия GeForce GTX 780 с 6 Гб памяти в планах компании не значится. Очевидно, проецировать эти изменения в намерениях EVGA на GeForce GTX 780 Ti преждевременно, но хотелось бы надеяться на лучшее.
http://www.overclockers.ru/hardnews/56950/EVGA_ne_sobiraetsy...
Даже если это не биткоины, наваять что-нибудь на FPGA с таким бюджетом имхо будет намного проще и эффективнее.+1
ну конечно если нет уже адского проекта под КУДУ, который долго и нудно писали и тестировали...
Да, судя по источникам, она будет практически в полтора раза быстрее Титана.Почитал твою ссылку, погуглил - нигде нет речи о "в полтора раза быстрее Титана". В лучшем случае в 1.2-1.3 раза.
А вот по сравнению с GTX 780 (без Ti) вполне может оказаться "практически в полтора раза" и даже больше.
Картинка в тему: "К майнингу подключаются китайские ботнеты, что повысило сложность и снизило прибыльность майнинга в 20 раз за последние четыре месяца".
Почитал твою ссылку, погуглил - нигде нет речи о "в полтора раза быстрее Титана". В лучшем случае в 1.2-1.3 раза.4 у Титана и почти 6 у Тi из выше приведённой новости.
1. 5.7 - это не почти 6;
2. Это пока слухи, а не официальная информация от NVIDIA или независимых тестеров;
3. Да и просто заявленный флопс не совсем правильный способ сравнивать производительность в реальных приложениях.
2. Это пока слухи, а не официальная информация от NVIDIA или независимых тестеров;
3. Да и просто заявленный флопс не совсем правильный способ сравнивать производительность в реальных приложениях.
Всем спасибо за ответы, хотя, к сожалению, по теме был лишь один дельный совет - почитать на форумах майнеров. Вопрос был именно в том, какую брать мать, blade-ы или нет, supermicro или еще кого, - в общем, советы бывалых. Кстати, Михась, как жизнь, как ГАИШ?
Тебе же сказали, что это зависит от характера вычислений.
Вон даже дескопная мама MSI есть с 8xPCI-E x16.
Вон даже дескопная мама MSI есть с 8xPCI-E x16.
1. 5.7 - это не почти 6;По последним данным там 5 ровно.
Если вдруг кому будет интересно:
взяли сервер supermicro с 4х gpu 7047-TRF с 256 гб памяти, 2х xeon e5-2660 v2, и к нему 4x GTX 780 конторы PNY. И выяснилось, что в BIOS-е материнки есть проблема: windows дает ошибку 43 (device not functioning properly), если вставлены карты в тот слот, который отвечает за 2-ой проц. То есть, 2 карты из 4-х работают, 2 - нет, это наблюдалось и в винде, и в линуксе. При этом, в винде работали только те видеодрайвера, которые шли в комплекте с видеокартами PNY; последние с сайта nvidia не работают (ошибка 43).
Пришлось созваниваться с supermicro, на что они дали какую-то альфа-версию прошивки BIOS-а (старше, чем от 3 сентября), где ошибка поправлена: это ошибка связана с сериями xeon-ов на ivy-bridge, возможно, что и с sandy bridge-EP. Обновили. Теперь линукс работает более-менее стабильно, а винда работает только с драйверами PNY и квази-стабильно, то есть, при малейшем неаккуратном шевелении чего-либо не того в системе драйвера видеокарт в device manager-е начинают давать ошибку 43.
Ни в жизнь больше не куплю самого передового железа!
взяли сервер supermicro с 4х gpu 7047-TRF с 256 гб памяти, 2х xeon e5-2660 v2, и к нему 4x GTX 780 конторы PNY. И выяснилось, что в BIOS-е материнки есть проблема: windows дает ошибку 43 (device not functioning properly), если вставлены карты в тот слот, который отвечает за 2-ой проц. То есть, 2 карты из 4-х работают, 2 - нет, это наблюдалось и в винде, и в линуксе. При этом, в винде работали только те видеодрайвера, которые шли в комплекте с видеокартами PNY; последние с сайта nvidia не работают (ошибка 43).
Пришлось созваниваться с supermicro, на что они дали какую-то альфа-версию прошивки BIOS-а (старше, чем от 3 сентября), где ошибка поправлена: это ошибка связана с сериями xeon-ов на ivy-bridge, возможно, что и с sandy bridge-EP. Обновили. Теперь линукс работает более-менее стабильно, а винда работает только с драйверами PNY и квази-стабильно, то есть, при малейшем неаккуратном шевелении чего-либо не того в системе драйвера видеокарт в device manager-е начинают давать ошибку 43.
Ни в жизнь больше не куплю самого передового железа!
квест продолжается
ночью на одной из видеокарт остановился вентилятор, утром она была нагрета до 100 градусов и нагревала окружающие видеокарты до 85. Это при том, что расчетов ночью не велось. После перезагрузки выяснилось, что у нее померли термодатчики и теперь на ней вентиляторы всегда работают на полную катушку
Зато nvidia выпустили новые драйвера под винду, которые наконец-то не дают ошибку 43, но зато на место сбрендившей карты производителя PNY не дают поставить аналогичную карту от производителя evga
ночью на одной из видеокарт остановился вентилятор, утром она была нагрета до 100 градусов и нагревала окружающие видеокарты до 85. Это при том, что расчетов ночью не велось. После перезагрузки выяснилось, что у нее померли термодатчики и теперь на ней вентиляторы всегда работают на полную катушку
Зато nvidia выпустили новые драйвера под винду, которые наконец-то не дают ошибку 43, но зато на место сбрендившей карты производителя PNY не дают поставить аналогичную карту от производителя evga
Оставить комментарий
NataNata
Задача, над которой я подумываю: собрать комп \ кластер, в который засунуть как можно больше GPUшной вычислительной мощи. Бюджет большой ("надо 50k$ - будет 50k$, можно больше"). Видеокарты: GeForce-ы, float-ной точности хватает, ошибки памяти некритичны. Требования по RAM и процу: обсуждаемо, GPU-шная мощь важнее.На данный момент наиболее разумным кажется решение c материнкой tyan, которая держит 8 gpu, типа такого
Может, кто-нибудь уже сталкивался с подобной проблемой или с подобной конфигурацией?