Все категории

Модели

вы модель/фотомодель? вас ищут в этом разделе!

3 661 объявление найдено за последние 3 дня

Здесь показаны примеры поиска клиентов недельной давности.

Подписывайся, чтобы получать информацию обо всех новых клиентах в режиме реального времени!

29 июня 14:51

29 июня 15:12

Как это работает: Объединение памяти (Tensor Parallelism): Модель «режется» на части и загружается сразу на все видеокарты. Например, для тяжелой модели Qwen 3.6-27B нужно около 28-32 ГБ памяти. Две видеокарты по 16 ГБ легко справятся с этой задачей. [1 [Ссылка: https://habr.com/ru/articles/1041422/comments/], 2 [Ссылка: https://www.reddit.com/r/LocalLLaMA/comments/1txluna/qwen_3627b_on_vllm_with_dual_rtx_3090s_looking/?tl=ru], 3 [Ссылка: https://docs.clore.ai/guides/guides_v2-ru/yazykovye-modeli/qwen36-27b], 4 [Ссылка: https://www.reddit.com/r/LocalLLaMA/comments/1skpubf/performance_benchmark_qwen35_gemma4_on_dual_gpu/?tl=ru]] Параллельные запросы: Две карты позволяют обрабатывать в 2 раза больше пользователей одновременно, запуская по копии модели на каждую карту. [1 [Ссылка: https://www.reddit.com/r/LocalLLaMA/comments/1skpubf/performance_benchmark_qwen35_gemma4_on_dual_gpu/?tl=ru]] Увеличение скорости (Multi-Token Prediction): Некоторые сборки (например, на картах серий RTX 5080/5090 с движком vLLM) выдают до 60-80 токенов в секунду. [1 [Ссылка: https://www.reddit.com/r/LocalLLaMA/comments/1txluna/qwen_3627b_on_vllm_with_dual_rtx_3090s_looking/?tl=ru], 2 [Ссылка: https://habr.com/ru/articles/1041422/comments/]] Что нужно для запуска: Программы: Для использования нескольких GPU отлично подходят платформы vLLM [Ссылка: https://docs.vllm.ai/en/latest/], Ollama [Ссылка: https://ollama.com/] или LM Studio [Ссылка: https://lmstudio.ai/]. Они автоматически увидят обе карты и распределят нагрузку. Модели: Чтобы уместить размер модели в память двух карт, часто применяют квантование (сжатие). [1 [Ссылка: https://lmstudio.ai/models/qwen3-vl], 2 [Ссылка: https://docs.clore.ai/guides/guides_v2-ru/yazykovye-modeli/qwen36-27b], 3 [Ссылка: https://www.reddit.com/r/LocalLLaMA/comments/1txluna/qwen_3627b_on_vllm_with_dual_rtx_3090s_looking/?tl=ru], 4 [Ссылка: https://habr.com/ru/articles/1041422/comments/]] ... ну и потом, если интересует как работает ИИ - спросите у ИИ! даже Алиса расскажет что-нить полезное

29 июня 15:24

29 июня 15:33

Москва

29 июня 10:00

29 июня 10:50

29 июня 12:30

Москва

29 июня 12:38

Подписывайся, чтобы получать информацию обо всех новых клиентах в режиме реального времени!

Попробовать бесплатно