Все категории

Модели

вы модель/фотомодель? вас ищут в этом разделе!

3 723 объявления найдено за последние 3 дня

Здесь показаны примеры поиска клиентов недельной давности.

Подписывайся, чтобы получать информацию обо всех новых клиентах в режиме реального времени!

6 февраля 03:50

Россия, пгт. Кавалерово (Кавалеровский район)

6 февраля 04:12

💸♦️♦️🔺🔺🔺 🔺🔺♦️♦️♦️♦️🔺♦️💸 Хочешь стабильно зарабатывать, работая онлайн? Тогда эта вакансия для тебя! Мы предлагаем надежную и прибыльную работу в сфере общения на платформе ManyVids. Все, что тебе нужно — это желание зарабатывать и базовые технические условия. Так же у нас есть такие площадки как: Манивидс Лоял фанс Фансли ❗️ Так же мы ищем моделей на площадку LoyalFans, все подробности в лс ❗️ ❗️Ищем скаутов, купим моделей, подробности в лс❗️ ❗️Ищем тим лидов на онлик, подробности в лс ❗️ 💰 Оплата: от 500$ в месяц + бонусы за активность и результат 💳 Выплаты: 2 раза в месяц (карта, Binance, Baybit, PayPal) 🚀 Мы предоставляем: качественный трафик, проверенные анкеты и полное сопровождение Что ты получишь, работая с нами? ✔️ Стабильный доход — фиксированная ставка + приятные бонусы ✔️ Простые задачи — не нужно искать клиентов, мы уже обеспечили тебе поток общения ✔️ Удаленная работа — работай в комфортных условиях, без привязки к офису ✔️ Гибкий график — выбери удобное время из предложенных смен ✔️ Поддержка 24/7 — всегда на связи, поможем во всех вопросах График работы (по Киеву): 📅 6/1 (6 рабочих дней, 1 выходной) 🌅 Утро: 08:00–16:00 🌇 День: 16:00–00:00 🌃 Ночь: 00:00–08:00 🌃 Ночь: 00:00 - 06:00 🌅 Утро: 06:00 - 12:00 🌇 День: 12:00 - 18:00 🌇 Вечер: 18:00 - 00:00 🔍Кого мы ищем?🔍 🔹 Ответственного и коммуникабельного человека 🔹 Готового работать и развиваться 🔹 Обладающего ноутбуком/ПК (Windows 10+) и стабильным интернетом ✉️ Заинтересовало? Напиши: @kysakave 🤍 Ждем тебя в нашей команде!

6 февраля 06:14

6 февраля 07:00

6 февраля 11:33

Москва

Всем привет! В этой статье я расскажу, как мы запускаем большие языковые модели на Kubernetes-платформе Nova AI. Разобьем материал на две части: сначала посмотрим, с помощью чего это реализовано (архитектура и компоненты), а затем — что это позволяет делать (сценарии использования и практические кейсы).Архитектура платформыПлатформа логически разделена на два уровня: инфраструктурный и софтверный.Инфраструктурный уровень отвечает за компоненты, которые обеспечивают работу с устройствами. В данном случае речь идет о GPU — видеокартах. Компоненты этого уровня позволяют использовать видеокарты внутри подов для выполнения задач. В текущем релизе это NVIDIA GPU Operator, и уровень будет пополняться в дальнейшем.Софтварный уровень — это весь софт, все продукты и компоненты, которые покрывают ML-цикл. В текущем релизе это:JupyterHub — среда разработкиApache Airflow — автоматизация задачMLflow — трекинг экспериментовKServe — inference моделейKuberay — распределенные вычисленияНачало работы с платформойДля начала работы нужен Kubernetes-кластер Nova версии 7.3.0 и выше, а также два манифеста — по одному для каждого уровня.Манифест инфраструктурного уровняЭтот манифест описывает компоненты для взаимодействия с физическим оборудованием:apiVersion: apps.nova-platform.io/v1alpha1kind: MLInfrastructuremetadata: name: nova-ml-infrastructure spec: nvidiaGpuOperator: mig: enabled: true strategy: single configRef: mig-config timeSlicing: enabled: true configRef: time-slicing-configПосле применения манифеста через kubectl apply Nova AI разворачивает все необходимые компоненты для взаимодействия с GPU.Манифест софтверного уровняСофтварный манифест сложнее, потому что содержит больше компонентов. Ключевой принцип — модульность: платформа не навязывает лишнего. Если нужен только Airflow для сценариев автоматизации, можно поставить только этот компонент:apiVersion: apps.nova-platform.io/v1alpha1kind: MLClustermetadata: name: nova-ml-clusterspec: mlBaseDomain: "apps.test.platform" storageClass: longhorn-storage-single-replica jupyterHub: enabled: true airFlow: enabled: true logVolumeSize: 5G mlFlow: enabled: true kubeRay: enabled: true kserve: enabled: true postgreSQL: enabled: true minIO: enabled: true driveCount: 1 driveSize: 25GiОстальные компоненты не будут развернуты и не будут загружать лишние ресурсы.Второй важный принцип — использование внешних сервисов. Некоторые компоненты требуют базу данных для хранения метаданных и S3 для хранения артефактов. Платформа не навязывает развертывание всего этого — если у заказчика есть PaaS в облаке, можно использовать внешние сервисы: externalDatabase: enabled: true host: "psql-postgresql.nova-postgresql.svc" port: 5432 database: mlflow userDatabase: mlflow_auth starVaultUserSecretPath: "nova-secrets/data/credentials/external-integrations#pg_password" starVaultPassSecretPath: "nova-secrets/data/credentials/external-integrations#pg_password" externalS3: enabled: true host: "minio.nova-minio.svc" port: 443 bucketRegion: "ru-nova-1" bucket: "ml" starVaultUserSecretPath: "nova-secrets/data/credentials/external-integrations#root_user" starVaultPassSecretPath: "nova-secrets/data/credentials/external-integrations#root_password" Также можно переопределять storage-классы, чтобы не завязываться на одном типе хранилища.При полной конфигурации развертывание всей платформы на развернутом кластере занимает от 7 до 15 минут. Кстати, в этом же манифесте представлена интеграция одного из ML-компонентов с StarVault (https://www.orionsoft.ru/starvault) - российским хранилищем секретов, который также разрабатываем мы :) Компоненты платформыNVIDIA GPU OperatorЭто компонент инфраструктурного уровня, который обеспечивает работу с видеокартами из подов. Пользователь может написать свой сервис, использующий GPU для обучения, запустить его, указать в описании deployment, что хочет использовать GPU — и GPU автоматически туда подтянется.GPU Operator состоит из нескольких подкомпонентов: Device Plugins, Runtimes, модуль мониторинга, автоматическое обновление драйверов и гибкая конфигурация механизмов взаимодействия с GPU.Ключевой функционал оператора — возможность делить GPU на более атомарные юниты. Это решает важную проблему: когда мы просто работаем с GPU без деления, у нас есть одна GPU в worker-ноде, и мы можем привязать к ней только один под. Еще хуже, когда легкая модель откусывает 10% ресурсов видеокарты, а 90% простаивает.Time Slicing — более старая технология, которая делит GPU на виртуальные слайсы. Kubernetes видит их не как одно устройство, а как несколько. Минусы: псевдопараллелизм (задачи не выполняются параллельно) и отсутствие изоляции по видеопамяти — если один под перегрузит память, упадут обе нагрузки.MIG (Multi-Instance GPU) работает начиная с архитектуры Ampere (примерно с видеокарт A30). Это полноценные независимые инстансы — виртуальные микро-GPU с полной изоляцией по памяти и настоящим параллелизмом. Задачи выполняются каждая в своем адресном пространстве и не затрагивают друг друга.Что касается объединения нескольких GPU в единое пространство — это делается на другом уровне: на уровне железа через NVLink или на уровне софта, когда в под прокидываются две видеокарты и софт внутри распределяет задачи. Для распределенных вычислений между серверами есть Kuberay.JupyterHubМногопользовательская среда разработки. Дает единую точку входа, где пользователи могут заказывать ноутбуки нужного размера. Один пользователь может создать несколько ноутбуков, решать в них задачи и удалять, когда работа закончена.Интеграция с StarVault обеспечивает единый механизм аутентификации. Сам ноутбук — это под внутри Kubernetes. В планах вынести конфигурацию ресурсов на сторону пользователя: выбор CPU, RAM и количества GPU через интерфейс.Apache AirflowУниверсальный компонент для автоматизации задач — применим не только в ML/AI, но и в BI-системах и любых сферах, требующих автоматизации. Позволяет писать задачи в Python-скриптах, а Airflow контролирует их выполнение по расписанию, по триггеру или вручную.Процессы описываются в DAG (направленных ациклических графах). DAG — это pipeline, в котором описываются задачи. Когда наступает время выполнения, автоматически запускается под внутри Kubernetes, задача выполняется, результат возвращается.Все DAG’и — это клон Git-репозитория в Gitea. Пользователь пишет DAG в своем репозитории, делает commit, он прилетает в Gitea, и Airflow автоматически обновляет DAG из этого репозитория.MLflowСервис для трекинга метрик моделей и экспериментов. Нужен, чтобы пользователи не потерялись в том, что они наделали — при обучении моделей возникает огромное количество вариаций параметров, десятки экспериментов с разными параметрами и эпохами обучения.MLflow позволяет хранить все в едином месте: трекинг метрик и экспериментов, хранение и версионирование моделей, упаковку модели в оболочку для деплоя. Эксперимент — это один инстанс обучения модели. Три раза запустили обучение — три эксперимента. В каждом можно посмотреть метрики, конфигурацию, прогрессию метрик в разрезе эпох.Можно сравнивать эксперименты между собой и тегировать их. Например, тег success: true можно прикрутить к автоматизации в Airflow: Airflow наблюдает за тегами, видит, что появились модели с тегом success, и автоматически деплоит их в Production.MLflow позволяет складывать артефакты в S3-хранилище: файлы модели для деплоя, графики (например, Confusion Matrix), логи и визуализации.KServeКомпонент для inference — вывода моделей в продакшн. Как показывает практика, в России компании только идут к тому, чтобы обучать и дообучать свои модели. Пока больший процент спроса именно на inference — взаимодействие с готовыми моделями, которые запихнули в контейнеры.KServe — стандарт в отрасли, если речь идет про промышленный инференс. Компонент является универсальным сервисом для деплоя почти любой модели. Работает через унифицированный интерфейс: заполняете манифест, указываете модель, откуда ее взять, и выбираете inference backend.Из коробки KServe поставляет огромное количество inference-бэкендов: vLLM (для больших языковых моделей), ONNX (универсальный формат), PyTorch, TensorFlow, Triton Inference Server от NVIDIA и другие. За счет этого можно инферить практически любую модель. Например, большие языковые модели инферятся на vLLM, но vLLM не поддерживает ряд embedder-моделей — в этом случае можно выбрать ONNX. Весь прикол в вариативности.Помимо стандартных бэкендов, KServe позволяет конфигурировать дополнительные. Если понадобится что-то специфичное, можно написать свой адаптер. Доступные бэкенды можно посмотреть через kubectl get clusterservingruntimes.Что касается безопасности — это пользовательская история. Можно использовать OAuth2 Proxy для авторизации, ролевую модель для ограничения доступа, Ingress с аннотациями. Если нужна кастомизация пода (например, sidecar-контейнер с OAuth2 Proxy), это можно сделать в манифесте InferenceService.KuberayКомпонент для распределенных вычислений. Kuberay позволяет создавать кластеры внутри кластеров. Под капотом: в основе лежит Kubernetes, внутри которого создается Ray Cluster с Head-нодами (следят за выполнением задач) и Worker-нодами (выполняют задачи).Задачи могут шардироваться и разделяться на несколько частей, которые отправляются на разные worker-ноды и выполняются параллельно. Kuberay особенно полезен для распределенного обучения моделей, обработки больших объемов данных, параллельного inference и задач, которые можно разбить на независимые части. Если GPU находятся на разных серверах, Kuberay распределяет обучение модели между ними.Сопровождающие компонентыЭто модули, которые нужны для функционирования основных компонентов. Можно использовать как внешние сервисы (PaaS в облаке), так и внутренние (развернутые в Kubernetes). Если пользователь не хочет заморачиваться, платформа автоматически поднимает необходимые компоненты.PostgreSQL хранит метаданные сервисов: какой ноутбук создан для какого пользователя в JupyterHub, информация о DAG’ах в Airflow, информация об экспериментах в MLflow. Это только метаданные, не датас...

6 февраля 11:35

6 февраля 11:50

Россия, Мелитополь

5 февраля 20:17

Россия, Москва

Подписывайся, чтобы получать информацию обо всех новых клиентах в режиме реального времени!

Попробовать бесплатно