Serverless GPU’lar

GPU’lar ve fiyatlandırma

Ücretler tek bir GPU worker’ının çalışma süresinin saniyesi başınadır — bir worker’ın kapanmadan önce bir sonraki işi beklediği boşta kalma saniyeleri dâhil. Uygunluk anlık kapasiteyi yansıtır ve gün içinde değişir.

Nasıl çalışır

1. 1

   Bir deployment oluşturun

   Bir şablon seçin, bir GPU belirleyin, ölçekleme limitlerinizi ayarlayın. Endpoint’iniz dakikalar içinde yayında — cluster yok, driver yok, kapasite planlaması yok.

2. 2

   İşleri queue API ile gönderin

   Her deployment, katalog modelleriyle aynı queue API üzerinde özel bir endpoint alır: bir iş POST edin, durumu sorgulayın, sonucu alın.

3. 3

   Worker’ları ve logları canlı izleyin

   Dashboard worker durumlarını, kuyruk derinliğini ve canlı bir log akışını gösterir. Kullanım saniye başına ölçülür ve saatlik olarak kapanır.

curl -X POST https://queue.modelrunner.run/{username}/{alias} \
  -H "Authorization: Key $MRUN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "prompt": "..." }'
# → { "request_id": "...", "status_url": "...", "response_url": "..." }

Bir şablonla başlayın

Sıkça sorulan sorular

Serverless GPU nedir?

İşler geldiğinde başlayan, boşta kaldığında sıfıra inen GPU worker’ları. Bir deployment oluşturursunuz — bir şablon artı bir GPU ve ölçekleme limitleri — ve özel bir queue endpoint’i alırsınız; worker’ları ModelRunner çalıştırır, logları akıtır ve saniyeleri ölçer.

Serverless GPU faturalandırması nasıl işler?

Her GPU için gösterilen ücret üzerinden, worker süresinin saniyesi başına. Deployment’lar boşta kaldığında sıfıra iner; yani hiç iş almayan bir endpoint’i açık tutmanın maliyeti yoktur. Kullanım canlı olarak ölçülür ve saatlik ücretlere dönüşür; her deployment için aylık harcama üst sınırı belirleyebilirsiniz.

Bir deployment’a işleri nasıl gönderirim?

Her deployment, queue.modelrunner.run üzerinde {username}/{alias} biçiminde bir endpoint alır — katalog modelleriyle aynı queue API. API anahtarınızla bir iş POST edin, durum URL’sini sorgulayın ve tamamlandığında sonucu alın.

GPU’larımı çalışırken izleyebilir miyim?

Evet. Dashboard her deployment için canlı worker’ları (durum, GPU, bölge, çalışma süresi), kuyruk derinliğini, akan bir log kuyruğunu, istek geçmişini ve saatlik kullanımı gösterir.