Microsoft yöneticisi ve yazılım geliştiricisi Scott Hanselman, grafik kartlarını ve yapay zekâ iş yüklerini izlemek için açık kaynaklı bir terminal aracı yayımladı. GitHub üzerinde geliştirilen GPU Taskman, Windows, Linux (WSL dahil) ve Apple Silicon'lu macOS'ta çalışıyor. Yapay zekâ modellerinin yerel donanımda giderek daha fazla çalıştırıldığı bir dönemde, hangi sürecin grafik belleğini ne kadar tükettiğini görmek kullanıcılar için pratik bir ihtiyaç haline geldi.
Aracın terminal arayüzü, süreç listesini bellek kullanımı, yük, sıcaklık, güç tüketimi ve saat hızları gibi cihaz verileriyle birleştiriyor. Hangi ölçümlerin görüneceği işletim sistemine, grafik kartına, sürücüye ve erişim izinlerine göre değişiyor. GPU Taskman grafik belleğinin içeriğini doğrudan okumak yerine birden fazla kaynağı bir araya getiriyor: Windows'ta işletim sisteminin performans sayaçları, Nvidia'nın NVML ve AMD'nin ADL arayüzleri, yüklenen kütüphaneler ve komut satırı argümanları.
GGUF biçimindeki modellerde program model adını, parametre sayısını ve niceleme düzeyini gösterebiliyor; ağırlıkların ve KV-cache'in bellek ihtiyacını tahmin ediyor. KV-cache, dikkat katmanlarında hesaplanmış anahtar ve değer vektörlerini tutuyor; bu nedenle bağlam penceresi büyüdüğünde model ağırlıkları değişmese de bellek ihtiyacı artabiliyor. Araç, bu tahminleri sürecin ölçülen bellek tüketimiyle karşılaştırıyor.
Sürüm 0.3.5, Linux'ta i915 ve xe sürücüleriyle Intel grafik kartlarına destek ekledi; CPU ve RAM kullanımına ilişkin genel ve süreç bazlı sütunlar geldi. "gputaskman record" komutu düzenli aralıklarla JSON anlık görüntüleri kaydediyor. Sürüm 0.4.0 ise Linux'ta Intel grafik kartlarının video motoru yükünü ve tümleşik Intel GPU'ların güç tüketimini ekliyor; bu değerler için root yetkisi gerekiyor. Ayrıca Huawei'nin Ascend 310P türü yapay zekâ hızlandırıcıları için npu-smi üzerinden çalışan bir Linux arka ucu eklendi.
Python ile yazılan ve MIT lisansıyla sunulan GPU Taskman, Python 3.11 veya üzerini gerektiriyor; uv ya da pipx ile kurulabiliyor. Windows için Python kurulumu gerektirmeyen taşınabilir ZIP paketleri de var. Geliştiriciler programı erken aşamada ve deneysel bir yazılım olarak tanımlıyor; özellikle model eşleştirmelerinin ve hesaplanan bellek dağılımlarının doğrudan ölçüm olmadığını belirtiyor.
