Canonical, kendi düzenlediği Ubuntu Summit etkinliğinde yerel kurulu yapay zekâ modellerini yönetmeye yarayan Inference Manager adlı aracı duyurdu. Araç, inference komut satırı komutuyla modellerin bilgisayara kurulmasını ve kullanıma açılmasını sağlıyor. Programlar daha sonra bir HTTP arayüzü üzerinden yapay zekâ çıkarımına erişebiliyor. Canonical'a göre arayüz OpenAI API'siyle uyumlu; böylece mevcut istemciler doğrudan bağlanabiliyor.
Ubuntu'nun güncel sürümü 26.10 Stonking Stingray ile bir yapay zekâ özelliği de yayımlandı: Myna adlı konuşmadan metne dönüştürme programı, masaüstünde akıcı dikte yapılmasını sağlıyor ve sonucu herhangi bir metin alanına yazıyor. Myna, sözde Inference Snap'lerine dayanıyor. Snap, Ubuntu'nun kendi paket biçimi; Snap Store'da tamamen cihazda çalışan ve internet bağlantısı gerektirmeyen çeşitli yapay zekâ modelleri bulunuyor. Artık bu modellerin yönetilebildiği ortak arayüz olarak Inference Manager devreye giriyor. Kurulu tüm modellere TCP 8400 numaralı port üzerinden erişilebiliyor; masaüstündeki sohbet asistanları, editördeki kodlama ajanları ya da konuşmadan metne dönüştürme programları ilgili modellerine böylece ulaşabiliyor.
Canonical, bu yaklaşımı Ubuntu Summit'te yapay zekâ modellerinin araçları sürdüğü bir Carrera pistiyle somutlaştırdı. Bir web uygulamasında farklı modeller seçilebiliyor, "daha hızlı sür" gibi sesli komutlara "sürücüler" yanıt veriyordu.
Inference Manager bir Snap olarak dağıtılıyor ve sudo snap install inference komutuyla ya da App Center üzerinden kurulabiliyor. Ardından inference install smollm2 gibi komutlarla modeller kurulup kullanılabiliyor. Inference Manager, Snap Store'da hemen kullanıma sunuldu.
Açık kaynak topluluğunun bir bölümü yapay zekâ kullanımını tartışadursun, Canonical Ubuntu'da yerelde çalışan açık ağırlıklı modellere yönelmek istiyor. Şirketin planları arasında hata ayıklamada bağlama duyarlı yardım, erişilebilirlik için daha iyi konuşma tanıma ve ajan tabanlı iş akışlarıyla otomasyon yer alıyor. Canonical'a göre yapay zekâ işlevleri isteğe bağlı (opt-in) olarak gelecek ve her zaman kaldırılabilecek. Bu tercih, son günlerde bulut tabanlı modellerini genişleten OpenAI ve Google'ın hamlelerinin ardından yerel çalışan modellere ayrı bir alan açıyor.
