Chrome'da cihaz üstü yapay zeka: Gemini Nano ne yapar, ne yapamaz

Bir tarayıcı uzantısında “yapay zeka destekli” ifadesi çoğunlukla verilerinizin bir yerdeki sunucuya gönderildiği anlamına gelir. Artık bunun böyle olması giderek daha az zorunlu: Chrome, kendi makinenizde çalışan küçük bir dil modeliyle geliyor ve bir uzantı bu modeli tek bir ağ isteği yapmadan kullanabiliyor.

Bu yazı Chrome’da cihaz üstü yapay zekaya pratik bir bakış: Gemini Nano gerçekten neyi iyi yapıyor, nerede tökezliyor ve erişilebilirlik sorusu neden yetenek sorusundan daha önemli.

“Cihaz üstü” aslında ne demek#

Model ağırlıkları bilgisayarınıza bir kez indirilir, çıkarım da CPU veya GPU’nuz kullanılarak yerelde çalışır. Bir uzantı bir konuşmayı özetlediğinde metin internet üzerinden değil, tarayıcının içindeki bir modele gider.

Bunun önemli üç sonucu var:

• Hiçbir şey iletilmez. E-postanızı taşıyan bir istek gövdesi yok, sağlayıcı günlükleri yok, okunacak bir veri saklama politikası yok.
• API anahtarı yok, token başına maliyet yok. Bu da bir uzantının ücretsiz olarak neyi sunmayı göze alabileceğini değiştirir.
• Çevrimdışı çalışır — model bir kez indirildikten sonra.

Karşılığında bir dizüstü bilgisayara sığacak kadar küçük bir model çalıştırıyorsunuz. Bu bir ayrıntı değil, gerçek bir kısıt.

Chrome’un yerleşik yapay zekası#

Chrome, yerel bir modelin beslediği birkaç JavaScript API’si sunuyor: genel amaçlı bir prompt arayüzü ve bunun yanında özetleme, yazma, yeniden yazma, çeviri ve dil algılama için özel olarak yapılmış olanlar. Alttaki model, Google’ın tam da bu iş için tasarlanmış en küçük modeli olan Gemini Nano.

Önemli mimari ayrıntı şu: model paylaşılıyor. Her uzantının içine gömülmüyor, Chrome tarafından bir kez indiriliyor. Yani modeli kullanan bir uzantı gigabaytlar değil kilobaytlar ekliyor. Ama aynı nedenle modelin orada olduğunu garanti de edemiyor, çünkü bu uzantının değil tarayıcının işi.

Bu yüzey Chrome’un kullanıma sunma süreci boyunca yerinde durmadı; API adları, erişilebilirlik ve gereksinimler sürümden sürüme değişti. Bu yazı dahil konuyla ilgili okuduğunuz her şeyi, üzerine bir şey inşa etmeden önce Chrome’un güncel dokümantasyonuyla karşılaştırmakta fayda var.

Neyi iyi yapıyor#

Kendisine verdiğiniz metin üzerinde kısa, sınırları belli, yapısal işleri:

• Birkaç paragrafı özetlemek — bir cümleye ya da bir madde listesine.
• Bilgi çıkarma. Bir mesajın içinden tarihi, ismi, verilmiş bir sözü ya da yapılacak bir işi çekip almak. En güçlü olduğu yer burası ve e-posta okuyan bir aracın asıl iş yükünü bu taşır.
• Sınıflandırma. Bu konuşma benden mi bekliyor, karşı taraftan mı? İki ya da üç kategori, güvenilir biçimde.
• Yeniden yazma. Kısaltmak, tonu değiştirmek, bir taslağı toparlamak.
• Açıkça tarif edilmiş bir istekten kısa taslaklar üretmek.

Örüntü şu: girdinin bir iki paragraf olduğu, çıktının kısa olduğu ve cevabın dışarıdan bilgi gerektirmek yerine büyük ölçüde girdinin içinde durduğu işler.

Neyi iyi yapamıyor#

Bu konuda dürüst olmak önemli, çünkü insanların bütün bir kategoriyi ucuz bir numara sanmasına yol açan şey, abartılarak pazarlanan cihaz üstü yapay zekadır:

• Uzun bağlam. Ekleriyle birlikte kırk mesajlık bir konuşma onun sahası değil. Bunu öncü modeller kaldırır; küçük bir yerel model kaldıramaz.
• Çok adımlı akıl yürütme. Birden fazla kısıtı aynı anda akılda tutup üzerinden geçmeyi gerektiren her şey.
• Olgusal bilgi. Sizin sektörünüzü, güncel olayları ya da ona verdiğinizin dışında hiçbir şeyi bilmez. Ona soru sormayın; metin verin ve o metinle bir şey yapmasını isteyin.
• Kısa mesajlardaki nüans. “Bir düşüneyim” insanlar için de belirsizdir ve küçük bir model bunu güvenilir biçimde çözemez.
• Mütevazı donanımda hız. Yerelde çalışıyor, yani makinenizin yaptığı diğer her şeyle yarışıyor.

Dürüst çerçeve şu: bu bir asistan değil, yetenekli bir metin aracı. Bilgi çıkarma ve sınıflandırma için kullanıldığında gerçekten işe yarıyor. Öncü bir modelin yerine konduğunda hayal kırıklığı yaratıyor.

Erişilebilirlik sorunu#

Üzerine gerçekten bir şey yayınlayıp yayınlayamayacağınıza karar veren kısım burası.

Model; desteklenen bir masaüstü platformu, hatırı sayılır miktarda boş disk alanı, yeterli bellek ve yeterli grafik donanımı istiyor. Koşullar sağlandığında Chrome modeli arka planda indiriyor. Mobil Chrome bu tablonun içinde değil.

Yani bir uzantının bakış açısından, herhangi bir anda birkaç olası durum var: kullanılabilir; indirilebilir ama henüz indirilmemiş; indiriliyor; ya da bu cihazda tamamen kullanılamaz. Bunun üzerine kurulan bir özelliğin dördünü de zarifçe karşılaması gerekiyor. “Zarifçe” de bir hata mesajı anlamına gelemez, çünkü kullanıcı yanlış bir şey yapmadı.

Pratikte en büyük kısıt bu. Modelin ne yapabildiği değil, kullanıcılarınızın kayda değer bir bölümünde bu modelin hiç bulunmayacak olması.

Kaçış kapısı olarak kendi anahtarını getir#

Pragmatik cevap, cihaz üstü çalışmayı varsayılan yapmak ve daha fazlasını isteyenlerin kendi API anahtarını girmesine izin vermek.

Kullanıcı Claude, OpenAI ya da Gemini için bir anahtar yapıştırır; uzantı o sağlayıcıyı doğrudan tarayıcıdan çağırır; geliştirici ne anahtarı ne de trafiği görür. Bu kalıp üç nedenle iyi bir kalıp:

• Takası kullanıcı seçer. Bir bulut çağrısının metnin makineden çıkması demek olduğunu bilir ve buna açıkça onay vermiştir.
• Arada kimse yok. İstekler tarayıcı → sağlayıcı şeklinde gider. Uzantının yazarı hiçbir şeyi proxy’lemez, saklamaz ya da onun için ödeme yapmaz.
• Gerektiğinde yetenek. Uzun konuşmalar ve daha zor akıl yürütme daha büyük bir modele gider, herkesi buluttan geçmeye zorlamadan.

BYOK seçeneği olan bir uzantı kullanıyorsanız, anahtarın yerelde saklandığını ve isteklerin geliştiricinin sunucusu üzerinden değil doğrudan sağlayıcıya gittiğini kontrol etmekte fayda var. Aynı etiketi taşıyan bu iki düzenleme birbirinden çok farklıdır — tıpkı OAuth ile content script arasındaki fark gibi.

Bunun gizliliğin ötesinde neden önemi var#

Gizlilik argümanı bariz olanı, ama tek olanı değil.

Bulut modeli çağıran bir uzantı istek başına ödeme yapar; yani ya sizden ücret alması, ya sizi sınırlaması ya da hesabı tutturmanın başka bir yolunu bulması gerekir. Cihaz üstü çıkarım geliştiriciye kullanım başına hiçbir şeye mal olmaz. Bu, ücretsiz bir paketin dürüstçe neler içerebileceğini değiştirir ve verilerinizi paraya çevrilebileceği bir yere yönlendirme güdüsünü ortadan kaldırır.

Ayrıca bütün bir arıza biçimini de ortadan kaldırır: zekası birinin sunucusunda duran bir uzantı, o sunucu durduğu gün çalışmayı bırakır. Yerel çıkarımda ise bozulma “model bu cihazda kullanılamıyor” seviyesinde kalır; bu çok daha iyi bir en kötü durumdur.

CommitLatch bu şekilde kuruldu: verilen sözleri çıkarmak ve konuşmaları özetlemek için varsayılan olarak cihaz üstünde Gemini Nano, daha ağır işler için de isteğe bağlı olarak Claude, OpenAI ya da Gemini’ye giden bir kendi anahtarını getir yolu. Varsayılan yapılandırmada sunucularımıza hiçbir şey ulaşmaz, çünkü yapılacak bir istek yoktur. Bir iş gelen kutusunu okuyan bir araç için bu, bir özellik değil doğru varsayılan gibi göründü.