Notes

***************************NPU İLE İLGİLİ HABERLER;
Qualcomm, Neural Processing Units adını verdiği yeni teknolojisini duyurdu!
Qualcomm, yeni bir tür yapay beyin çipini duyurdu. Neural Processing Units – Nöral İşlemci Birimleri (NPUs) adını verdiği teknoloji insan beynini taklit ediyor. Bu sayede bir çocuk gibi kapı, telefon, bilgisayar açma gibi işlemleri öğrenebiliyor. İlk NPUların 2014 yılında üretileceği açıklandı. Qualcomm firmasından Matt Grob, açıklamayı EmTech konferansı sırasında yaptı. Firmanın başka özel çip tasarımcılarıyla da görüştüğünü belirtti.

Grob’un açıklamasına göre Qualcomm’un geleneksel Snapdragon serisi gibi bu yeni işlemciler de programlanabilecek. Tek farkının işlemcilerin öğrenme yetisinin bulunması olduğu söyledi. Grob “Nöromorfik donanım parçaları biyolojik mühendislikten etkilenerek tasarlandı. Bu da zorlu problemleri çözebilmek için yeni alanlar sağlıyor” dedi.

Qualcomm’un öğrenme kapasitesine sahip bilgisayarları laboratuvarlarda test ettiği açıklandı. Bunun için de tekerlekli bir robot kullanılıyor. Robot A noktasından B noktasına kendi başına, öğrendikleriyle ilerleyebiliyor.

Ünlü çip üreticisi, teknolojinin ilerleyen yıllarda tüketici elektroniği sınıfı üzerinden piyasaya sunacağını açıkladı. Sadece eğlence amaçlı değil, bilimsel veri toplamak için kullanılan makinelerde de bu çipin kullanılabileceği belirtildi.

********************Yapay Zekaya Özel Üretilen İşlemciler Gerçekte Ne İş Yaparlar?

Son zamanlarda revaçta olan 'cihaz üzeri makine öğrenimi' işlemini gerçekleştirmeyi hedefleyen yapay zekaya özel işlemci tasarımları, aynı zamanda güç kullanımını da minimize ederek, batarya ömrünü uzatmayı hedefliyor. Yeni mimarilerin yapısını ve gerçek hayatta ne oranda işe yarar olduklarını görmeye çalışıyoruz.
Teknolojinin en büyük oyuncularının kucakladığı bir devrim, yapay zeka devrimi. Apple, Qualcomm ve Huawei’nin her biri, birbirinden kısmen farklı yaklaşımlara sahip, makine öğreniminin beraberinde getirdiği işlemleri yerine getirecek mimarilerle donattılar mobil çipsetlerini. Huawei bu yılki IFA’da ‘Kirin 970’ adını verdiği çip setini tanıtırken, sadece nöral işlem yapmak için ayrılmış ilk çip seti olduğu konusuna vurgu yapmıştı. Daha sonra Apple ‘A11 Bionic Chip’ adını verdiği çip setini duyurdu. A11 Bionic çipi, diğer fonksiyonlarının yanında, ‘makine öğrenimine özel’ işlemleri yerine getirecek bir nöral motor barındırıyor bünyesinde.

Qualcomm ise geçtiğimiz hafta Snapdragon 845 adını verdiği, yapay zekayla ilişkili işlemleri olası en uygun birimlere ileten işlemcisini duyurdu. Her üç firmanın yaklaşımı arasında çok büyük farklar bulunmuyor. Her bir firmanın geliştiricilere sunduğu erişim seviyesi ve her bir düzeneğin harcadığı güç faktörleri etrafında şekilleniyor tüm bu mimariler.

Peki yapay zeka çipinin, mevcut işlemcilerden çok büyük farkları var mıdır? İsterseniz bu sorunun cevabını arayalım.

Son zamanlarda yapay zekaya atfen sektörde yaygın olarak kullanılan bir tabir var: “Heterojen işlemci”. Performansı arttırmak ya da enerji tüketiminden tasarruf etmek üzere her biri kendine has işlevlere sahip çoklu işlemci biçimine verilen sistemleri ifade ediyor bu tabir. Aslında bu düşünce, yeni değil. Çok sayıda çip seti bu düşünceyi kullanıyor halihazırda. Sorgulamakta olduğumuz yeni üç işlemci tipinin tek farkı, bu kavramı farklı derecelerde uygulamaya aktarıyor olması.

Son üç yıl kadar bir süredir akıllı telefon işlemcileri olarak kullanılanlar, ARM’in nispeten yavaş eşleşen big.LITTLE mimarisinden, enerji tasarrufu sağlayan çekirdeklerden ve güç sarfiyatını beraberinde getiren modellerden müteşekkildi. Amaç, batarya ömrünü olabildiğince uzatmak için mümkün olduğunca az enerji harcamaktı. Bu tip bir mimariye sahip ilk telefonlardan biri, firmanın kendi yapımı olan Exynos 5 çipini barındıran Samsung Galaxy S4 modeliydi. Huawei’nin Mate 8 ve Honor 6 modellerini de bu örnekler arasında sayabiliriz.

Bu yılın ‘Yapay zeka çipleri’ ise, özellikle makine öğrenimini ilgilendiren işleri yerine getirecek bir bileşenle, ya da Snapdragon 845 örneğinde olduğu üzere diğer düşük güçte çalışan çekirdekleri istihdam etmek suretiyle bu konsepti bir adım daha öteye taşıyorlar. Snapdragon 845 dijital sinyal işleyicisi, örneğin özel bir kelimeyi dinlemek için gereken tekrarlı matematiksel işlemlerden oluşan uzun süreli görevleri yerine getirebiliyor. GPU’nun yönettiği resim algılama gibi eylemler de bu teknolojiyle daha iyi yerine getirilebiliyor.

Diğer yandan Apple’ın A11 Bionic çipi, Face ID, Animoji ve bazı üçüncü taraf uygulamaları hızlandırmak için işlemci içerisinde nöral motor kullanıyor. Bunun anlamı şu: iPhone X telefonunuzda bu işlemleri açacak olursanız, A11, kim olduğunuzun doğrulanması ya da yüz ifadenizin bir animojiye uyarlanması için gerekli işlemlerin yerine getirilmesini sağlamak amacıyla nöral motora başvuruyor.

Kirin 970’te ise nöral işleme birimi, tarama ve resimlerde yer alan kelimeleri Microsoft’un ‘Translator’ aracı ile tercüme etme gibi görevleri ele alıyor. Bu arada şunu da belirtelim; Microsoft’un Translator aracı, şimdiye değin işlemci için uyarlanan tek üçüncü taraf uygulama. Huawei ‘HiAI’ adını verdiği hetorojen işlemci yapıcısının, çip set üzerindeki bileşenlerin büyük bölümünün performansını, maksimum seviyeyelere çektiğini söylemişti.

Farklılıkları bir kenara koyacak olursak, söz konusu yeni mimarinin, daha önce bulut sunucu üzerinde yapılan makine öğrenimi hesaplamalarının, artık cihaz üzerinde daha etkin şekilde yerine getirilebileceği anlamına geldiğini söyleyebiliriz. Yapay zeka ile ilgili işlemleri çalıştırmak için işlemci haricinde diğer bileşenleri de kullanarak telefonunuz aynı anda daha fazla işi, daha az gecikme süresi ile yerine getirebilecek.

Ek olarak bu işlemlerin telefon üzerinde çalışmaları, aynı zamanda kişisel gizliliğin korunması noktasında da olumlu bir adım olarak karşımıza çıkıyor.

Yapay zeka çiplerinin diğer önemli getirilerinden bir diğeri ise, enerji tasarrufuna yönelik. Enerji, gün içerisinde tekrarlı olarak kullanma durumu nedeniyle makul şekilde bölümlendirilmesi gereken, değerli bir kaynak. İşlemci, olabildiğince güç harcamaya meyillidir. Bu nedenle, eğer benzer neticeleri daha etkin bir enerji kullanımıyla yapabilecek bir şeyse söz konusu olan, tercih edilmesi doğal olacaktır.

Açık olmak gerekirse, belirli işlerin yerine getirilmesinde hangi çekirdeklerin kullanılacağına dair kararı, çip setin kendisi vermiyor. Qualcomm’un ürün müdürü Gary Brotman bu konuyla ilgili olarak “Günümüzde bu durum, geliştirici ya da parça üreticilerinin bu işi nerede çalıştırmak istediklerine bağlı” diyor. Programcılar Google’ın TensorFlow (ya da daha özel olarak bu programın Lite adlı mobil versiyonu) gibi destek veren kitaplıkları kullanarak, modellerini hangi çekirdekler üzerinde çalıştıracaklarını belirleyebiliyorlar. Qualcomm, Huawei ve Apple’ın üçü de, TensorFlow Lite ve Facebook’un Caffee2’si gibi en beğenilen seçeneklerle çalışıyorlar. Qualcomm aynı zamanda daha yeni bir sistem olan ‘Open Neural Networks Exchange (ONNX)’i de destekliyor. Apple ise kendi yapımı olan ‘Core ML framework’ üzerinden daha fazla makine öğrenimi modeli için uyumluluk sağlıyor.

Bu çiplerin hiç biri bugüne kadar pratikte önemli bir fayda sağlamadılar. Çip üreticileri kendi test sonuçlarını ve kriterleri duyuracaklardır duyurmasına ama, yapay zeka işlemcileri günlük hayatımızın daha önemli bir parçası haline gelene kadar anlam ifade etmeyecek bu duyurular. Cihaz üzeri makine öğreniminin entegrasyonu işleminin henüz başlangıç aşamalarındayız. Yeni donanımdan faydalanabilen geliştirici sayısı ise oldukça az.

Fakat şu an için şurası açık ki bu yarış, makine öğrenimiyle ilişkili işlemlerin cihaz üzerinde daha hızlı ve enerji açısından daha verimli olarak yerine getirilmesini sağlamaya dönük olacak. Bu gidişatın gerçek hayat üzerindeki yansımalarını görmemiz için, bir süre daha beklememiz gerekecek.


*************************NPU ihtiyacı
Son birkaç yıldır Makine Öğrenimi uygulamalarında inanılmaz ilerleme kaydettik ve Go ve Chess gibi oyunlar oynamak gibi bazı görevlerde insanları geride bıraktık.

Aynı zamanda, Makine Öğrenimi uygulamaları insan yaşamını bir üst seviyeye taşıyor. Uygulamalardan bazıları şunlardır:

Kendi kendine sürüş arabaları
Bir sistemi veya alanı gerçek zamanlı yüz tanıma gerektiren bir güvenlik sistemi gibi tehditlerden izleme
Doğru analiz ve tedavi ile sağlık hizmetlerini iyileştirme
Ve bircok digerleri

Tüm bunlar katlanarak, ilgili hesaplamaların sayısını arttırdı ve GPU'ların önceki yaklaşımları iyi ölçeklenemedi. Bu, GPU'lardan daha iyi performans gösterecek bir işlemci tasarlamanın ve Makine Öğrenimi alanında kaydettiğimiz ilerlemeyle başa çıkmanın yolunu açtı.

NPU aşağıdaki amaç için gereklidir:

Makine Öğrenimi görevlerinin hesaplanmasını GPU'lara kıyasla birkaç kat (yaklaşık 10.000 kez) hızlandırın

GPU'lara ve CPU'lara kıyasla Düşük Güç Tüketin ve Makine Öğrenimi görevleri için kaynak kullanımını iyileştirin
************************************************************************





Makine öğrenimi iş yükleri için en iyi IP nedir - CPU, GPU veya NPU?

Arm'da sık sık, karmaşık ve büyük makine öğrenimi (ML) ekosistemi içindeki ortaklar, geliştiriciler ve diğer ilgili taraflar tarafından işlemcilerin farklı cihazlarda belirli ML eylemlerini gerçekleştirmede en iyi olduğu sorulur. Bu Beyaz Kitap belgesinde açıklandığı gibi, CPU uçtan uca bulut deneyimleri için hala en yaygın paydadır. ML görevlerini tamamen tek başına ele alarak veya GPU'lar veya NPU'lar gibi diğer işlemcilerle ortaklıkla çalışıp çalışmadığı tüm ML sistemlerinin merkezinde kalır. Bununla birlikte, ML iş yükleri için IP uygulamaları, cihazın ML gereksinimlerine, kullanım durumuna ve belirli iş yüklerine bağlı olarak değişecektir.

Birçok farklı sürüm ve dağıtım seçeneğiyle birlikte, “tek beden herkese uyan” bir ML çözümü yoktur. Bu blogda, akıllı telefonlarda ve PC'lerde yüz kilidini açmadan Akıllı TV'lerdeki içerik önerilerine ve hangi işlemcilerin - CPU, GPU veya NPU - genellikle farklı ML iş yüklerini gerçekleştirdikleri cihazlarda ML kullanım durumlarını seçme şansını bulacağım bu kullanım durumları.


CPU, GPU ve NPU
Bazı kullanım durumlarına geçmeden önce, ML işleminin CPU, GPU ve NPU üzerindeki avantajlarına genel bir bakış atmaya değer. CPU, hesaplama sisteminin merkezinde oturduğundan, genellikle mobil hesaplamalar için ilk tercih edilen ML işlemci olarak kullanılan her tür ML iş yükünü çalıştırma esnekliğine sahiptir. GPU’nun birincil işlevi grafik işleme olmasına rağmen, paralel veri işleme özelliği onu ML iş yüklerini çalıştırmak için uygun hale getirir. Son olarak, NPU, uzmanlaşmış, hiper verimli ve son derece göreve özgü ML hesaplama içindir.


NPU
Kirin 970 bir güç evidir. 8 işlemci çekirdeği ve 12 GPU çekirdeği, ayrıca medya işleme ve bağlantı için diğer tüm normal zil ve ıslık çalar. Toplamda Kirin 970'de 5.5 milyar transistör bulunuyor. Sinir İşleme Ünitesi, kendi SRAM'ı da dahil olmak üzere, bunların arasında gizlidir. Ama bu ne kadar büyük? Huawei’ye göre, NPU yaklaşık 150 milyon transistör alıyor. Bu tüm çipin yüzde 3'ünden az.

Büyüklüğü iki nedenden dolayı önemlidir. Birincisi, Kirin SoC'nin genel boyutunu (ve maliyetini) önemli ölçüde arttırmaz. Açıkçası, bununla ilişkilendirilen bir maliyeti var, ancak CPU veya GPU düzeyinde değil. Bu, SoC'lara bir NPU eklemek anlamına gelmez, sadece bayrak gemilerinde olanlar için değil, aynı zamanda orta seviye telefonlar için de mümkündür. Önümüzdeki 5 yıl boyunca SoC tasarımı üzerinde derin bir etkisi olabilir.

İkincisi, güç verimlidir. Bu, pil ömrünü uzatan bazı büyük güç aç işleme çekirdeği değildir. Daha ziyade, çıkarım işlemlerini CPU'dan ve özel devrelere taşıyarak güç tasarrufu sağlayacak temiz bir donanım çözümüdür.

NPU'nun küçük olmasının sebeplerinden biri, eğitimin değil, sadece çıkarım bölümünü yapmasıdır. Huawei’ye göre, yeni bir NN geliştirirken, GPU’yu kullanmanız gerekir.