Notes

*************************NPU ihtiyacı
Son birkaç yıldır Makine Öğrenimi uygulamalarında inanılmaz ilerleme kaydettik ve Go ve Chess gibi oyunlar oynamak gibi bazı görevlerde insanları geride bıraktık.

Aynı zamanda, Makine Öğrenimi uygulamaları insan yaşamını bir üst seviyeye taşıyor. Uygulamalardan bazıları şunlardır:

Kendi kendine sürüş arabaları
Bir sistemi veya alanı gerçek zamanlı yüz tanıma gerektiren bir güvenlik sistemi gibi tehditlerden izleme
Doğru analiz ve tedavi ile sağlık hizmetlerini iyileştirme
Ve bircok digerleri

Tüm bunlar katlanarak, ilgili hesaplamaların sayısını arttırdı ve GPU'ların önceki yaklaşımları iyi ölçeklenemedi. Bu, GPU'lardan daha iyi performans gösterecek bir işlemci tasarlamanın ve Makine Öğrenimi alanında kaydettiğimiz ilerlemeyle başa çıkmanın yolunu açtı.

NPU aşağıdaki amaç için gereklidir:

Makine Öğrenimi görevlerinin hesaplanmasını GPU'lara kıyasla birkaç kat (yaklaşık 10.000 kez) hızlandırın

GPU'lara ve CPU'lara kıyasla Düşük Güç Tüketin ve Makine Öğrenimi görevleri için kaynak kullanımını iyileştirin







CPU, GPU ve NPU
Bazı kullanım durumlarına geçmeden önce, ML işleminin CPU, GPU ve NPU üzerindeki avantajlarına genel bir bakış atmaya değer. CPU, hesaplama sisteminin merkezinde oturduğundan, genellikle mobil hesaplamalar için ilk tercih edilen ML işlemci olarak kullanılan her tür ML iş yükünü çalıştırma esnekliğine sahiptir. GPU’nun birincil işlevi grafik işleme olmasına rağmen, paralel veri işleme özelliği onu ML iş yüklerini çalıştırmak için uygun hale getirir. Son olarak, NPU, uzmanlaşmış, hiper verimli ve son derece göreve özgü ML hesaplama içindir.

***************Tanım
İşlemci - çok genel bir amaç, her şeyi yapabilir, ancak hiçbir konuda uzmanlaşmaz.

GPU - başlangıçta grafik oluşturmak için tasarlandı, ancak tasarım gereği, ML / AI iş yüklerinde de derleyici desteği ile kullanılabilecek çok sayıda küçük paralel işlem birimi vardı. Bu nedenle, bir süre zarfında her GPU şirketi GPGPU (Genel Amaçlı GPU) terimini kullanan, CPU gibi jenerik hale getirmeye çalışıyor.

NPU - ML / AI iş yüklerini işlemek için yeni fantezi terimi. Çok spesifik, genel amaçlı işler için kullanışlı değil. Elbette genel görevleri yapabilir, ancak fazlaca olabilir, ayrıca derleyici desteğine de ihtiyaç duyar.
Bir sinir işleme birimi (NPU), makine öğrenme algoritmalarının hızlanması konusunda uzmanlaşmış bir mikroişlemcidir. Aynı zamanda, sinir işlemcisi olarak da bilinir. GPU'lardan birkaç kat daha hızlı (10K).

CPU genel amaçlı bir işlemciyken, GPU'lar grafik işlemeyi hızlandırmak için tasarlanmıştır.

Makine öğrenimi iş yükleri için en iyi IP nedir - CPU, GPU veya NPU?

Arm'da sık sık, karmaşık ve büyük makine öğrenimi (ML) ekosistemi içindeki ortaklar, geliştiriciler ve diğer ilgili taraflar tarafından işlemcilerin farklı cihazlarda belirli ML eylemlerini gerçekleştirmede en iyi olduğu sorulur. Bu Beyaz Kitap belgesinde açıklandığı gibi, CPU uçtan uca bulut deneyimleri için hala en yaygın paydadır. ML görevlerini tamamen tek başına ele alarak veya GPU'lar veya NPU'lar gibi diğer işlemcilerle ortaklıkla çalışıp çalışmadığı tüm ML sistemlerinin merkezinde kalır. Bununla birlikte, ML iş yükleri için IP uygulamaları, cihazın ML gereksinimlerine, kullanım durumuna ve belirli iş yüklerine bağlı olarak değişecektir.

Birçok farklı sürüm ve dağıtım seçeneğiyle birlikte, “tek beden herkese uyan” bir ML çözümü yoktur. Bu blogda, akıllı telefonlarda ve PC'lerde yüz kilidini açmadan Akıllı TV'lerdeki içerik önerilerine ve hangi işlemcilerin - CPU, GPU veya NPU - genellikle farklı ML iş yüklerini gerçekleştirdikleri cihazlarda ML kullanım durumlarını seçme şansını bulacağım bu kullanım durumları.





****************sınıflandırma
Genel olarak konuşursak, NPU'lar eğitim veya çıkarım olarak sınıflandırılır. Her iki işlemi de yapabilen yongalar için, iki faz hala genellikle bağımsız olarak gerçekleştirilir.

Eğitim - Eğitimi hızlandırmak için tasarlanan NPU'lar yeni modellerin iyileştirilmesini hızlandırmak için tasarlanmıştır. Bu, daha doğru bir model sağlamak için mevcut veri setini girmeyi (genellikle etiketli) ve veri setini yinelemeyi, model ağırlıklarını ve önyargılarını ayarlamayı içeren oldukça yoğun bir işlemdir. Yanlış bir tahminin düzeltilmesi, ağ katmanları arasında geri ilerlemeyi ve bir düzeltmeyi tahmin etmeyi içerir. İşlem istenen doğrulukta doğru bir cevap elde edilinceye kadar tekrar tekrar tahmin etmeyi içerir.
Çıkarım - Çıkarımı hızlandırmak için tasarlanan NPU'lar tam modellerde çalışır. Çıkarım hızlandırıcıları, yeni bir veri parçası (örneğin, yeni bir kamera çekimi) girmek, önceden eğitilmiş modelde işlemek ve bir sonuç üretmek üzere tasarlanmıştır.



Genelde bilgi işlem için de kullanılabilir, ayrıca diğer görevlerde genellikle düşük performans için inşa edilmeyen doğru derleyici desteğinin mevcut olması koşuluyla kullanılabilir.

NPU’nun yaygın gerçek yaşam örneklerinden bazıları şunlardır:

Google'dan TPU
Intel'den NNP, Sayısız ve EyeQ
NVDLA Nvidia tarafından
Amazon tarafından AWS Inferentia








***************** Örnekler ***************

****************Techopedia Ağ İşlemcisini (NPU) açıklıyor
Günümüz ağ işlemcileri, basit tasarımlardan programlanabilir yazılımla karmaşık IC'lere ve veri paketi üzerinde çeşitli işlem ve manipülasyon işlevlerine sahiptir. Ağ işlemcileri; yönlendiriciler, ağ anahtarları, paket denetimi, oturum denetleyicileri, güvenlik duvarı, verici aygıtları, hata algılama ve önleme aygıtları ve ağ kontrol yazılımı imalatında kullanılır. Bugünün web ağı her zamankinden daha güçlü bir şekilde büyümeye devam ederken, ağ işlemcileri, aşırı trafik ve hızlı trafik artışına sahip ağları yönetmede önemli bir rol oynamaktadır. Ağ işlemcileri büyük bir ağda paket denetimi, şifreleme, izleme, trafik yönetimi ve kuyruk yönetimi konularında kilit bir rol oynar.



Yapay İşlem Ünitelerinin (NPU) gerçek hayat uygulamaları:

Google'dan TPU
NNP, Sayısız, EyeQ Intel tarafından
NVDLA Nvidia tarafından
Amazon tarafından AWS Inferentia
Alibaba tarafından Ali-NPU
Kunlun Baidu tarafından
Sopmain tarafından Bitmain
Cambricon tarafından MLU
Graphcore tarafından IPU
Huawei tarafından yükseliş
Apple tarafından sinir motoru
Sinir İşleme Ünitesi (NPU) Samsung

***************************** Kirin İşlemci Nedir?***********************
Huawei markasının işlemci geliştirme birimi olan HiSilicon tarafından, Kirin 910 model numarasıyla çıkarılıp Huawei Ascend P7 modele güç veren işlemci türüdür. 2017 yılında duyurulan Kirin 970 model işlemcisi ise dünyada ilk Nöral Bilgi İşlem Ünitesi destekli Yapay Zeka'ya sahip mobil işlemcisidir.
Huawei, Kirin 970 adını verdiği işlemci ile dünyada ilk kez yapay zekaya sahip bir işlemci üretti. Bu mobil işlemci, sahip olduğu NPU (Neural-network Processing Unit) ile yapay zeka işlemleri çok daha hızlı ve güç tüketimi konusunda tasarruflu gerçekleşecek.



********************* kirin 970 ile ilgili örnek ***********************
Kirin 970 bir güç evidir. 8 işlemci çekirdeği ve 12 GPU çekirdeği, ayrıca medya işleme ve bağlantı için diğer tüm normal zil ve ıslık çalar. Toplamda Kirin 970'de 5.5 milyar transistör bulunuyor. Sinir İşleme Ünitesi, kendi SRAM'ı da dahil olmak üzere, bunların arasında gizlidir. Ama bu ne kadar büyük? Huawei’ye göre, NPU yaklaşık 150 milyon transistör alıyor. Bu tüm çipin yüzde 3'ünden az.

Büyüklüğü iki nedenden dolayı önemlidir. Birincisi, Kirin SoC'nin genel boyutunu (ve maliyetini) önemli ölçüde arttırmaz. Açıkçası, bununla ilişkilendirilen bir maliyeti var, ancak CPU veya GPU düzeyinde değil. Bu, SoC'lara bir NPU eklemek anlamına gelmez, sadece bayrak gemilerinde olanlar için değil, aynı zamanda orta seviye telefonlar için de mümkündür. Önümüzdeki 5 yıl boyunca SoC tasarımı üzerinde derin bir etkisi olabilir.

İkincisi, güç verimlidir. Bu, pil ömrünü uzatan bazı büyük güç aç işleme çekirdeği değildir. Daha ziyade, çıkarım işlemlerini CPU'dan ve özel devrelere taşıyarak güç tasarrufu sağlayacak temiz bir donanım çözümüdür.

NPU'nun küçük olmasının sebeplerinden biri, eğitimin değil, sadece çıkarım bölümünü yapmasıdır. Huawei’ye göre, yeni bir NN geliştirirken, GPU’yu kullanmanız gerekir.