Notes

************************************İşlemci Tanımı
Bilgisayarin çalismasini düzenleyen ve programlardaki komutlari tek tek isleyen birimdir. Ana kart üzerinde bulunur. Merkezi Islem Birimi, Aritmetik ve Mantik Birimi ile Kontrol Ünitesinden olusur.

Bir ağ işlemcisi (NPU), bir ağ uygulama alanı içinde bir ağ mimarisi bileşeni olarak kullanılan programlanabilir bir yazılım cihazı olan entegre bir devredir.Bir ağdaki bir ağ işlemcisi, bir bilgisayardaki veya benzer bir cihazdaki merkezi işlem birimine benzer.Telekomünikasyonda analog sinyallerin paket veri formuna değiştirilmesi, veri paketlerini işleyen entegre ağ işlemcileri devrelerine yol açmıştır.






NPU NEDİR ?
NPU birimi, bu zamana kadar kullanılan mobil işlemcilere kıyasla 25 kat daha hızlı işlem gücü sunan ve bu avantaja rağmen güç tüketimi konusunda da 50 kata varan güç tasarrufu sağlayan bir teknolojidir.

Bu performans karşılaştırması, NPU’ya sahip bir işlemcinin CPU+GPU ve CPU kombinasyonlarına kıyasla ne kadar yüksek performans sunabileceğini açık bir şekilde gösteriyor.

Yapay zekanın asıl vurucu olacağı nokta ise, akıllı telefonlardaki sanal asistanlar ile kuracağı iletişim. Siri, Bixby, Google Assistant gibi yardımcılara ek olarak, Google TensorFlow, Facebook Caffe2, ve Android NN gibi yapay zeka platformlarıyla uyumlu olması da bu işlemciyi avantajlı konuma geçirecek.


Bir telefonda NPU neye yaracak diye düşünenler için ise gündelik olarak yaptığınız şeyleri takip edip öğrenen bir telefon örneğini verebiliriz. Bu telefon NPU birimi ve gerekli yazılım desteği sayesinde, tüm alışkanlıklarınızı öğrenebilecek. Uyku saatiniz, uyanma saatiniz, ofise veya eve dönüş saatlerinizi öğrenebilen ve buna göre programlamalarınızı yapan bir zeka… Gerçekten etkileyici olabilir.

Qualcomm ise NPU birimini insan beynine benzerliği tanımlıyor. Geleneksel işlemciler bir işlemi yapmak için onu tetikleyecek bir tanım bekler ancak NPU birimleri tıpkı bir insan beyni gibi çalışır. Bir işlemi yapmak için öncesinde başka bir işlemin gerçekleşme zorunluluğunu da ortadan kaldırır.

Akıllı telefonların “zeki” telefonlara evrilmesi konusundaki ilk adımlar atıldı. Bakalım yakın gelecekte bizleri ne kadar zeki telefonlar bekliyor? Telefonların yapay zekaya sahip olması size ne ifade ediyor? Aşağıda yorum olarak bizimle paylaşabilirsiniz.





**************Sinirsel İşlemci
Bir sinir işlemcisi veya bir sinir işlem birimi (NPU), tipik olarak yapay sinir ağları (YSA) veya rasgele ormanlar (RF'ler gibi öngörücü modeller üzerinde çalışarak), makine öğrenme algoritmalarını yürütmek için gerekli tüm gerekli kontrol ve aritmetik mantığı uygulayan özel bir devredir ).

NPU'lar bazen tensör işleme ünitesi (TPU), sinir ağı işlemcisi (NNP) ve istihbarat işleme ünitesi (IPU), görsel işlem ünitesi (VPU) ve grafik işleme ünitesi (GPU) gibi benzer isimler kullanırlar.



Motivasyon
Konvolüsyonel sinir ağları gibi derin sinir ağlarının yürütülmesi, genellikle milyarlarca ve trilyonlarca yinelemede çok büyük miktarda çok birikimli işlem yapılması anlamına gelir. Çok sayıda yineleme, verilen her giriş için (örneğin, görüntü), tek bir evrişimin her kanal üzerinde ve sonra her piksel üzerinde yinelemeden ve çok sayıda MAC işlemi gerçekleştirmesinden ibaret olmasıdır. Ve bu tür birçok konvolüsyon tek bir modelde bulunur ve modelin her yeni girişte (örneğin, her kamera karesi yakalamada) yürütülmesi gerekir.

Yüksek düzeyde serileştirilmiş komut akışlarını işlemek için harika olan geleneksel merkezi işlem ünitelerinin aksine, Makine öğrenimi iş yükleri, bir grafik işlem ünitesine çok benzer şekilde paralel hale gelme eğilimindedir. Ayrıca, bir GPU'dan farklı olarak, NPU'lar çok daha basit bir mantıktan yararlanabilir çünkü iş yükleri derin sinir ağlarının hesaplamalı modellerinde yüksek düzenlilik sergileme eğilimindedir. Bu nedenlerden dolayı, birçok özel tasarlanmış özel sinir işlemcisi geliştirilmiştir.
Bir sinir işleme birimi (NPU), makine öğrenme algoritmalarını uygulamak için gerekli tüm kontrol ve aritmetik mantık bileşenlerinden oluşan, iyi bölümlenmiş bir devredir. NPU'lar, görüntü sınıflandırma, makine çevirisi, nesne algılama ve diğer çeşitli öngörücü modeller gibi yaygın makine öğrenme görevlerinin performansını hızlandırmak için tasarlanmıştır. NPU'lar büyük bir SoC'nin parçası olabilir, tek bir çip üzerinde birden fazla NPU başlatılabilir veya özel bir sinir ağı hızlandırıcısının parçası olabilir.






Sinir Ağlarının (Neural Networks) Temelleri
Şimdi üzerine konuşacağımız konu yani derin öğrenme ve sinir ağları konusu oldukça ilgili çekici olacaktır. Bu ilgi çekiciliğin nedenlerinden biri de beynimizde nöral işlemlerden yola çıkarak kendi aklımızı anlama ümididir. Bir diğer neden ise son yıllarda makine öğreniminde ulaşılan seviye ile birlikte kitlesel veri kümeleri ve derin öğrenme teknikleri birleştirilerek elde edilen sonuçlardır.




**********************Nöral Ağlar Nelerdir?
Nöral ağları daha iyi anlamak için bütününden ziyade onu oluşturan birimleri araştırarak başlayacağız bu konuya. Öncelikli şunu kavramamız önemli nöral ağlar dediğimizde hem kendi sinir sistemimizdeki yapıyı hem de makine öğrenmesinin bir alanını kast ediyoruz.
Nöronların en önemli özelliği birlikte çalışabilme olarak ifade edilebilir bu da özellikle yapay sinir ağlarına ilham vermiştir. Yani komşu nöronlarından izole edilen tek bir nöron çok fazla etkili değildir ve sadece çok sınırlı davranışlar sergiler. Bununla birlikte bu nöronlar birbirlerine bağlandığında, uyumlu eylemlerinden kaynaklanan kompleks sistem aşırı derecede karmaşık hale gelebilir. Ve bu sistemlerde sistemin davranışı, nöronların birbirine bağlandığı yollarla belirlenir. Her bir nöron, gelen sinyallere, zaman içinde adapte olabilen belirli bir şekilde tepki verir. Bu uyarlamanın, hafıza ve öğrenme gibi işlevlerin anahtarı olduğu bilinmektedir.
Anahtar terminoloji

**************************Derin öğrenme
Derin öğrenme basit işleme birimlerinin birkaç “katmanının” bir ağa bağlandığı bazı makine öğrenmesi tekniklerini ifade eden bir kavramdır, bu sistemde girdiler sırayla her bir katmanın içinden geçirilir. Bu mimari, gözlerden gelen ve retina tarafından yakalanan beyindeki görsel bilginin işlenmesinden ilham almıştır. Bu derinlik yapısı, ağın gerçekçi olmayan büyük miktarlarda veriye ihtiyaç duymadan daha karmaşık yapıları öğrenmesini ve işlemler yürütmesini sağlar.
Nöronlar, hücre gövdeleri ve sinyalleri
Biyolojik ve yapay bir sinir ağı, birbirine sinyaller alan ve ileten çok sayıda basit birimden yani nörondan oluşur. Nöronlar, nöronları birbirine bağlayan bir hücre gövdesi ve dallardan oluşan çok basit bilgi işlemcileridir. Çoğu zaman, hiçbir şey yapmazlar, ancak oturup dallardan gelen sinyalleri izlerler.

*********************Dendritler, aksonlar ve sinapslar
Biyolojik dilde bir sinir hücresi yapısında çekirdeği ve çekirdekçiği barındıran esas hücre yapısına soma denir. Dendritler ise Soma içerisinden çıkan çok sayıda dallanmalardır. Yapı olarak bir ağacın dallarını andırır. Dentridlerin görevi diğer nöronlardan gelen uyarıları alıp, nöron gövdesine iletmektir. Akson gövdeden çıkan ve dallanama göstermeyen sitoplazmik uzantı kısmıdır. Her nöronda bir tane bulunur. Gövdeden çıkan akson, sinir hücresinden gelen işaretleri çevreye taşımakla görevli olup, böylece sinir hücresini diğer sinir hücreleri veya bir kas hücresi veya bir salgı bezi gibi iş yapan (effektör) hücrelerle bağlar. Mesaj iletiminde önemli rolü vardır. Nöronlar arasındaki bağlantı noktaları; Sinapslar. Uyaranların bir nörondan başka bir nörona geçişi sinaps adı verilen yapılar sayesinde gerçekleşir. Sinaps boşluğundan uyarıların (impuls) iletimi nörotransmitterler (aracı maddeler) veya mediatörler denilen maddeler sayesinde gerçekleşir. Nörotransmitterler iki sinir hücresi arasındaki bağlantıyı sağlayan kimyasal maddelerdir.
Neden Yapay Sinir Ağlarını Geliştirmeliyiz?


Beynin yapay modellerini oluşturmanın amacı nörobilim, beynin ve genel olarak sinir sisteminin incelenmesi olabilir. İnsan beynini yeterince detaylandırarak insan ve hayvan bilişi ve bilincinin sırlarını keşfedebileceğimizi düşünmek oldukça cazip bir fikir olarak öne çıkmaktadır.Bununla birlikte zihni ve bilinci anlamaktan neredeyse uzaktayken bile, sinirbilimde elde edilen net kilometre taşları vardır. Örneğin eğer beynin anormal işleyişini tanımlayabilirsek bundan sakınmanın ve beyni yeniden efektif çalıştırmanın yollarını arayabiliriz. Bu, nörolojik bozukluklardan muzdarip insanlar için yaşamı değiştiren yeni tıbbi tedavilere yol açabilir: Epilepsi, Alzheimer hastalığı, gelişimsel bozuklukların neden olduğu sorunlar veya yaralanmaların neden olduğu hasarların giderilmesinde çok önemli faydalar sağlayabilir.

Biliyoruz bu bahsettiklerimiz yapay zeka ve kursun konusu olan yapay sinir ağları bağlamından biraz saptı. Fakat şunun farkında olmak lazım, yapay zeka aslında biyolojik sistemleri anlamaya çok şey borçludur ve ortaya çıkışı, gelişmesi de biyolojik sistemlerin algılanmasına bağlıdır. Bu yüzden sıkılmadığınızı umuyorum ve durumu formüle etmek istersek önümüze şöyle bir şey çıkacağını ifade etmek istiyorum. Yapay Zeka = Bilgisayar Bilimleri + Biyoloji olarak ifade edilebilir. Ve araştırmacılar daha iyi yapay zeka ve makine öğrenimi teknikleri geliştirmek için bir ilham kaynağı olarak biyolojik sistemleri kullanmaktadır. Bu fikir çok doğaldır: Beyin, çok çeşitli akıllı davranışları (artı zaman zaman pek de zeki olmayanları) barındıran inanılmaz derecede karmaşık bir bilgi işlem sistemidir ve bu nedenle yapay zeka sistemlerini oluşturmaya denemeye çalışırken bu sistemden ilham almamız mantıklıdır.

Sinir ağları, 1960'lardan beri AI’da önemli ölçüde incelenen ve incelenen bir alan olmuştur. Günümüzde de nöral ağlar, doğal dil ve görüntü işleme gibi pek çok alanda sinir bilimlerinden ilham alınmaktadır.

*************Sinir Ağları Konusunu Bu Kadar Özel Yapan Nedir?
Yapay zeka çalışmaları genel olarak mantık temelli bir perspektife dayanır ve sinir ağları çalışmalarından bu aşamada faydalanılır. Ve bu perspektifin temeli şudur: İnsan düzeyindeki zekayı elde etmek için, daha üst düzey düşünce süreçlerini simüle etmemiz ve özellikle mantık kurallarını kullanarak belirli somut veya soyut kavramları temsil eden sembollerin manipüle edilmesi gerekir. Yapay zeka uygulamalarından biri olan yapay sinir ağları, insan beyninin çalışma yapısını taklit ederek mevcut verileri analiz edip, bu verilerden farklı öğrenme algoritmaları ile yeni bilgiler oluşturan bilgi işlem teknolojisidir. Yapay sinir ağlarının tarihsel gelişimindeki kritik noktalarının bazılarına kısaca değinelim. Yapay sinir ağlarının temelleri 1940’ların başında araştırmalara başlayan Mc Cullogh ve Pitts’in 1943 yılında yayınladıkları bir makaleyle atılmış. Fakat yapay sinir ağı literatüründe XOR problemi olarak bilinen problemdeki başarısızlığı nedeniyle belli bir süre yapay sinir ağlarına olan ilgi azalmıştır.

********************Yapay Zekaya Özel Üretilen İşlemciler Gerçekte Ne İş Yaparlar?

Son zamanlarda revaçta olan 'cihaz üzeri makine öğrenimi' işlemini gerçekleştirmeyi hedefleyen yapay zekaya özel işlemci tasarımları, aynı zamanda güç kullanımını da minimize ederek, batarya ömrünü uzatmayı hedefliyor. Yeni mimarilerin yapısını ve gerçek hayatta ne oranda işe yarar olduklarını görmeye çalışıyoruz.
Teknolojinin en büyük oyuncularının kucakladığı bir devrim, yapay zeka devrimi. Apple, Qualcomm ve Huawei’nin her biri, birbirinden kısmen farklı yaklaşımlara sahip, makine öğreniminin beraberinde getirdiği işlemleri yerine getirecek mimarilerle donattılar mobil çipsetlerini. Huawei bu yılki IFA’da ‘Kirin 970’ adını verdiği çip setini tanıtırken, sadece nöral işlem yapmak için ayrılmış ilk çip seti olduğu konusuna vurgu yapmıştı. Daha sonra Apple ‘A11 Bionic Chip’ adını verdiği çip setini duyurdu. A11 Bionic çipi, diğer fonksiyonlarının yanında, ‘makine öğrenimine özel’ işlemleri yerine getirecek bir nöral motor barındırıyor bünyesinde.

Qualcomm ise geçtiğimiz hafta Snapdragon 845 adını verdiği, yapay zekayla ilişkili işlemleri olası en uygun birimlere ileten işlemcisini duyurdu. Her üç firmanın yaklaşımı arasında çok büyük farklar bulunmuyor. Her bir firmanın geliştiricilere sunduğu erişim seviyesi ve her bir düzeneğin harcadığı güç faktörleri etrafında şekilleniyor tüm bu mimariler.

Peki yapay zeka çipinin, mevcut işlemcilerden çok büyük farkları var mıdır? İsterseniz bu sorunun cevabını arayalım.

Son zamanlarda yapay zekaya atfen sektörde yaygın olarak kullanılan bir tabir var: “Heterojen işlemci”. Performansı arttırmak ya da enerji tüketiminden tasarruf etmek üzere her biri kendine has işlevlere sahip çoklu işlemci biçimine verilen sistemleri ifade ediyor bu tabir. Aslında bu düşünce, yeni değil. Çok sayıda çip seti bu düşünceyi kullanıyor halihazırda. Sorgulamakta olduğumuz yeni üç işlemci tipinin tek farkı, bu kavramı farklı derecelerde uygulamaya aktarıyor olması.

Son üç yıl kadar bir süredir akıllı telefon işlemcileri olarak kullanılanlar, ARM’in nispeten yavaş eşleşen big.LITTLE mimarisinden, enerji tasarrufu sağlayan çekirdeklerden ve güç sarfiyatını beraberinde getiren modellerden müteşekkildi. Amaç, batarya ömrünü olabildiğince uzatmak için mümkün olduğunca az enerji harcamaktı. Bu tip bir mimariye sahip ilk telefonlardan biri, firmanın kendi yapımı olan Exynos 5 çipini barındıran Samsung Galaxy S4 modeliydi. Huawei’nin Mate 8 ve Honor 6 modellerini de bu örnekler arasında sayabiliriz.

Bu yılın ‘Yapay zeka çipleri’ ise, özellikle makine öğrenimini ilgilendiren işleri yerine getirecek bir bileşenle, ya da Snapdragon 845 örneğinde olduğu üzere diğer düşük güçte çalışan çekirdekleri istihdam etmek suretiyle bu konsepti bir adım daha öteye taşıyorlar. Snapdragon 845 dijital sinyal işleyicisi, örneğin özel bir kelimeyi dinlemek için gereken tekrarlı matematiksel işlemlerden oluşan uzun süreli görevleri yerine getirebiliyor. GPU’nun yönettiği resim algılama gibi eylemler de bu teknolojiyle daha iyi yerine getirilebiliyor.

Diğer yandan Apple’ın A11 Bionic çipi, Face ID, Animoji ve bazı üçüncü taraf uygulamaları hızlandırmak için işlemci içerisinde nöral motor kullanıyor. Bunun anlamı şu: iPhone X telefonunuzda bu işlemleri açacak olursanız, A11, kim olduğunuzun doğrulanması ya da yüz ifadenizin bir animojiye uyarlanması için gerekli işlemlerin yerine getirilmesini sağlamak amacıyla nöral motora başvuruyor.

Kirin 970’te ise nöral işleme birimi, tarama ve resimlerde yer alan kelimeleri Microsoft’un ‘Translator’ aracı ile tercüme etme gibi görevleri ele alıyor. Bu arada şunu da belirtelim; Microsoft’un Translator aracı, şimdiye değin işlemci için uyarlanan tek üçüncü taraf uygulama. Huawei ‘HiAI’ adını verdiği hetorojen işlemci yapıcısının, çip set üzerindeki bileşenlerin büyük bölümünün performansını, maksimum seviyeyelere çektiğini söylemişti.

Farklılıkları bir kenara koyacak olursak, söz konusu yeni mimarinin, daha önce bulut sunucu üzerinde yapılan makine öğrenimi hesaplamalarının, artık cihaz üzerinde daha etkin şekilde yerine getirilebileceği anlamına geldiğini söyleyebiliriz. Yapay zeka ile ilgili işlemleri çalıştırmak için işlemci haricinde diğer bileşenleri de kullanarak telefonunuz aynı anda daha fazla işi, daha az gecikme süresi ile yerine getirebilecek.

Ek olarak bu işlemlerin telefon üzerinde çalışmaları, aynı zamanda kişisel gizliliğin korunması noktasında da olumlu bir adım olarak karşımıza çıkıyor.

Yapay zeka çiplerinin diğer önemli getirilerinden bir diğeri ise, enerji tasarrufuna yönelik. Enerji, gün içerisinde tekrarlı olarak kullanma durumu nedeniyle makul şekilde bölümlendirilmesi gereken, değerli bir kaynak. İşlemci, olabildiğince güç harcamaya meyillidir. Bu nedenle, eğer benzer neticeleri daha etkin bir enerji kullanımıyla yapabilecek bir şeyse söz konusu olan, tercih edilmesi doğal olacaktır.

Açık olmak gerekirse, belirli işlerin yerine getirilmesinde hangi çekirdeklerin kullanılacağına dair kararı, çip setin kendisi vermiyor. Qualcomm’un ürün müdürü Gary Brotman bu konuyla ilgili olarak “Günümüzde bu durum, geliştirici ya da parça üreticilerinin bu işi nerede çalıştırmak istediklerine bağlı” diyor. Programcılar Google’ın TensorFlow (ya da daha özel olarak bu programın Lite adlı mobil versiyonu) gibi destek veren kitaplıkları kullanarak, modellerini hangi çekirdekler üzerinde çalıştıracaklarını belirleyebiliyorlar. Qualcomm, Huawei ve Apple’ın üçü de, TensorFlow Lite ve Facebook’un Caffee2’si gibi en beğenilen seçeneklerle çalışıyorlar. Qualcomm aynı zamanda daha yeni bir sistem olan ‘Open Neural Networks Exchange (ONNX)’i de destekliyor. Apple ise kendi yapımı olan ‘Core ML framework’ üzerinden daha fazla makine öğrenimi modeli için uyumluluk sağlıyor.

Bu çiplerin hiç biri bugüne kadar pratikte önemli bir fayda sağlamadılar. Çip üreticileri kendi test sonuçlarını ve kriterleri duyuracaklardır duyurmasına ama, yapay zeka işlemcileri günlük hayatımızın daha önemli bir parçası haline gelene kadar anlam ifade etmeyecek bu duyurular. Cihaz üzeri makine öğreniminin entegrasyonu işleminin henüz başlangıç aşamalarındayız. Yeni donanımdan faydalanabilen geliştirici sayısı ise oldukça az.

Fakat şu an için şurası açık ki bu yarış, makine öğrenimiyle ilişkili işlemlerin cihaz üzerinde daha hızlı ve enerji açısından daha verimli olarak yerine getirilmesini sağlamaya dönük olacak. Bu gidişatın gerçek hayat üzerindeki yansımalarını görmemiz için, bir süre daha beklememiz gerekecek.