Blok şifreleme yöntemlerinin (block cipher) en basitidir. Verilen bir açık mesaj, bloklara bölünür. Bölünmüş mesaj ayrı ayrı parçalar olarak şifrelenir ve şifreli mesaj elde edilir.

ECB modundaki bir şifrelemede, şifrelenen bloklar arasında bir ilişki söz konusu değildir. Her blok tek başına şifrelenir ve şifreli mesaj bu blokların birleşmiş halidir.

Bu yöntemle yapılan şifreleme aşağıdaki şekilde gösterilebilir:

Aynı şifreleme yönteminin açılması sırasında da bloklar birbirinden ayrı şekilde (münferiden) işlenir. Bu durumda aşağıda gösterilmiştir:

Örneğin viegnere şifrelemesi (vigenere cipher) kullanarak aşağıdaki mesajı “ali” anahtarı ile şifreleyelim:

mesaj -> 13 5 19 1 10
ali -> 1 12 9

şifreleme işlemi için şifre ile harfler sırasıyla toplanır:
13 05 19 01 10
01 12 09 01 12
—————
14 17 28 02 22
14 17 02 02 22
n q b b w

Yukarıdaki şifreli mesaj, her bloğun ayrı ayrı şifrelenmesi ve sonucunda yan yana getirilmesi ile elde edilmiştir.

173 views

Bilgisayar bilimlerinde boyut indirmeye yarayan bir yöntemdir. Kısaca iki bilgi arasında bir bağlantı varsa bu bağlantı sayesinde iki veriden birisini tutmak ve bağlantıyı tutmak iki bilginin de geri bulunabilmesini sağlar. Kısaca PCA olarak da ifade edilen bu terime göre bir veri kümesinin (veri matrisinin , data matrix) kovaryans matrisinin (covariance matrix) veya tekil değer çıkarımının (singular value decomposition) yöntemi ile elde edilen basitleştirilmiş halidir.

167 views

Lineer Cebir (Linear Algebra) konusunda kullanılan ve reel veya kompleks matrisler üzerinde ayrıştırmaya yarayan önemli bir konudur.

Basitçe bir matrisi 3 parçaya ayırarak tutar ve bu üç parçayı kullanarak aynı matrisin yeniden elde edilmesini sağlar.

M = UΣV

U, vahid masfuf (üniter matris, unitary matrix) olmaktadır

V matrisi, M matrisinin birimdik (orthonormal) özelliklerini tutan matristir.

Σ matrisi ise bir köşegen matrisi olup (diagonal matrix) tekil değerleri (singular values) tutmaktadır.

Örnek (Selmirsel’in talebi üzerine ekliyorum)

Örneğin M matrisi olarak aşağıdaki matris verilmiş olsun.

M =

Yukarıdaki bu matrisi, M = UΣV şeklinde çarpanlarına ayıracak ve buradan SVD değeri olan Σ matrisini bulacağız.

U =

Σ =

V =

Yukarıda bulduğumuz bu 3 matrisi çarparsak M matrisi aşağıdaki şekilde , ilk beklediğimiz matris olarak geri bulunur:

U* Σ *V^T =

Kodlama

Yukarıda verilen bu matrislerin bulunmasını algoritmik olarak ele alacak olursak, program yazılacak kadar basit bir halde düşünebilmemiz gerekir. SVD hesaplanırken aslında bulunan değer basitçe

M = UΣV değeridir . Bu değeri aşağıdaki şekilde parçalara ayırabiliriz:

M[i][j] şeklindeki iki boyutlu matri için :

= Σ_{i < k} U[i][k] * S[k][k] * V[j][k] // M = UΣV ayrımındaki 3 ayrı matris

Yukarıdaki bu eşitlikte S matrisini karekökünün karesi şeklinde yazabiliriz:

S[k][k] = sqrt(S[k][k]) * sqrt(S[k][k]) // bir matrisin karekökünün karesi kendisi olduğuna göre

= Σ_{i < k} U[i][k] * sqrt(S[k][k]) * sqrt(S[k][k]) * V[j][k]

Çarpma işlemlerinin öncelikleri eşit olduğu için sondaki ve baştaki çarpmalara öncelik verebiliriz:

= Σ_{i < k} (U[i][k] * sqrt(S[k][k])) * (sqrt(S[k][k]) * V[j][k])

S matrisimizin köşegensel (diagonal) bir matris olduğunu yani sadece köşegenindeki değerlerin bulunduğunu bunun dışındaki değerlerin 0 olduğunu hatırlarsak, çarpım işlemini aşağıdaki şekilde basitleştirebiliriz.

= (U[i] * sqrt(S_diag)^T) * (V[j] * sqrt(S_diag)^T)^T

Yukarıdaki denklemden faydalanarak tekil değer ayrışımını veren elemanlar aşağıdaki şekilde hesaplanabilir:

U[i] * sqrt(S_diag)^T
= { U[i][0] * sqrt(S[0][0]),
U[i][1] * sqrt(S[1][1]),
…,
U[i][k] * sqrt(S[k][k]) }

Görüldüğü üzere S matrisindeki köşegen değerleri (S[n][n] gibi) U matrisindeki i. satırdaki değerler ile çarpılmıştır.

Burada sqrt fonksiyonu karekök belirtir ve bir matrisin karakökü ile kastedilen aslında matrisin elemanlarının teker teker karekökünün alınmış halidir. S matrisi diyagonal bir matris olduğu için bu elemanların kareköklerinin alınması yeterlidir.

Yukarıdaki son denklemi bulduktan sonra koda geçirmek için yapılması gereken yukarıdaki matrisi hesaplayan bir döngü yazmaktır.

264 views

Bilgisayar bilimlerinde veri modelleme ve durum geçişi ifade etmek için kullanılan yöntemlerden birisidir. Literatürde bayes network veya blief network (inanç ağı) olarak da geçen ağların özelliğ istatistiksel ağlar olmaları ve düğümler (nodes) arası geçiş yapan kolların (edges) istatistiksel kararlara göre seçilmesidir.

Bayes ağları yönlü dönüşsüz ağlardır (directed acyclic network) ve her düğüm ayrı bir değişkeni ifade eder. Ayrıca bu değişkenler (rastgele değişkenler, random variables) arasındaki sıralama da bayes ağları ile gösterilebilir (basitçe bir düğümden diğer düğüme geçiş sırası).

Bayes ağlarının daha geniş hali de belirsiz karar ağaçlarıdır ( uncertain decision trees).

Bayes ağlarını anlayabilmek için Bayes teoremini hatırlamakta yarar vardır.
Bayes Teoremi :

bu
eşitlik bayes theorem’idir.

Örnek Yay üreten 3 Makine için aşağıdaki hata ve üretim oranları veriliyor:

	Bozuk Yay oranı	İmalattaki oranı
I. Makine	%2	%35
II. Makine	%1	%25
III. Makine	%3	%40

Üretilen yaylardan rasgele birisi
seçildiğinde bozuk olma olasılığı:
P(B)=P(I)P(B|I)+P(II)P(B|II)+P(III)P(B|III),

olarak
hesaplanır.

Eğer yay bozuk çıktıysa bunun 3.
makineden çıkma olasılığı aşağıdaki şekilde hesaplanır:

Örnek:

Bütün nufusta yapılan bir
hastalık testinde (+) pozitif sonucun doğru bilinme olasılığı 0.99 ve
(-) negatif sonucun doğru bilinme olasılığı 0.95 olarak veriliyor.
Hastalığın bütün nufusta görülme olasılığı ise
0.0001 ise test sonucu pozitif çıkan bir kişinin hasta olma
olasılığı nedir?

D olayı kişinin hasta olma olasılığı
olsun

D’ olayı kişinin hasta olmama
olasılığını göstermiş olur.

Buna göre P(D) = 0.0001 olur

S olayı ise testin (+) çıkma
olasılığı olsun.

S’ olayı testin (-) çıkma
olasılığını göstermiş olur.

Buna göre P(S’|D’) = 0.95 olduğuna
göre P(S|D’) = 0.05 olur.

Soruda istenen durum P(D|S) ile
gösterilebilir ve şartlı ihtimal hesabından

ancak
burada
Dolayısıyla
bayes teoremini uygulamayı deneyebiliriz. Buna göre

olarak
bulunur. S olayı için iki ihtimal bulunduğundan ( test sonucu
ya (+) ya da (-) çıkabilir) olasılık modeli aşağıdaki şekilde
olur:

olur.
Sonuç ise

olarak bulunur.

511 views

Özdüzenleyici haritalar, yapay sinir ağlarının özel bir biçimidir ve eğitimleri sırasında gözetimsiz eğtim kullanılmaktadır.

İlk kez Kohonen ismindeki finlandiyalı bilim adamı tarafından geliştirildiği için kohonen haritası (kohonen map) ismi de verilen bu ağlar diğer bütün yapay sinir ağları gibi iki farklı şekilde çalışmaktadır.

İlk çalışma şeklinde sistem kendini eğitmektedir. Bu çalışma şeklindeyken rekabetçi öğrenme (competitive learning) kullanılır.

İkinci çalışma şekli olan haritalama merhalesinde ise ağ, gelen yeni girdiyi doğru hartialamak için çalışır.

Temel olarak çok boyutlu girdilerin (multi dimensional inputs) daha az boyuttaki çıktılara indirgenmesine dayanan çalışma mantığı problemin basitleştirilmesini amaçlayan bir boyut azaltma (dimension reduction) işlemidir.

Yapısal olarak ileri beslemeli ağlara (feed forward networks) örnek olabilecek olan SOM, çok küçük miktardaki nöronlar için k-ortalama (k-means) algoritmasına benzer davranmaktadır. Sayının artması ile SOM’un da farkı ortaya çıkmaktadır.

Algoritmanın çalışması aşağıda anlatılmıştır:

1. Ağımızdaki nöronların ağırlık değerlerini rasgele olarak başlatıyoruz
2. Giriş vektörlerini alıyoruz. (Sistemdeki hedef vektörlerimiz)
3. Haritadaki bütün değerler dolaşılıyor ve :
   1. Giriş vektörü ile dolaşılmakta olan harita değeri arasındaki mesafe öklit mesafesi (euclid distance) olarak hesaplanır.
   2. En kısa mesafeye sahip olan düğüm alınır (bu yönteme en uygun (best matching unit , BMU) ismi verilir)
4. Bu seçtiğimiz en uygun düğüme komşu olan bütün düğümler güncellenerek girş vektörüne yaklaştırılır. (Aşağıdaki formül kullanılır):
   1. Wv(t + 1) = Wv(t) + Θ(t)α(t)(D(t) – Wv(t))
5. t < λ olduğu sürece 2. adıma dönülerek işlemler tekrar edilir.

Yukarıdaki formüldeki değerler kısaca aşağıda açıklanmıştır:

t = şimdiki adım
λ = adım üzerindeki zaman limiti
Wv = şimdiki ağırlık vektörü (weight vector)
D = hedeflenen giriş değeri
Θ(t) = komşuluk fonksiyonu
(en uygun komşudan ne kadar uzağa gidileceği)
α(t) = zamana bağlı öğrenme limiti

Yukarıda verilen algoritmanın pekçok dilde uygulanması mümkündür. Algoritmadan da anlaşılacağı üzere yaşanan sorunlardan birisi zamandır. Algoritma n girdili bir sistem için vektörlerin oluşturulması ve bütün elemanların üzerinden her döngüde geçilmesi zaman problemi çıkarmaktadır. Ancak SOM’un boyut küçültücü özelliği göz ardı edilmemelidir. Bu özelliğin doğru kullanılması ile çok uzun süreler alacak işlemler kısa zamanda çözülebilir.

Ayrıca bu algoritmanın, müteharrik özdüzenleyici haritalar (dinamik özdüenleyici haritalar, dynamic SOM) ismi verilen bir yaklaşımla giriş değerlerinin sabit olmayıp sürekli değişim içinde olduğu örnekler üzerinde çalışan bir uygulaması da vardır.

261 views

Sınıflandırmada (clustering) kullanılan algoritmalardan birisidir. Amaç özellik çıkarımı (Feature extraction) yapılmış bir grup verinin birden fazla sınıfa göre doğru sınıflandırılmasıdır.

Kullanılan matematiksel yöntem her sınıf için merkez belirlenen noktaya uzaklığa (aynı zamanda bu hata miktarıdır) göre yeni sınıfların yerleştirilmesidir.

Algoritma temel olarak 4 aşamadan oluşur:

1. Sınıf merkezlerinin belirlenmesi
2. Merkez dışındaki örneklerin mesafelerine göre sınıflandırılması
3. Yapılan sınıflandırmaya göre yeni merkezlerin belirlenmesi (veya eski merkezlerin yeni merkeze kaydırılması)
4. Kararlı hale (stable state) gelinene kadar 2. ve 3. adımların tekrarlanması

Çalışmayı daha net anlamak için aşağıdaki örnek uzaya dağılmış olan örnekleri inceleyelim:

Yukarıda verilen ve uzayda koordinatları kodlanmış olan örnekler için iki adet hedef küme tanımlıyoruz. (iki sınıf ve bu sınıfların karakterlerini tanımlıyoruz)

Bu sınıf tanımlarına uzaklıklarına göre (örneğin öklit mesafesi (euclid distance) ) bütün örneklerimizi sınıflandırıyoruz. (hangi renge daha yakınsa)

Oluşan sınıfları ayıran bir hat aşağıdaki şekilde çizilebilir:

Daha önceden sınıflandırdığımız örneklerin merkezlerini buluyoruz. (yuvarlak ile gösterilen ve sınıf karakteristiğini temsil eden ilk örneklerin yerini değiştirmek olarak da düşünülebilir)

Merkezleri hareket ettirdikten sonra örneklerden bazıları yeni merkezlere daha yakın olabilir. Buna göre örnek kümelerimizin sınıflandırılmasını güncelliyoruz.

Yukarıda son hali gösterilen k-means algoritmasında yeni merkezler ve her örneğin hangi sınıfa girdiği bulunmuştur.

659 views

Destekçi vektör makinelerinde (Support vector machines) ayrım bir aşırıdüzlem (hyperplane) üzerinde iki grubu ayırdan bir doğru ve bu doğruya bağlı bir tolerans (offset) ile yapılmaktadır. Ancak bu durum her zaman beklendiği kadar iyi sonuç vermeyebilir. Örneğin aşağıdaki şekilde doğrusal bir ayrım yapılması durumunda yanlış sınıflandırma yapılan örnekler (misclassification) biraz daha dikkatli ve doğrusal olmayan ikinci şekildeki gibi ayırılırlarsa tam olarak sınıflnadırılabileceklerdir.

Yukarıdaki şekilde verilen örnekler aşağıdaki şekilde doğrusal olmayan bir yolla sınıflandırılabilirler:

Bu sınıflandırmanın yapılabilmesi için çekirdek hilesi (kernel trick) adı verilen bir yöntem kullanılabilir.

142 views

Bilindiği üzere destekçi vektör makinaları ( Support Vector Machine ) iki sınıfın ayrılmasında kullanılmaktadır. Yani bir DVM marifetiyle iki sınıf belirli bir tolerans (offset) değerinde birbirinden ayrılmakta ve bu ayrım sonunda çıkarılmış olan öznitelik vektörlerine (feature vectors) göre aşırıdüzlem (hyperplane) üzerinde iki düzlem elde edilmektedir.

Çok sınıflı DVM ile kast edilen ise ayrımı yapılacak (sınıflandırılacak) grupların ikiden fazla olması durumudur. Bu durumda aşağıdaki üç yaklaşımdan birisi tercih edilebilir:

• Problemin ikili gruplara indirgenmesi (bire bir yaklaşımı, one-to-one)
• Problemin tek gruptan bütün gruplara modellenmesi ( bire çok yaklaşım , one-to-many)
• çok sınıf sıralama DVM’leri (multiclass ranking SVM)

Bu yaklaşımlardan en çok kullanılan ilk yaklaşıma (bire bir yaklaşıma) göre örneğin bir girdinin 4 sınıftan hangisine gireceğini bulmak isteyelim. Sınıflarımız A, B, ve C olsun. Bu sınıflar öncelikle ikili gruplar halinde SVM yöntemi ile eğitilerek sınıfların birbirine göre SVM çarpanları çıkarılır. Bu ikilileri aşağıdaki şekilde gösterilmiştir:

yukarıdaki şekilde her iki sınıf için ayrı bir SVM eğitilmiştir. Yeni bir örneğin sınıflandırılması sırasında ikili olarak önce sorgulama yapılır yani AB, BC ve AC ikilileri sorgulanır ve bu sorgulardan hangisine daha çok cevap alınırsa bu sınıfa konulur. Örneğin aşağıdaki sorgular için çıkan sonuçları ele alalım:

AB -> A

BC ->B

AC -> A

Yukarıdaki 3 sorgudan ikisinde A sonucuna ulaşılmıştır dolayısıyla yeni gelen örnek, A sınıfına daha yakın kabul edilmiştir.

Çoklu sınıflandırmada kullanılan bire çok yaklaşımına (one to many) göre de problem bir “kazanan hepsini alır” (winner takes all) haline dönüşmektedir. Bu yaklaşımda yeni gelen bir girdinin sınıflandırılacağı alternatiflerden birisi diğerlerine göre baskın olmakta ve sonuçta bu sınıf seçilmektedir. Ancak bu yaklaşım bir önceki yaklaşıma göre daha az tercih edilmektedir.  Aşağıda bu yöntem kullanılarak üç sınıf arasında çıkarılan DVM gösterilmiştir:

Yukarıdaki şekilde de görüldüğü üzere önce 3 adet doğru denklemi bulunmuş (şekildeki ince çizgiler) sonra bu doğru denklemlerinin birleştirilmesi ile 3 sınıfı birbirinden ayırmaya yarayan genel bir DVM elde edilmiştir (şekilde kalın çizgiler)

Son olarak çoklu sınıf sıralama (multi class ranking) yaklaşımına göre sınıflar üzerinde bir DVM çalışarak bu sınıfların bütün üyelerini içeren bir sınıflandırma yapmaya çalışır. Ancak bu yaklaşım diğer iki yaklaşımdan çok daha az tercih edilir olmasında bu yaklaşımda eğitim süresinin diğerlerine göre inanılmaz oranda yüksek olması ve sonucun bulunamama ihtimali önemli rol oynar.

169 views

Güncel hayattan bir deyim olan kazanan hepsini alır yaklaşımına göre bir yarış içindeki iki veya daha fazla şeyden birisi diğerlerine üstünlük sağlar ve diğerlerini yok eder. Bilgisayar bilimlerinde yapay sinir ağlarında kullanılan bir terimdir.

Yapay sinir ağlarında ( Artificial neural networks) kullanılan bu terime göre, eğitim sırasında bir nöronun diğer nöronları engellemesi durumudur. Buna göre belirli bir zamandan sonra tek bir nöron aktif olacak ve diğer nöronlar bu baskın nörondan dolayı görevini yitirecektir.

47 views

Sınıflandırma (Classification) konusunda kullanılan oldukça etkili ve basit yöntemlerden birisidir. Sınıflandırma için bir düzlemde bulunan iki grup arasında bir sınır çizilerek iki grubu ayırmak mümkündür. Bu sınırın çizileceği yer ise iki grubun da üyelerine en uzak olan yer olmalıdır. İşte SVM bu sınırın nasıl çizileceğini belirler.

Bu işlemin yapılması için iki gruba da yakın ve birbirine paralel iki sınır çizgisi çizilir ve bu sınır çizgileri birbirine yaklaştırılarak ortak sınır çizgisi üretilir. Örneğin aşağıdaki şekildeki iki grubu ele alalım:

Bu şekilde iki grup iki boyutlu bir düzlem üzerinde gösterilmiştir. Bu düzlemi ve boyutları birer özellik olarak düşünmek mümkündür. Yani basit anlamda sisteme giren her girdinin (input) bir özellik çıkarımı (feature extraction) yapılmış ve sonuçta bu iki boyutlu düzlemde her girdiyi gösteren farklı bir nokta elde edilmiştir. Bu noktaların sınıflandırılması demek, çıkarılmış olan özelliklere göre girdilerin sınıflanması demektir.

Yukarıda her iki sınıf arasında oluşan aralığa tolerans (offset) demek mümkündür. Bu düzlemdeki her bir noktanın tanımı aşağıdaki gösterim ile yapılabilir:

Yukarıdaki gösterimi şu şekilde okumak mümkündür. Her x,c ikilisi için X vektör uzayımızdaki bir nokta ve c ise bu noktanın -1 veya +1 olduğunu gösteren değeridir. Bu noktalar kümesi i= 1 ‘den n’e kadar gitmektedir.

Yani bu gösterim bir önceki şekilde olan noktaları ifade etmektedir.

Bu gösterimin bir aşırı düzlem (hyperplane) üzerinde olduğunu düşünürsek. Bu gösterimdeki her noktanın :

wx – b = 0

denklemi ile ifade edilmesi mümkündür. Buradaki w aşırıdüzleme dik olan normal vektörü ve x noktanın değişen parametresi ve b ise kayma oranıdır. Bu denklemi kalsik ax+b doğru denklemine benzetmek mümkündür.

Yine yukarıdaki denkleme göre b/||w|| değeri bize iki grup arasındaki mesafe farkını verir. Bu mesafe farkına daha önce tolerans (offset) ismini de vermiştik. Bu mesafe farkı denklemine göre mesafeyi en yüksek değere çıkarmak için yukarıdaki ilk şekilde gösterilen 0, -1 ve +1 değerlerine sahip 3 doğruyu veren denklemde 2/||w|| formülü kullanılmıştır. Yani doğrular arası mesafe 2 birim olarak belirlenmiştir.

Bu denkleme göre elde edilen iki doğru denklemi:

wx – b = -1

wx + b = 1

olarak bulunmuştur. Aslında bu denklemler doğruların kaydırılması sonucunda elde edilen en yüksek değerlerin bulunması işleminin bir sonucudur. Aynı zamanda bu denklemlerle problemin doğrusal ayrılabilir (linearly seperable) olduğu da kabul edilmiş olur.

Tahmin edileceği üzere iki grup arasındaki aşırıdüzlemin (hyperplane) tek yönlü olması mümkün değildir. Aşağıda bu duruma bir örnek gösterilmiştir:

Yukarıdaki şekilde iki farklı hiperdüzlem (aşırı düzlem) olasılığı bulunmasına karşılık SVM yönteminde bu olasılıklardan en büyük toleransa (offset) sahip olanı alınır.

576 views