Bilgisayar bilimlerinde, özellikle metin işlemenin yoğun olduğu, arama motoru gibi uygulamalarda dosyaların veya web sitelerinin birbirine olan benzerliğini bulmak için kullanılan bir algoritmadır.

Algoritmaya alternatif olarak klasik hash fonksiyonları kullanılabilir. Yani, örneğin iki sayfasnın ayrı ayrı hash değerleri alınıp bu değerleri karşılaştırmak mümkündür. Ancak simhash algoritması, bu yönteme göre daha fazla hız ve performans sunar.

Sim hash algoritması, iki dosyayı birer vektör olarak görür ve bu vektorler (yöney, vector) arasındaki cosinüs (cosine) bağlantısını bulmaya çalışır.

Yukarıdaki şekilde temsil edildiği üzere iki dokümanın ayrı ayrı birere vektör olması durumunda, aralarında cos (x) olarak gösterilen bir açı ile bağlantı bulunması mümkündür.

Algoritma, öncelikle işlediği metindeki kelimelerin ağırlıklarını (weight) çıkarmakta ve buna göre kelimeleri sıralamaktadır.

Sıralanan her kelimeye, b uzunluğunda, yegane (unique) değer döndüren bir fonksiyon kullanılır. Örneğin her kelime için farklı bir hash sonucu döndüren fonksiyon kullanılır.

b boyutundaki bir vektörün ağırlık değeri hesaplanırken, her kelimedeki 1 değeri için +1 ve 0 değeri için -1 değeri ağırlığa eklenir.

Son olarak üretilen ağırlık vektöründeki + değerler 1, 0 ve – değerler ise 0 olarak çevirilir.

Örnek

Yukarıdaki algoritmanın çalışmasını bir örnek üzerinden anlatalım. Algoritmanın üzerinde çalışacağı metin aşağıdaki şekilde verilmiş olsun:

www bilgisayar kavramları com bilgisayar kavramlarının anlatıldığı bir bilgisayar sitesidir ve com uzantılıdır

Yukarıdaki bu metni, algoritmanın anlatılan adımlarına göre işleyelim:

İlk adımımız, algoritmadaki kelimelerini ağırlıklarının çıkarılmasıdır. Bu adımı çeşitli şekillerde yapmak mümkündür ancak biz örneğimizde kolay olması açısından kelime frekanslarını (tekrar sayısı, frequency) kullanacağız. Buna göre metindeki kelimelerin tekrar sayılarına göre sıralanmış hali aşağıda verilmiştir:

bilgisayar 3 com 2 kavramları 1 kavramlarının 1 anlatıldığı 1 bir 1 www 1 sitesidir 1 ve 1 uzantılıdır 1

Yukarıda geçen her kelime için bir parmak izi (fingerprint) değeri üretiyoruz. Bu değerin özelliği, kelimeler arasında yegane (unique) bir değer bulmaktır. Bu değer, herhangi bir hash fonksiyonu üzerinden de üretilebilir. Biz örneğimizde kolalık olması açısından her kelime için rast gele bir değer kendimiz atayacağız. Ancak gerçek bir uygulamada rast gele değerlerin kullanılması mümkün değildir. Bunun sebebi, aynı kelimenin tekrar gelmesi halinde yine aynı değerin üretilmesi zorunluluğudur. Bu yazıdaki amaç algoritmayı anlatmak olduğu için birer hash sonucu olarak rast gele değerler kullanılacaktır.

bilgisayar 10101010 com 11000000 kavramları 01010101 kavramlarının 10100101 anlatıldığı 11101110 bir 01011111 www 11110001 sitesidir 10101110 ve 00001111 uzantılıdır 00100010

3. adımda, yukarıdaki değerleri topluyoruz. Toplama işlemi sırasında 1 değerleri için +1 ve 0 değerleri için -1 alıyoruz.

10101010
11000000
01010101
10100101
11101110
01011111
11110001
10101110
00001111
00100010
——–
2 0 2 -4 0 2 2 0

Son olarak, yukarıdaki değerleri ikilik tabana çeviriyoruz: 10100110 bu değer bizi simhash sonucumuz olarak bulunuyor.

Örneğin yeni bir dosyayı daha işlemek istediğimizde, bu dosyadaki kelime yoğunluğuna göre yukarıda bulduğumuz simhash değerine yakın bir değer çıkmasını bekleriz.

Diyelim ki yeni bir dosyada da sadece “bilgisayar kavramları com” yazıyor olsun. Bu yazının sim hash değerini bularak karşılaştırmaya çalışalım:

bilgisayar 10101010 com 11000000 kavramları 01010101

10101010
11000000
01010101
———
1 1 -1 -1 -1 1 1 1

Değerin ikilik tabana çevrilmiş hali : 11000111

Orjinal dokümandan çıkardığımız simhash değeri ile farklı olan bit sayısı 3′tür. Bunun anlamı yukarıdaki bilgisayar kavramları com yazısının orjinal yazıya 3 mesafesinde yakın olduğudur.

136 views

Bu yazının amacı, doğrusal karım ve doğrusal karım tablosu (linear hash table) konularını anlatmaktır. Bilgisayar bilimlerinde veri depolamak veya veriye hızlı ulaşmak için kullanılan yöntemlerdir.

Doğrusal karım yönteminde temel olarak özetleme fonksiyonları kullanılır (karım fonksiyonu, hash function). Bu fonksiyonlar sıralıdır ve sayısı, özetleme fonksiyonunun seviyesini belirtir. (h1, h2, h3, … şeklinde istenilen seviyede istenildiği kadar fonksiyon olabilir).

Doğrusal karım’ın en önemli özelliği yük çarpanını (load factor) sabit tutmasıdır. Yük faktörü aşağıdaki formül ile hesaplanabilir:

LF = R / (B * c)

Buradaki R değeri bir kayıtta tutulan anahtar sayısı (Record),

B değeri, kovaların (Bucket) sayısı

c değeri ise bir bloktaki kayıt sayısıdır.

Doğrusal karım için bir anahtar değerine (key value) erişim aşağıdaki algoritma ile olur.

• Verilen seviye için özetleme fonksiyonuna sokulup özetleme değeri hesaplanır h = H(key) , key anahtar değeri, H() fonksiyonu özet fonksiyonu ve h değeri ise özetleme fonksiyonu sonucudur.
• Sınır değeri hesaplanır (Boundary value, kısaca bv) bv = c * LF , buradaki c değeri blok başınsa tutulan kayıt değeridir. LF ise yük çarpanı (load factor) değeridir.
• Sonucun son k hanesi için bir yerleştirme işlemi yapılır. (örneğin k değeri 3 ise, sonuçta bulunan değerin son 3 hanesine bakılarak yerleştirme işlemi yapılır)
• Genişleme gerekmesi durumunda, ilgili kova (bucket, buket) k+1 hane kullanarak bölünür.

Yukarıdaki algoritmadan anlaşılacağı üzere, k değeri o andaki saklanan bilgiler için tutulan değerdir. Karım’a ekleme yapıldıkça k değeri artar (her ekleme ile birlikte artması gerekmez ama belirli değerlere ulaşıldığında artar).

Ayrıca doğrusal karım ile ilgili bilinmesi gereken bir nokta da özetleme fonksiyonlarının özelliğidir.

Özetleme fonksiyonları arasında kesişim olmamalıdır. Örneğin h_x fonksiyonu x seviyesindeki fonksiyon ise, h_x+1 seviyesindeki fonksiyonun h_x fonksiyonunun etki alanının iki misline sahip olması gerekir.

Şekilde görüldüğü gibi, şayet h_x fonksiyonu, B-1 elemana kadar kodlayabiliyorsa, h_x+1 fonksiyonunun 2B-1′e kadar kodlayabilmesi beklenir.

Yukarıdaki bu özelliği sağlayan en temel özetleme fonksiyonu aşağıdaki şekilde yazılabilir:

h_x(key) = H(k) mod (2^x B )

Bu fonksiyonda, h_x ilgili seviyedeki özetleme fonksiyonu (karım fonksiyonu, hash function) olmak üzere, H(k) ise sistemimizde kullandığımız bir özetleme fonksiyonu olmak şartıyla (ve ayrıca sistemin ihtiyacı olan en büyük B değerinden daha büyük bir sonuç üretebilecek entropiye (Entropy) sahip olmalıdır ). Sistemimiz, 2^x değerini B ile çarparak kalan işlemine tabi tutmaktadır (modulo). Sonuçta çıkan değerler ilgili seviyeden B değerinin içerisine sığdırılmaktadır. Diğer bir deyişle yukarıdaki fonksiyonumuz B, 2B, 4B, 8B … şeklinde bir öncekinin iki misli olan kodlama aralığı üretmektedir.

Yukarıda anlatılan konuyu bir örnek üzerinden anlamaya çalışalım.

Örnek

Öncelikle özetleme fonksiyonlarımızı aşağıdaki şekilde tanımlayalım.

h₀(k) = k mod 2⁰

h₁(k) = k mod 2¹

h₂(k) = k mod 2²

h₃(k) = k mod 2³

…

Örneği kolay tutmak için sadece ilgili değerin gerekli olan özetleme fonksiyonu seviyesinden 2 üzeri şeklinde modulo’su hesaplanmaktadır. Örneğin 0. seviyedeki bir özetleme işlemi her zaman 0 üretmekte , 1. Seviyeden bir özetleme fonksiyonu ise 0 veya 1 üretmektedir…

Doğrusal karım içerisine eklemek istediğimiz sayılar aşağıdaki şekilde verilmiş olsun :

45, 33, 78, 22, 21, 76, 23, 65

Bu sayıları, yukarıda tanımı yapılan fonksiyonlar ile doğrusal karım tablomuza eklemeye çalışalım.

Ekleme işlemi sırasında bize eşlik edecek önemli bir değişkenimiz bulunuyor. n = 0 olarak başlıyoruz. Buradaki n, bölmek için sıranın kaçıncı bukette (kova, bucket) olduğudur.

İlk gelen sayımız 45 ve biz bu sayının 0. seviyedeki özetleme fonksiyonu sonucunu alıyoruz ve doğal olarak 0 çıkıyor:

h₀(45) = 45 mod 2⁰ = 0

Yukarıda görüldüğü şekilde gelen yeni değeri tablonun 0. sırasına ekliyoruz. Sıradaki sayımız 33. Yukarıdaki doğrusal karım tablomuzda tek eleman koymak için yer bulunuyor ve bizim ise iki elemanımız bulunuyor. Bu durumda k değerini arttırıyoruz ve 2 eleman sığabilecek şekilde tablomuzu genişletiyoruz.

h₀(33) = 33 mod 2⁰ = 0

h₁(33) = 33 mod 2¹ = 1

Yukarıdaki şekilde görüldüğü üzere 2 ayrı kova (bucket) oluşturulmuş ve anahtarların, bu kovalardan hangisine yerleştirileceğini belirlemek için h₁ fonksiyonu kullanılmıştır. Elimizdeki değerlerin ikisi de (45 ve 33) tek sayı olduğu için ikisi birden ikinci bukete yerleştirilmiştir.

Şimdilik herhangi bir çakışma olmadan sayılarımızı ekliyoruz. Sıradaki sayımız 78.

h₀(78) = 78 mod 2⁰ = 0

h₁(78) = 78 mod 2¹ = 0

Sıradaki sayımız 22:

h₀(22) = 22 mod 2⁰ = 0

h₁(22) = 22 mod 2¹ = 0

Sıradaki sayımız 21

h₀(21) = 21 mod 2⁰ = 0

h₁(21) = 21 mod 2¹ = 1

Ne yazık ki, burada bir çakışma oluyor. Bunun sebebi şu anda sayıyı yerleştirmek istediğimiz buketin dolu oluşudur. Hemen k değerini arttırarak yeni bir buket oluşturuyoruz ve özetleme fonksiyonunu bir seviye ilerletiyoruz.

Şu anda n değerimiz 0 (örneğin başında atamıştık). Bunun anlamı bölme işleminin uygulanacağı buketin 0. buket olduğu. O halde yeni yer açmak için bu buketi parçalıyoruz ve aşağıdaki şekilde bir doğrusal karım tablosu elde ediyoruz. Ayrıca n değerini artık 1 olarak arttırıyoruz. Yani sıradaki parçalama işlemi 1. bukete yapılacak.

h₀(21) = 21 mod 2⁰ = 0

h₁(21) = 21 mod 2¹ = 1

h₂(21) = 21 mod 2² = 1

Yukarıda bir genişleme işlemi yapılmıştır. Genişletilen buket ise 00 numaralı bukettir. Bu durumda 00 numaralı bukete bulunan değerlerin durumu yeniden kontrol edilip bölünmeden sonra yerlerinde mi kalacakları yoksa yeni bukete mi gidecekleri sorgulanmalı:

h₀(78) = 78 mod 2⁰ = 0

h₁(78) = 78 mod 2¹ = 0

h₂(78) = 78 mod 2² = 2

h₀(22) = 22 mod 2⁰ = 0

h₁(22) = 22 mod 2¹ = 0

h₂(22) = 22 mod 2² = 2

Yukarıdaki işlemlerden sonra tablomuz aşağıdaki hale gelir:

Sıradaki sayımız 76. Bu sayı için de özetleme fonksiyonlarımızı kullanıyoruz:

h₀(76) = 76 mod 2⁰ = 0

h₁(76) = 76 mod 2¹ = 0

h₂(76) = 76 mod 2² = 0

Sıradaki sayımız 23. Bu sayı için özetleme fonksiyonları kullanıldığında yeni bir genişleme ihtiyacı doğacaktır:

h₀(23) = 23 mod 2⁰ = 0

h₁(23) = 23 mod 2¹ = 1

h₂(23) = 23 mod 2² = 3

Genişleme işleminin uygulanacağı buket ise n ile gösterilmekte olan 1 numaralı bukettir. Buket genişletildikten sonra, tablomuz aşağıdaki hale dönüşür:

Yukarıdaki tabloda işlem henüz tamamlanmamıştır. Bunun sebebi genişleme yapılan buketin içerisinde bulunan değerlerin kontrol edilerek, mevcut yerlerinde mi kalacakları yoksa yeni bukete mi gideceklerine bakılmamış olmasıdır.

h₀(45) = 45 mod 2⁰ = 0

h₁(45) = 45 mod 2¹ = 1

h₂(45) = 45 mod 2² = 1

h₀(33) = 33 mod 2⁰ = 0

h₁(33) = 33 mod 2¹ = 1

h₂(33) = 33 mod 2² = 1

h₀(21) = 21 mod 2⁰ = 0

h₁(21) = 21 mod 2¹ = 1

h₂(21) = 21 mod 2² = 1

Yukarıdaki denklemlerden görüldüğü üzere sayılarımız mevcut yerlerinde kalacaklardır. Unutmamamız gereken değişim ise n değerini arttırarak artık 2 yapmaktır.

Sıradaki sayımız 65:

h₀(65) = 65 mod 2⁰ = 0

h₁(65) = 65 mod 2¹ = 1

h₂(65) = 65 mod 2² = 1

Yukarıdaki tabloda görüldüğü üzere bütün değerler tabloya yerleştirilmiştir. Tablonun performansı ile ilgili olarak en kötü durumu düşünelim ve bundan sonraki gelecek sayıların sürekli olarak 01 buketine geldiğini hayal edelim. Bu durumda tablo bölünmeye devam edecek ve en kötü ihtimalle 3 dönüşten sonra 01 buketini parçalayacaktır. Dolayısıyla buketlerde taşma olması halinde (overflow) belirli bir sürede bu bukete dönülmekte ve bölme işlemi yapılarak tablodaki yük dengesi sağlanmaktadır.

Yukarıdaki bu yazıyı yazmama sebep olan, Hande hanımın sorusunu bu bilgilerden sonra cevaplayayım. Öncelikle soruyu alıntılayalım:

Sınır değerinin bv = (10110)₂ , k değerinin 5 olduğu
bir doğrusal kırım tablosunda (linear hash
table), birincil bölgede kaç tane kova (bucket)
vardır?
A) 5 B) 22 C) 32 D) 54 E) 76

Sorudaki sınır değeri (boundary value , bv ) 10110 olarak verilmiş. Bu değerin 10′luk tabandaki karşılığı 22′dir. k değerinin 5 olmasından anlaşılacağı üzere, özetleme fonksiyonlarımız o anda son 5 haneye bakmaktadır. Son 5 haneye bakarak kodlayabileceğimiz kova sayısı 2⁵ = 32 olarak bulunur. Ayrıca sınır değeri olarak verilen 22 kovaya da erişebildiğimizi düşünürsek, 22 + 32 = 54 olarak anlık erişilebilen kova sayısı (bucket) bulunmuş olur.

462 views

2-3-4 ağacı, B-ağaçlarının (B-Trees) özel bir halidir. Bu ağacın özelliği, düğüm boyutunun (node size) 3 ile sınırlı olmasıdır. Ağaç ayrıca sürekli olarak dengeli bir ağaç garantisi verir (balanced tree). 2-3-4 ağaçları, kırmızı siyah ağaçlarının (red-black trees) , eş şekillisi (isomorphic) olarak da düşünülebilir.

2-3-4 ağacının ismi, ağaçtaki düğümlerin değişik durumlarda değişik numaralar almasından kaynaklanmaktadır. Yani bir düğüm 2,3 veya 4 durumunda olabilir. Bu durumlara göre farklı uygulamalar söz konusudur.

2 düğümü: 2 adet çocuk düğümü gösteren gösterici (pointer) ve bir veriden oluşur

3 düğümü: 3 adet çocuk düğümü gösteren gösterici (pointer) ve iki veriden oluşur

4 düğümü: 4 adet çocuk düğümü gösteren gösterici (pointer) ve üç veriden oluşur

Ekleme işlemini bir örnek üzerinden anlamaya çalışalım

50, 27, 97, 52, 19, 11, 111

Bu sırayla verilen değerleri sırasıyla ağaca ekleyelim:

İlk sayı olan 50′nin eklenmesi sonucunda ağaçta tek bir düğüm ve bu düğümde tek bir veri bulunuyor. Bu tip düğüme 2 düğümü ismi verilmektedir ve iki çocuğu da boştur (null).

İkinci eklenen değer 27′dir. Ağacımızda tek düğüm bulunduğundan ve bu düğüm 2 tipinde olduğundan, düğümde yeni değeri alacak yer bulunmaktadır. Bu yere yeni gelen değer yerleştirilir. Elbette düğümlerin içerisinde sıra bulunması gerektiği için, 27 değeri, 50 değerinin soluna yerleştirilmiştir. Bu kural bundan sonraki ekleme işlemlerinde de geçerli olacaktır. Yani düğüm içerisindeki değerler kendi aralarında sıralı olacak ve herhangi bir değerin solundaki çocuklarının değeri, kendi değerinden küçük ve sağındaki değeri kendi değerinden büyük olacaktır.

Ardından gelen ekleme değeri, 97′dir. Bu değer düğüme eklenince, aşağıdaki gibi bir yapı elde edilir:

Yukarıdaki bu yeni yapı, bizim 2-3-4 ağacımızdaki 4 tipindeki yapıdır ve kabul edilebilir bir durumdur. Ancak bir sayı daha eklenince yapı bozulacaktır. Nitekim sıradaki sayımız olan 52′nin eklendiğini düşünelim:

Şimdiye kadar öğrendiklerimize göre, yukarıdaki gibi bir yapı olması beklenir. Ancak yukarıdaki yapı 2-3-4 ağacı tarafından kabul edilemez (2,3 veya 4 tipinde bir düğüm değildir). Dolayısıyla bu yapının kabul edilir bir şekle indirgenmesi gerekir.

Yukarıdaki yeni şekilde, ağaç 50 ve 27 değerlerini taşıyan iki adet 2 tipinde düğüm ve bir adet 52 ve 97 değerlerini taşıyan 3 tipinde düğüme indirgenmiştir. Bu düğümlerin tamamı 2-3-4 ağacı tarafından kabul edilir düğümlerdir.

Ekleme işlemine 19 sayısı ile devam edelim.

Yukarıdaki şekilde görüldüğü üzere, 19 sayısı, 50′den küçük olduğu için kökteki bu değerin solundaki düğüme yerleştirilmiştir.

11 sayısı eklendikten sonra, bu sayı da daha önceden olduğu gibi, 50′nin solundaki düğüme sıralı olarak eklenir.

Benzer şekilde 111 sayısının eklenmesi de kök değerin sağına yapılır:

Son olarak ağacın 3 düğümü olarak taşıyamayacağı bir örneği göstermek için, örneğin 120 sayısını ağaca eklemeye çalışalım:

Normalde 120 sayısının ekleneceği yer, yukarıdaki şekilde gösterildiği gibi ağacın sağ koludur. Ancak bu durum 2-3-4 ağacı tarafından kabul edilemez çünkü herhangi bir düğüm yapısına uygun değildir.

Çözüm olarak daha önceden 52 sayısının eklendiği örnekte olduğu gibi düğümleri indirgiyoruz.

Bu işlemden sonra kök düğümünü güncelleyerek sonuçta çıkacak olan ağacı elde ediyoruz

Ağacımız son halinde 2-3-4 ağacı kurallarına uygun düğümlerden oluşmaktadır.

656 views

Bilgisayar bilimlerinde, özellikle dosya yönetimi konusunun (file organization) kullandığı bir özetleme (hashing) çakışması (collision) çözüm algoritmasıdır. Basitçe bir özetleme fonksiyonu (hashing function) sonucunda, çalışma olması durumunda (collision), dizi üzerinde farklı bir adrese çakışan sayı konulur veya aranır. Bu farklı sayı için ikinci bir özetleme fonksiyonu kullanılır. Buraya kadar olan tanım, aslında doğrusal bölüm (linear quotient) yöntemi ile aynıdır. CCI yönteminin getirdiği en önemli farklılık ise sayıların asil yerlerinde bulunma önceliğidir. Yani bir adresleme alanında özetleme fonksiyonu sonucunda (hashing function) yerleştirilen sayılar ve çakışma sonucunda yerleştirilen sayılar bulunmaktadır. Çakışma sonucu yerleştirilen sayılar, asil yerlerinde değil de çakışma çözüm yönteminin gösterdiği yerlerdedir. CCI yöntemi, bu şekilde çakışmadan dolayı doğal adresinde olmayan sayıların bulunduğu sıraya, yeni ve asil yeri olarak bir sayı gelmesi durumunda bu yeni gelen sayının yazılmasını söyler.

Bu anlamda hesaplamalı zincir ekleme yöntemi (CCI), EISCH, LISCH veya doğrusal sondalama (linear probing) yöntemlerinin aksine hareketli bir yöntemdir (dynamic method) ve yerleşen sayıların yerlerini değiştirebilir.

Bu durumu bir örnek üzerinden anlamaya çalışalım.

Eklenecek olan sayılarımız 27, 18, 29, 28, 39, 13, 16, 38, 53, 49 olsun. Kullanacağımız özetleme fonksiyonu ise H : K mod 11 olarak verilsin.

Bu duruma mod 11 için 11 farklı alandan oluşan boş bir dizimiz bulunacaktır:

Yukarıdaki boş tabloda, sıra sütunu, verilerin ekleneceği yeri, anahtar sütunu örnekte verilen sayıların nereye eklendiğini, adım sütunu ise, arama ve ekleme işlemleri sırasında bir sayının beklenen yerde bulunamadığında kaçar adım eklenerek aranacağıdır.

Bu anlamda CCI algoritması bağlantılı çakışma çözümü (collision with links) yapmaktadır. Yani bir çakışma durumunda, konulması gereken sıraya değil farklı bir sıraya, bir sayı konulduğunda, bu yer bağlantı bilgisinde durmaktadır.

Yukarıdaki örnekte bulunan sayıları sırasıyla ekleyelim. İlk sayımız 27 için sıra hesaplanır ve 27 mod 11 = 5 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Yukarıdaki ekleme işlemi sırasında 27 / 2 = 2 hesaplamasına göre adım değeri de yazılır.

Ardından eklenen sayımız 18 için sıra hesaplanır ve 18 mod 11 = 7 olarak bulunur ve 18/11 = 1 bölüm değeri, adım değeri olarak çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 29 için sıra hesaplanır ve 29 mod 11 = 7 olarak bulunur. Yukarıdaki görüldüğü üzere 7. Sıra doludur ve dolayısıyla bir çakışma durumu söz konusudur. Çakışma durumunda, sayının eklenmesi gereken sıradaki adım değeri kadar ilerlenir ve ilk bulunan boş yere bu yeni sayı eklenir. Yukarıdaki örnekte bu adım değeri, daha önceden 7. Sıraya konulan 18 sayısından dolayı 1′dir. Dolayısıyla sayımız 1 adım atlanarak ilk boş bulunan yere yani 8. Sıraya yerleştirilir:

Sıradaki sayımı 28 mod 11 = 6. Sıraya problemsiz bir şekilde yerleşir:

Bir sonraki sayı olan 39 mod 11 = 6, yerleştirilirken çakışma Çakışma olan 6. Sıradaki adım değeri 2′dir dolayısıyla yeni sayımız 39, bu adım değeri kadar atlanarak ilk boş bulunan yere yerleştirilecektir. 2 adım atlandığında 8. Sıra bulunur ve burası doludur, tekrar 2 adım atlanır ve 10. Sırada bulunan boş yere 39 sayısı yerleştirilir.:

13 sayısı sorunsuz bir şekilde 13 mod 11 = 2. Sıraya yerleştirilir:

16 sayısı ise 16mod11= 5. Sıra dolu olduğu için çakışır. 5. Sıradaki adım değeri 2′dir dolayısıyla 2 adım atlanarak ilk boş bulunan yere sayı yerleştirilecektir. 7. sıra doludur dolayısıyla 9. Sıraya yerleştirilir.

38 sayısı da benzer şekilde problemli bir sayıdır. 38 mod 11 = 5 sırası doludur. Çözüm olarak 5. Sıradaki adım miktarı kadar attırılarak boş yer aranır ve 5, 7, 9, 0. Sıralara bakılarak , boş bulunan 0. Sıraya yerleştirilir.

Ardından gelen 53 sayısı için benzer şekilde çakışma olur çünkü 53 mod 11 = 9. Sıra doludur. Bu sayının, şimdiye kadar olan sayılardan farkı, çakıştığı ve daha önceden 9. Sıraya yerleşen sayı olan 16 sayısının doğal yerinde bulunmamasıdır. Yani 9. Sırada, daha önceden yerleşen 16 sayısı, aslında 9. Sıraya yerleşmesi gerekmeyen ancak 5. Sıra dolu olduğu için buraya yerleştirilmiş sayıdır.

Bu durumda, CCI algoritması, doğal olarak yerleşen sayıya, çakışmadan dolayı yerleştirilen sayıdan öncelik tanımaktadır. 16 sayısının yerine 53 sayısı öncelikli olarak yerleştirilir.

53 sayısının yerleştirilmesi üzerine 16 sayısı sıradaki adım değeri olan ve 2 adım sonrası olan 0. Sıraya taşınır. Burada bulunan 38 sayısı da bir sonraki boş sıraya taşınarak adım değerleri buna göre güncellenir.

Son olarak gelen 49 sayısı, yerleşmesi gereken 49 mod 11 = 5. Sıra dolu olduğu için 5. Sırada bulunan adım değeri kadar atlanarak boş yer aranır. Sırayla, 5, 7, 9,0,2 ve 4.. Sıralara bakılır. 4. Sırada boş yer bulunduğu için buraya yerleştirilir:

Yukarıdaki örnekte sayıların nasıl yerleştirildiğini gördük. Bu yöntemi özetleyecek olursak:

1. Yerleşecek sayının (anahtarın) özetleme fonksiyonu değerini (hashing function) hesapla ayrıca bölümden gelen adım değerini de hesaplayarak buraya yerleştir.
2. Şayet burası doluysa, hesaplanan adım değeri kadar atlanarak boş olan ilk yere sayı yerleştirilir.
3. Şayet sayının yerleşeceği yer doluysa ve buradaki sayı, normalde yerleşmesi gereken yer değilse o zaman yeni gelen sayı önceliğe sahip olup buradaki sayı ile yer değiştirilir.

Yukarıdaki bu 3 basit adım takip edilerek CCI algoritmasına göre yerleştirme işlemi yapılabilir.

brent yöntemine (Brent’s method) benzer şekilde, CCI yöntemi de sınıflandırma bakımından, hareketli metot (dynamic method) olarak kabul edilebilir. Bundan kasıt, bir sayı bir sıraya yerleştikten sonra buradan hareket edebilir, bu durum yukarıdaki örnekte 53 sayısının yerleştirilmesi sırasında açıkça görülmektedir.

232 views

Bilgisayar bilimlerinde, depolama yönetimi (storage management) için kullanılan yöntem standardıdır. Kaynaklarda redudant array of independent disks ( fazladan bağımsız disk dizisi ) şeklinde geçtiği gibi , redundant array of inexpensive disks ( ucuz disklerin fazlalık dizisi) olarak da geçmektedir.

Kısaca bu standart çeşitli seviyelerde verinin fazladan bir kopyasının tutulması ile birlikte herhangi bir problem durumunda veri kaybını engellemeyi hedefler.

RAID – 0′dan RAID – 6′ya kadar seviyeleri bulunmaktadır. Bu yazıda en çok kullanılan RAID0, RAID1 , RAID3 , RAID5 ve RAID6 seviyeleri açıklanacak ayrıca RAID10 ve RAID01 yapıları gösterilecektir. Geriye kalan RAID2 ve RAID4 seviyeleri güncel hayatta çok kullanılmadığı için bu yazı kapsamı dışında bırakılmıştır.

RAID0

Bu seviyede veriler birden fazla diske (klasik tanımımızda en az 2 disk olarak geçer) dağıtılmaktadır. Buradaki amaç, veriye erişim süresini kısaltmak ve bir problem, bir müşkülat halinde verinin tamamının kaybını engellemektir. Bu seviyede, müşkülat durumunda veri kaybı muhtemeldir.

Yukarıdaki şekilde görüldüğü üzere iki ayrı diske iki ayrı veri dağıtılmıştır. A verisi iki parçaya bölünmüş ve bir kısmı 1. Diske diğer kısmı ise ikinci diske yazılmıştır. Disklerden birisinin kaybedilmesi durumunda hiçbir bilgi tamamen kaybedilmez. Ayrıca A verisinin okunması durumunda iki disk paralel olarak çalışarak veriyi daha hızlı okuyabilir.

RAID0 seviyesine kaynaklarda izli veya çizgili disk anlamına gelen striped disk ismi verilmektedir. Ayrıca bazı kaynaklarda RAID0, klasik raid seviyelendirmesi içerisinde sayılmaz. Bunun sebebi herhangi bir şekilde fazladan tutulan (raid kelimesinin açılımında redundant – fazladan olduğunu hatırlayınız) disk bulunmamaktadır. Verilerin tutulması için gereken en az seviyede disk harcanmış olunur.

RAID1

Bu seviye literatürde aynalama (mirroring) olarak geçer. Burada ifade edilmek istenen, bir diskteki her şeyin bir yansımasını (bir kopyasını) ikinci bir diskte tutmaktır. Dolayısıyla disklerden birisine bir şey olması durumunda diğerine bulunan kopya sayesinde veri kurtulabilir. Bu yöntem hız açısından bir avantaj sağlamaz, sebebi disklerin ikisinin paralel olarak aynı veriyi yazmaları ve okunurken tek bir diskten okunmasıdır. Verinin korunması açısından da raid teknolojileri arasındaki en maliyetli yöntemdir çünkü aktif olarak kullanılan depolama alanının 2 misli yer işgal edilir. Örneğin 100GB veri saklamak için aslında 200GB alan işgali söz konusudur.

Yukarıdaki şekilde görüldüğü üzere iki disk de birbirinin kopyasıdır.

RAID3

Bu seviyeden sonraki RAID yöntemlerinde verinin çiftlik kontrolünden (parity check) istifade edilerek ilave bir disk bu verinin saklanması için kullanılır.

Yukarıdaki şekilde görüldüğü üzere 4 diskten bir tanesi bu kontrol bitlerini tutmakta (parity) ve dolayısıyla normalde kullanılan veriye ilave bir disk gerekmektedir. Yukarıdaki gösterime benzer bir kurulumda disklerden birisinin bozulması veya bu diskteki verinin kaybedilmesi halinde diğer 3 diskte bu diskte bulunan veri geri üretilebilir.

Hız açısından bu kurulum incelendiğinde de verinin 3 ayrı disk üzerine paralel olarak yazılması veya okunması, şimdiye kadar olan seviyelere göre belirgin bir hız artışı sağlar. Ne yazık ki bir dezavantajı partiy bitlerinin yazıldığı 4. Diske de veri yazılıyor/okunuyor olmasıdır ve bu da ilave veri iletişimi ve vakit kaybı anlamına gelir. Yine de bu zaman kaybı şimdiye kadar olan diğer yöntemlere göre göz ardı edilebilir seviyededir.

RAID3 kurulumu için en az 3 disk gerekmektedir. Bu durumda 2 disk veriyi tutmakta ve 3. Disk kontrol amaçlı kullanılmaktadır. O halde 2/3 = %66 oranında alan aktif veri saklamak için kullanılır denilebilir. Ancak kontrol diskine ilave 5 disk kullanılması durumunda bu aktif alan 5/6 = %86 gibi bir orana çıkmaktadır.

RAID 5

Bu seviye, raid 3 benzeri bir şekilde verinin parity kontrolünü çıkarmakta ve ilave bir diskte tutmaktadır. Ancak verinin kendisini ve parity biti farklı disklere dağıtmaktadır. Bu yüzden herhangi bir diskte problem olması durumunda sistem kendisini kurtarana ve bu problemli diski düzeltene kadar çalışmada aksama olur.

Şekilde görüldüğü üzere her disk, farklı bir bilginin parity kontrolünü tutmakta dolayısıyla disklerden birisinde bir müşkülat olması durumunda diğerlerindeki veri veya parity ile bu sorunlu disk kurtulabilmektedir. Bu yöntemde tek diskin kaybedilmesi durumunda veri kurtarılabilirken ikinci bir disk kaybedilirse veri kaybı oluşur.

RAID6

Şimdiye kadar olan yöntemlerden farklı olarak parity bitlerin iki kopyası tutulur. Bu durum aşağıdaki resimde gösterilmiştir:

Bu yeni dizilimin kazandırdığı avantaj, iki diskin birden kaybedilmesi durumunda verinin kurtarılabilmesidir.

RAID 10 ve RAID 01

Bu iki raid yapısı, aynalama (mirroring) kullanırken bir ağaç yapısına benzer dağılım izler. Örneğin 4 diski aynalamak istiyorsak toplamda 8 disk olacaktır ve bu 8 diskin nasıl dağılabileceği aşağıdaki iki örnekte gösterilmiştir:

Yukarıdaki gösterilen raid01 yapısıdır ve diskler önce raid0 yapısına göre raidlenmiş ardından da 1 yapısına göre aynalanmıştır. Yani yukarıda anlatılan raid 0 yapısı hatırlanacak olursa, veriler diskler üzerinde dağıtılmıştır. Ardından raid 1 yapısı ile bu yapılar kopyalanmıştır ve iki kopyası tutulmaktadır. Diğer bir deyişle disk3 ve disk4 arasında raid 0 ve disk 3 ve disk 1 arasında raid 1 uygulanmıştır.

Bu uygulama tersten uygulanırsa aşağıdaki şekilde bir görüntü çıkar:

Bu yeni yapıda ise diskler önce kendi aralarında raid 1 ile aynalanıp (mirroring) ardında raid 0 ile bu aynalanmış gruplar bağlanır.

RAID 01 ve RAID 10 kurulumları karmaşıklığı arttırmasına karşılık yüksek miktardaki disk yönetiminde tercih edilmektedir.

149 views

Bilgisayar bilimlerinde, özellikle dosya yönetimi konusunun (file organization) kullandığı bir özetleme (hashing) çakışması (collision) çözüm algoritmasıdır. Basitçe bir çakışma durumu olduğunda, eklenecek olan anahtarı kaç sıra sonraya yerleştireceğimizi bulan ikinci bir özetleme fonksiyonu kullanılır. Kullanılan ikinci özetleme fonksiyonu ise sayının bölümüdür:

H1 : K mod n

H2 : K / n

Olarak düşünülebilir. Bu anlamda çift özetleme fonksiyonlarına (double hashing) benzetilebilir.

Yöntemimizin çalışmasını bir örnek üzerinden anlamaya çalışalım.

Eklenecek olan sayılarımız 27, 18, 29, 28, 39, 13, 16, 42, 17 olsun. Kullanacağımız özetleme fonksiyonu ise H1 : K mod 11 ve H2 : K / 11 olarak verilsin.

Bu duruma mod 11 için 11 farklı alandan oluşan boş bir dizimiz bulunacaktır:

Yukarıdaki boş tabloda, sıra sütunu, verilerin ekleneceği yeri, anahtar sütunu örnekte verilen sayıların nereye eklendiğini tutmaktadır. Diğer çakışma çözüm yöntemleri olan LISCH yönteminin veya EISCH yönteminin tersine bu yöntemde bir bağlantı sütunu bulunmaz. Bunun sebebi çakışma durumunda sayının konulacağı veya aranacağı adresin ikinci bir özetleme fonksiyonu (hashing function) ile hesaplanabiliyor olmasıdır.

Bu anlamda doğrusal bölüm (linear quotient) algoritması bir doğrusal sondalama (linear progbing veya progressive overflow) olarak düşünülebilir ve bağlantısız çakışma çözümü (collision without links) olarak sınıflandırılabilir.

Yukarıdaki örnekte bulunan sayıları sırasıyla ekleyelim. İlk sayımız 27 için sıra hesaplanır ve 27 mod 11 = 5 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 18 için sıra hesaplanır ve 18 mod 11 = 7 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 29 için sıra hesaplanır ve 29 mod 11 = 7 olarak bulunur. Yukarıdaki görüldüğü üzere 7. Sıra doludur ve dolayısıyla bir çakışma durumu söz konusudur. Çakışma durumunda ikinci özetleme fonksiyonumuz devreye girer ve 29 / 11 = 2 bulunur. Bu durumda sayının konulması gereken yerden 2 sonraki adrese koymayı denememiz gerekir. Örneğimizde 7. Sıraya konması gereken sayımızın ikinci özetleme fonksiyonu sonucu 2′dir ve dolayısıyla 9. Sıraya koymaya çalışırız. Henüz boş olan bu sıraya sayı başarı ile yerleştirilir.

Sıradaki sayımı 28 mod 11 = 6. Sıraya problemsiz bir şekilde yerleşir:

Bir sonraki sayı olan 39 mod 11 = 6, yerleştirilirken çakışma olur, dolayısıyla sayının ikinci özetleme fonksiyonu değeri hesaplanır. Bu değer 39 / 11 = 3 olarak bulunur ve normalde konulması gereken 6. Sıradan 3 sıra sonraya yani 9. Sıraya yerleştirilmeye çalışılır. Ancak bu adres de doludur. Çözüm olarak 3 sıra daha ilerlenir ve 12. Sıraya (mod 11′de çalıştığımız için 1. Sıra oluyor, okuyucu bunu sona ulaşıldığında baştan devam edilir şeklinde de düşünebilir) yerleştirilir:

13 sayısı sorunsuz bir şekilde 13 mod 11 = 2. Sıraya yerleştirilir:

16 sayısı ise 16mod11= 5. Sıra dolu olduğu için çakışır. 16/11 = 1 olduğu için birer eklenerek ilk boş yer bulunana kadar arama yapılır. Sırasıyla 6. 7. Ve 8. Sıralara bakılır. Nihayet 8. Sırada boşluk bulunduğu için sayı buraya yerleştirilir:

42 sayısı da benzer şekilde problemli bir sayıdır. 42 mod 11 = 9. Sıra doludur. İkinci özetleme fonksiyonumuza göre 42 / 11 = 3′tür ve yerleştirme 9 + 3 = 12 mod 11 = 1 sırasına yapılmaya çalışılır mamafih bu alanda dolu olduğu için bir kere daha 3 eklenerek 1 + 3 mod 11 = 4. Sıraya yerleştirilir:

Son olarak gelen 17 sayısı, yerleşmesi gereken 17 mod 11 = 6. Sıra dolu olduğu için 17/11 = 1 değerine göre birer arttırılarak boş bir yer aranır. Sırasıyla 7. 8. 9. Ve 10. Sıralara bakılır. Boş sıra bulununca 17 sayısı buraya yerleştirilir:

Yukarıdaki örnekte sayıların nasıl yerleştirildiğini gördük. Bu yöntemi özetleyecek olursak:

1. Yerleşecek sayının (anahtarın) özetleme fonksiyonu değerini (hashing function) hesapla ve buraya yerleştir.
2. Şayet burası doluysa, ikinci özetleme fonksiyonuna, yani bölme işlemine tabi tutup bulunan değer kadar sonrasına bak.
3. Boş alan bulunana kadar bölme işlemi sonucunu ekleyerek arama yap.

Yukarıdaki bu 3 basit adım takip edilerek doğrusal bölüm (linear quotient) yöntemine göre yerleştirme işlemi yapılabilir.

Yerleşen bu sayıların aranması ise oldukça basittir.

Örneğin aranan sayının 42 olduğunu düşünelim. 42 mod 11 = 9 olarak bulunur ve 9. Sırada bu sayı aranır. Sayı burada olmadığı için aranan sayının ikinci özetleme fonksiyonu hesaplanır. 42 / 11 = 3′tür ve dolayısıyla 9. Sıradan başlanarak 3′er arttırılarak bu sayı aranır. 9 + 3 = 12 mod 11 = 1. Sıraya bakılır ancak sayı yoktur, tekrar 3 arttırılır ve 4. Sırada sayı bulunur.

Benzer şekilde, dizide hiç bulunmayan bir sayı aranırsa, arama işlemine başladığımız sıraya gelinmesi veya bütün diziye bakılması durumunda işlem iptal edilir. Örneğin dizimizde olmayan 34 sayısını aramak istediğimizi düşünelim.

34 mod 11 = 3 bulunup bu sıraya bakılacak, bu sırada hiç sayı olmadığı için arama işlemi sayının dizide olmadığını rahatlıkla söyleyebilecektir.

Aranan sayımız 48 olsaydı. 48 mod 11 = 4 bulunacak ve 4. Sırada sayı aranacaktır. 4. Sırada sayı olmadığı için 48 / 11 = 4 arttırılarak arama işlemi devam edecektir.

Sırasıyla 8, 1,5,9,2,6,10,3,7,0 sıralarına bakılacak ve en sonunda bakılacak değer 4 olarak hesaplanınca arama işlemi nihayete erdirilecektir.

Bu durumda da görüldüğü üzere, olmayan bir sayının aranması bazı durumlarda bütün indeksleme alanına bakılmasını gerektirebilir. Bu performans açısından kötü bir durumdur.

Arama algoritmasını aşağıdaki şekilde yazabiliriz:

1. Sayının özetleme fonksiyonu (hashing function) değerini hesapla ve sayıyı bu bulduğun sırada ara
2. Sayı burada ise sayıyı buldun. Aramayı bitir.
3. Sayı yoksa 2. Özetleme değeri olan bölümü hesapla.
4. Baktığın adresi bölüm değeri kadar arttırarak tekrar bak.
5. Sayıyı bulduysan bitir.
6. Başladığın adrese döndüysen aramayı bitir ve sayının bulunmadığını söyle.
7. 4. Adıma geri git.

Yukarıda anlatılan doğrusal bölüm yöntemi, doğrusal sondalama (linear probing) çatısı altında kabul edilebilir. Bu tip yöntemlerde, EISCH yöntemi veya LISCH yönteminde bulunan bağlantı sütunları (links) kullanılmaz. Bunun bir neticesi olarak arama sırasında bulunmayan bir sayı için bütün arama alanına bakılması gerekebilir. Bu durum bir dezavantajdır ancak bir avantajı, bağlantı sütunu tutulmadığı için yer kazanılmış olunur.

Doğrusal bölüm (linear quotient) yöntemi yine sınıflandırma bakımından sabit metot (static method) olarak kabul edilebilir. Bundan kasıt, bir sayı bir sıraya yerleştikten sonra buradan hareket edemez, ilk defa yerleştiği yerde kalır.

228 views

Türkçeye, son ekleme birleştirme özetlemesi olarak çevrilebilir. Bilgisayar bilimlerinde, özellikle dosya yönetimi konusunun (file organization) kullandığı bir özetleme (hashing) çakışması (collision) çözüm algoritmasıdır. Basitçe bir özetleme alanını iki parçaya ayıran bu algoritmada amaç çakışma sonucu oluşan alanlar ile doğru adreste indekslenen verilerin ayrılmasıdır.

Kabaca aşağıdaki şekil gibi düşünebiliriz:

Yukarıdaki şekilde görüldüğü üzere, indeksleme alanı ana alan (primary) ve çakışma alanı (overflow) olarak ikiye bölünmüş ve dolayısıyla çakışmadan dolayı farklı bir sıraya yerleşen sayılar ile olması gereken yerde bulunan sayılar birbirinden ayrılmıştır.

Yöntemimiz, bir özetleme fonksiyonu (hashing function) sonucunda, çalışma olması durumunda (collision), dizinin sonundan başa doğru boş bulunan ilk yere yerleştirmeyi söyler.

Bu durumu bir örnek üzerinden anlamaya çalışalım.

Eklenecek olan sayılarımız 27, 18, 29, 28, 39, 13, 16, 42, 17 olsun. Kullanacağımız özetleme fonksiyonu ise H : K mod 7 olarak verilsin.

Bu duruma mod 7 için 7 farklı alandan oluşan boş bir dizimiz bulunacaktır. Bu 7 sıra içeren ana indeksleme alanının yanında bir de çakışma alanımız (overflow) bulunmalıdır. Bu alanı da problemimizde 4 olarak tanımlayalım:

Yukarıdaki boş tabloda, sıra sütunu, verilerin ekleneceği yeri, anahtar sütunu örnekte verilen sayıların nereye eklendiğini, bağlantı sütunu ise, arama ve ekleme işlemleri sırasında bir sayının beklenen yerde bulunamadığında nerede aranacağı bilgisini tutmaktadır. Ayrıca dikkat edilirse 6. Ve 7. Sıralar arasında da bir çizgi ile ana indeksleme ve çakışma indeksleme alanları ayrılmıştır. Amacımız çakışarak farklı yere yerleştirilen sayılar ile doğal indeksleme sırasında bulunan sayıları ayırmaktır.

Yukarıdaki örnekte bulunan sayıları sırasıyla ekleyelim. İlk sayımız 27 için sıra hesaplanır ve 27 mod 7 = 6 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 18 için sıra hesaplanır ve 18 mod 7 = 4 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 29 için sıra hesaplanır ve 29 mod 7 = 1 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Sıradaki sayımı 28 mod 7 = 0. Sıraya problemsiz bir şekilde yerleşir:

Sıradaki sayımı 39 mod 7 = 4. Sıraya yerleşmesi gerekir. Ancak 4. Sırada daha önceden yerleştirilen 18 sayısı bulunmaktadır. Bu durumda sayı çakışma durumunda olduğu üzere çakışma alanındaki sondan boş olan ilk yere yerleştirilir. Çakışma alanımız 7 ile 10. Sıralar arasıdır ve şu anda bütün sıralar boştur. Bu sıralardan en altta olan 10. Sıraya çakışan sayımızı yerleştiriyoruz. Sayımızın normalde olması gereken 4. Sıraya da 10. Sıraya bir çakışan sayı yerleştirdiğimiz için bağlantı ekliyoruz ve 4′ten 10. Sıraya aşağıda görüldüğü üzere ilerideki aramalar için bir bağlantı kuruluyor:

Sıradaki sayımı 13 mod 7 = 6. Sıraya yerleşmesi gerekirken yine bir çakışma ile karşılaşıyoruz. Çakışan sayılar için ayrılan alt alanımızdaki en alttaki en boş sıra 9 ve çakışan sayı buraya yerleştiriliyor, ilave olarak bir bağlantı ile sayının 6. Sırada olması gerekirken yerleştirildiği bu çakışma sırası bağlanıyor:

Sıradaki sayımı 16 mod 7 = 2. Sıraya problemsiz bir şekilde yerleşir:

Sıradaki sayımı 42 mod 7 = 0. Sıraya yerleşmesi gerekirken yine bir çakışma ile karşılaşıyoruz. Çakışan sayılar için ayrılan alt alanımızdaki en alttaki en boş sıra 8 ve çakışan sayı buraya yerleştiriliyor, ilave olarak bir bağlantı ile sayının 0. Sırada olması gerekirken yerleştirildiği bu çakışma sırası bağlanıyor:

Sıradaki sayımı 17 mod 7 = 3. Sıraya problemsiz bir şekilde yerleşir:

Yukarıdaki örnekte görüldüğü üzere özetleme fonksiyonu sonucunda çakışan sayılar, çakışma alanına (overflow) yerleşirken 0 ile 6. Sıralar arasında belirlenen ana alanda sadece özetleme fonksiyonundan gelen asil sayılar durmaktadır. Bu durumu EISCH yöntemi ile karşılaşırsak, sayıları düzenli bir şekilde yerleştirmesi LICH yönteminin bir avantajıdır. Ancak Ayrılan çakışma alanı veya ana alanın dolması durumunda diğer alanı kullanamıyor olması LICH yönteminin yer israfı yapmasına sebep olur. Bu ise bir dezavantaj olarak görülebilir. Yani yukarıdaki örnekte, 2 adet çakışma daha olsaydı, çakışma alanında tek yer olduğu için 2. Çakışmayı yerleştiremeyecek özetleme alanımız dolu hatasını verecektik. Oysaki EISCH yöntemi burada boş olan herhangi bir yeri kullanabilmektedir.

Yukarıdaki örnekte sayıların nasıl yerleştirildiğini gördük. Bu yöntemi özetleyecek olursak:

1. Yerleşecek sayının (anahtarın) özetleme fonksiyonu değerini (hashing function) hesapla ve buraya yerleştir.
2. Şayet burası doluysa, dizideki çakışma alanında (overflow) bulunan boş en alt hücreye yerleştir ve bu yerleştirdiğin yere, normalde yerleşmesi gereken yerden bir bağlantı kur

Yukarıdaki bu 2 basit adım takip edilerek LICH algoritmasına göre yerleştirme işlemi yapılabilir.

Yerleşen bu sayıların aranması ise oldukça basittir.

Örneğin aranan sayının 13 olduğunu düşünelim. 13 mod 7 = 6 olarak bulunur ve 6. Sırada bu sayı aranır. Sayı burada olmadığı için buradaki bağlantı olan 9. Sıraya gidilip bakılır ve 13 sayısı bulunmuş olunur.

Benzer şekilde, dizide hiç bulunmayan bir sayı aranırsa, bağlantısı olmayan bir sıraya gelindiğinde bu sayının dizide olmadığına kanaat getirip durulabilir. Örneğin dizimizde olmayan 34 sayısını aramak istediğimizi düşünelim.

34 mod 7 = 6 bulunup bu sıraya bakılacak, bu sırada 34 olmadığı görülünce bağlantının gösterdiği 9. Sıraya bakılacak ve nihayet herhangi bir bağlantı olmadığı ve bu bakılan sayılardan hiçbiri 34 olmadığı için bu sayının dizide olmadığı neticesine varılacaktır.

Dolayısıyla arama algoritmasını aşağıdaki şekilde yazabiliriz:

1. Sayının özetleme fonksiyonu (hashing function) değerini hesapla ve sayıyı bu bulduğun sırada ara
2. Sayı burada ise sayıyı buldun. Aramayı bitir.
3. Sayı yoksa ve bağlantı varsa bağlantıyı takip edip 2. Adıma git.
4. Bağlantı yoksa sayı dizide yok demektir.

LICH yöntemi yine sınıflandırma bakımından sabit metot (static method) olarak kabul edilebilir. Bundan kasıt, bir sayı bir sıraya yerleştikten sonra buradan hareket edemez, ilk defa yerleştiği yerde kalır.

LICH algoritmasının farklı uygulamalarına göre çeşitli isimlendirmelerin kullanılması da mümkündür. Örneğin, BLISCH algoritmasındaki B harfi, ingilizce bidirectional (iki yönlü) kelimesinden gelmektedir ve hashte olan taşmaların (overflow) iki yönde de olabileceğini (yani klasik lisch algoritmasındaki gibi her zaman sona değil de hashin başına da yönlendirilebileceğini) ifade eder.
Örneğin RLISCH çeşidinde ise R harfi Random (rastgele) kelimesinden gelmektedir ve ekleme yapılacak yer rast gele olarak seçilir.

315 views

Türkçeye, erken ekleme standart birleştirme özetlemesi olarak çevrilebilir. Bilgisayar bilimlerinde, özellikle dosya yönetimi konusunun (file organization) kullandığı bir özetleme (hashing) çakışması (collision) çözüm algoritmasıdır. Basitçe bir özetleme fonksiyonu (hashing function) sonucunda, çalışma olması durumunda (collision), dizinin sonundan başa doğru boş bulunan ilk yere yerleştirmeyi söyler.

Bu durumu bir örnek üzerinden anlamaya çalışalım.

Eklenecek olan sayılarımız 27, 18, 29, 28, 39, 13, 16, 42, 17 olsun. Kullanacağımız özetleme fonksiyonu ise H : K mod 11 olarak verilsin.

Bu duruma mod 11 için 11 farklı alandan oluşan boş bir dizimiz bulunacaktır:

Yukarıdaki boş tabloda, sıra sütunu, verilerin ekleneceği yeri, anahtar sütunu örnekte verilen sayıların nereye eklendiğini, bağlantı sütunu ise, arama ve ekleme işlemleri sırasında bir sayının beklenen yerde bulunamadığında nerede aranacağı bilgisini tutmaktadır.

Ayrıca yukarıda görülmeyen bir gösterici (Biz buna R diyelim), tablonun boş olan en alt elemanını göstermektedir. Yani şu anda R = 10 olarak başlayabiliriz.

Bu anlamda eisch algoritması bağlantılı çakışma çözümü (collision with links) yapmaktadır. Yani bir çakışma durumunda, konulması gereken sıraya değil farklı bir sıraya, bir sayı konulduğunda, bu yer bağlantı bilgisinde durmaktadır.

Yukarıdaki örnekte bulunan sayıları sırasıyla ekleyelim. İlk sayımız 27 için sıra hesaplanır ve 27 mod 11 = 5 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 18 için sıra hesaplanır ve 18 mod 11 = 7 olarak bulunur ve çakışma olmadan sorunsuz bir şekilde eklenir:

Ardından eklenen sayımız 29 için sıra hesaplanır ve 29 mod 11 = 7 olarak bulunur. Yukarıdaki görüldüğü üzere 7. Sıra doludur ve dolayısıyla bir çakışma durumu söz konusudur. Çakışma durumunda R ile gösterilen adrese bu çakışan yeni sayı yerleştirilir. Bu durumda R ile gösterilen ve boş hücrelerin en alttaki olan 10. Sıraya yerleştirme yapıyoruz. Ayrıca normalde 7. Sıraya yerleşmesi gereken 29 sayısını, farklı bir yere yerleştirdiğimiz için 7. Sırada bir bağlantı kurup, 7. Sırada bulunamayan sayılar için 10. Sıraya bakmasını söylüyoruz:

Sıradaki sayımı 28 mod 11 = 6. Sıraya problemsiz bir şekilde yerleşir:

Bir sonraki sayı olan 39 mod 11 = 6, yerleştirilirken çakışma olur ve şu anda R değeri olan, boş hücrelerin en altındaki 9. Sıraya yerleştirilir. Ayrıca 6. Sıraya yerleşmesi gerekirken, 9. Sıray a yerleşen bu sayı için 6′dan 9′a bir bağlantı kurulur:

13 sayısı sorunsuz bir şekilde 13 mod 11 = 2. Sıraya yerleştirilir:

16 sayısı ise 16mod11= 5. Sıra dolu olduğu için çakışır. Bu durumda R değeri olan en alttaki boş hücreye yani 8. Sıraya 16 sayısı yerleştirilip 5. Sıradan 8. Sıraya bağlantı kurulur:

42 sayısı da benzer şekilde problemli bir sayıdır. 42 mod 11 = 9. Sıra doludur ve şu anda en alttaki boş hücre 4′tür. Bu durumda sayı 4. Sıraya yerleştirilerek 9. Sıradan buraya bir bağlantı oluşturulur:

Son olarak gelen 17 sayısı, yerleşmesi gereken 17 mod 11 = 6. Sıra dolu olduğu için en alttaki boş hücre olan 3. Sıraya yerleştirilir. Ardından 6. Sıradan buraya bağlantı oluşturulması gerekir. Ancak yukarıda görüldüğü üzere 6. Sırada zaten bir bağlantı vardır ve bu bağlantı 9. Sıraya işaret etmektedir. Bu durumda çözüm olarak yeni yerleştirilen sıra ile 6. Sıradaki bağlantı değiştirilir ve 6. Sırada zaten var olan bağlantı yeni yerleştirilen sayıya konulur:

Yukarıdaki bu problemli durumda görüldüğü üzere 17 sayısı 3. Sıraya yerleştirilmiş dolayısıyla 6′da bulunan eski bağlantı değeri olan 9, 3. Sıradaki bağlantı olarak taşınmış bunun yerine de yeni sayıyı yerleştirdiğimiz sıra olan 3 yazılmıştır.

Yukarıdaki bu durumu, bağlantı seviyesinin 2′den fazla olmaması olarak da yorumlamak mümkündür. Yani eski durumda şayet 28 → 39 → 42 → 17 bağlantısı kurulacak olsaydı, bu durumda 3 atlama yapılması gerekecekti. Bunu engellemek için yukarıdaki çözüm kullanılmıştır.

Yukarıdaki örnekte sayıların nasıl yerleştirildiğini gördük. Bu yöntemi özetleyecek olursak:

1. Yerleşecek sayının (anahtarın) özetleme fonksiyonu değerini (hashing function) hesapla ve buraya yerleştir.
2. Şayet burası doluysa, dizideki boş en alt hücreye yerleştir ve bu yerleştirdiğin yere, normalde yerleşmesi gereken yerden bir bağlantı kur
3. Sayının, normalde yerleşmesi gereken yerde bir bağlantı varsa, bu bağlantıyı yeni yerleşen sayının yanına taşı.

Yukarıdaki bu 3 basit adım takip edilerek EISCH algoritmasına göre yerleştirme işlemi yapılabilir.

Yerleşen bu sayıların aranması ise oldukça basittir.

Örneğin aranan sayının 17 olduğunu düşünelim. 17 mod 11 = 6 olarak bulunur ve 6. Sırada bu sayı aranır. Sayı burada olmadığı için buradaki bağlantı olan 3. Sıraya gidilip bakılır ve 17 sayısı bulunmuş olunur.

Benzer şekilde, dizide hiç bulunmayan bir sayı aranırsa, bağlantısı olmayan bir sıraya gelindiğinde bu sayının dizide olmadığına kanaat getirip durulabilir. Örneğin dizimizde olmayan 34 sayısını aramak istediğimizi düşünelim.

34 mod 11 = 3 bulunup bu sıraya bakılacak, bu sırada 34 olmadığı görülünce bağlantının gösterdiği 9. Sıraya oradan da 4. Sıraya bakılacak ve nihayet herhangi bir bağlantı olmadığı ve bu bakılan sayılardan hiçbiri 34 olmadığı için bu sayının dizide olmadığı neticesine varılacaktır.

Dolayısıyla arama algoritmasını aşağıdaki şekilde yazabiliriz:

1. Sayının özetleme fonksiyonu (hashing function) değerini hesapla ve sayıyı bu bulduğun sırada ara
2. Sayı burada ise sayıyı buldun. Aramayı bitir.
3. Sayı yoksa ve bağlantı varsa bağlantıyı takip edip 2. Adıma git.
4. Bağlantı yoksa sayı dizide yok demektir.

Yukarıda anlatılan EISCH yöntemine göre aranan sayıların dizide, alttan yukarı doğru doldurulması gerekmektedir. Ayrıca EISCH yönteminin bir dezavantajı çakışan ve çakışmayan bütün sayıların karışık bir şekilde iç içe durmasıdır. Bu problem LICH yönteminde veya CCI yönteminde çözülmüştür.

EISCH yöntemi yine sınıflandırma bakımından sabit metot (static method) olarak kabul edilebilir. Bundan kasıt, bir sayı bir sıraya yerleştikten sonra buradan hareket edemez, ilk defa yerleştiği yerde kalır.

329 views

Bilgisayar bilimlerinde kullanılan özetleme fonksiyonları, genellikle büyük bir verinin daha küçük bir hale getirilmesine yarar. Bu anlamda özetleme fonksiyonları veri doğrulama (data verification) , veri bütünlüğü (data integrity), veri güvenliği (security) ve şifreleme (encryption) gibi pek çok alanda kullanılırlar.

Özetleme fonksiyonlarının bir problemi, büyük bir veriyi özetledikten sonra, çakışma olması durumudur. Çalışma (collision) kısaca aynı özet değerine sahip iki farklı verinin olmasıdır.

Örneğin en basit özetleme fonksiyonlarından birisi olan kalan ( mod ) işlemini ele alalım. 0 ile 100 arasındaki sayıları, 0 ile 10 arasındaki sayılarla özetlemek istersek, mod 10 kullanmamız mümkündür. Bu durumda her sayının 0 – 10 aralığında bir karşılığı bulunacaktır.

Ancak 41 mod 10 ile 51 mod 10 aynı sonucu verir. Bu durumda bir çakışma olmuş denilebilir.

Çakışmayı engellemek için veri yapılar üzerinde sondalama yöntemleri kullanılabilir. En meşhurları olan doğrusal sondalama (linear probing) ve ikinci dereceden sondalama (quadratic probign) yöntemleri bu problemin çözümü için geliştirilmiş yöntemlerdir.

Bu yazının konusu olan çift özetleme (double hashing) yöntemi de işte tam bu noktada devreye girer. Yani bir şekilde özetleme fonksiyonundan çıkan sonuçların, çakışması (collision) durumunda, ikinci ve farklı bir özetleme fonksiyonu kullanılarak veri yapısı üzerinde farklı bir noktada arama veya veri ekleme işlemine devam edilebilir.

Örneğin veri yapısına ekleme işlemini ele alalım. Verinin hangi adrese ekleneceğini bulmak için öncelikle anahtar (key) bir özetleme fonksiyonuna sokulur. Bu ilk özetleme fonksiyonuna Ö₁ ismini verelim.

Adres = Ö1 (anahtar) formülü ile adresi buluruz. Diyelim ki bu adres dolu ve buraya yeni verimizi ekleyemiyoruz. Bu durumda ikinci bir adres aranmalıdır. İşte bu noktada ikinci özetleme fonksiyonu Ö₂ devreye girer ve verinin yerleştirilebileceği boş bir adres bulunana kadar bu fonksiyon kullanılmaya devam edilir.

Bu durumu 10 adet hücresi bulunan boş bir veri yapısı üzerinden sırasıyla 21,31,41,51 sayılarının eklenmesi şeklinde görelim. Ö1 fonksiyonu olarak

Adres = anahtar mod 10

Ve ikinci özetleme fonksiyonu olarak Ö2 :

Adres = (( anahatar mod 7 ) x 3 ) mod 10

Fonksiyonlarını alalım. Bu fonksiyonlar örnek olarak alınmıştır ve farklı fonksiyonlar üzerinden de çift özetleme (double hashing) yapılabilir.

Sırasıyla sayılarımızın üzerinden geçiyoruz. İlk sayımız 21 mo 10 = 1 olarak bulunur.

İlk özetleme fonksiyonu sonucu olarak 1 numaralı adrese yerleştirilir. Ardından ikinci sayıya geçilir:

31 mod 10 = 1 bulunur ve bu adres dolu olduğu için çakışma olur. Çözüm olarak ikinci özetleme fonksiyonu kullanılır.

( ( 31 mod 7 ) x 3 ) mod 10 = 9 olarak bulunur ve bu adrese yerleştirilir:

Ardından 41 sayısı için 1. özetleme fonksiyonu çalıştırılır ve 1 numaralı adres dolu olduğu için çakışma oluşur. Çözüm olarak ikinci özetleme fonksiyonu çalıştırılır:

( ( 41 mod 7 ) x 3 ) mod 10 = 8

Benzer şekilde 51 için çakışma olur ve ikinci özet fonksiyonu çalıştırılır.

( ( 51 mod 7 ) x 3 ) mod 10 = 6

Görüldüğü üzere ikinci özetleme fonksiyonu, ilkinde bir çakışma olması halinde kullanılmaktadır. Peki acaba ikinci özetleme fonksiyonunda da çakışma olursa ne yapılır?

Bu durumu örneğimize devam edip 61 sayısını eklemek istediğimizde görebiliriz.

( ( 61 mod 7 ) x 3 ) mod 10 = 8

Bulunacaktır ve 8 numaralı adres doludur. Bu durumda ikinci özetleme fonksiyonuna ikinci kere sokularak farklı bir adres aranır:

(( 8 mod 7 ) x 3 ) mod 10 = 3 olarak bulunur ve bu adrese yerleştirilir.

Görüldüğü üzere ikinci özetleme fonksiyonunun ilk özetleme fonksiyonu ile aralarında asal olması, belirli bir adres dizilimine girilmesine engellemekte bu sayede veri yapısı üzerinde boş yer bulunuyorsa mutlaka belirli bir denemeden sonra bu adrese erişilmesi garanti edilmiş olmaktadır.

328 views

Özellikle özetleme fonksiyonlarının (hashing functions) bilgileri sınıflandırması sırasında kullanılan formülün ikinci dereceden olması durumudur.

Özetleme fonksiyonlarında, sık kullanılan doğrusal sondalama (linear probing) yönteminin tersine, bir bilgiyi tasnif ederken, ardışık olarak veriler üzerinde hareket etmez, bunun yerine her defasında baktığı uzaklığı ikinci dereceden bir denklem ile arttırır.

Konuyu anlamaya öncelikle doğrusal fonksiyonları hatırlayarak başlayalım.

Bilindiği üzere doğrusal fonksiyonlar :

y = ax + b şeklinde yazılabilen birinci dereceden fonksiyonlardır. Bu durumda özetleme fonksiyonu veriyi sınıflandırırken bir çakışma (collision) olması durumunda bir sonraki veri hücresine bakar, ve bu şekilde aranan veriye ulaşana kadar devam eder. Örneğin 10 hücreli bir sınıflama için mod 10 fonksiyonunu kullanacağımızı düşünelim.

Bu durumda ilk başta aşağıdaki şekilde boş olan veri yapımıza sırasıyla 21,31,41,51 sayılarının geldiğini kabul edelim.

Dikkat edileceği üzere bu sayılar özellikle çakışma olsun diye mod 10 fonksiyonuna konulduğunda hep 1 olarak çıkan sayılardan seçilmiştir.

Şimdi bu sayıları yerleştirecek olursak ilk gelen sayı 21 mod 10 = 1 olduğu için 1. Hücreye yerleştirilecektir.

Ardından gelen 31 sayısı yine 1. Hücreye yerleştirilmek istenecek ancak burası dolu olduğu için doğrusal sondalama kullanarak bir sonraki hücreye yerleştirme yapılıyor:

Diğer sayılar için durum değişmiyor ve aynı yaklaşım izlenmeye devam ediliyor:

Görüldüğü üzere elimizdeki sayıların tamamı başarılı bir şekilde yerleştirilmiştir. Konuyu daha iyi anlayabilmek için farklı bir örnek olarak 33 sayısını yerleştirmek istediğimizi düşünelim. Bu durumda 33 mod 10 = 3 hücresi dolu olduğu için işlem değişmeden yukarıda olduğu gibi uygulanacaktır:

İkinci dereceden sondalama (quadratic probing)

Doğrusal sondalamayı anladıktan (hatırladıktan) sonra ikinci dereceden sondalamadan bahsedebiliriz. Buradaki yaklaşımda kullanılan formül bir özetleme fonksiyonunda geçildikten sonra çakışma olması durumunda (collision) sürekli olarak bir sonraki hücreye bakmak yerine, her defasında üssel fonksiyon değeri kadar ilerlemektir.

Örneğin yukarıdaki sayılar için aynı veri yapısına ikinci dereceden sondalama ile ekleme işlemi yapalım:

İlk gelen sayı, bir çakışma olmadığı için doğal hücresine yerleştiriliyor. Ardından gelen 31 sayısı için çakışma oluyor. Bu durumda sonraki bakılacak olan hücrenin karesi alınıyor, şu anda ilk çakışma yaşandığı için 1² = 1 yani doğal hücreden bir sonraki hücreye bakıyoruz:

Bu hücre boş olduğu için yerleştirme işlemi tamamlanıyor ve sıradaki sayıya geçiliyor.

Sayımız 41 ve doğal hücresi olan 1. Adreste çakışma yaşanıyor,

ardından 1² = 1 sonraki hücrede de (yani 2. Hücre) çakışma yaşanıyor,

ardından gelen 2² = 4 sonraki hücreye bakılıyor. Dolayısıyla doğrusal sondalamada olduğu gibi 3. Hücreye bakmak yerine 5. Hücreye bakıyoruz:

Sırada 51 bulunuyor ve benzer şekilde doğal hücresi dolu, 1² = 1 sonraki hücre dolu, 2² = 4 sonraki hücre dolu ve nihayet 3² = 9 sonraki hücre boş bulunup yerleştiriliyor.

Yukarıdaki yerleştirme işlemi sırasında mod10 kullanıldığı unutulmamalıdır, bu yüzden 0. Hücreye yerleştirme işlemi yapılmıştır.

Doğrusal sondalama örneğinde olduğu gibi, 33 sayısını da eklemek istediğimizde doğal hücresi boş olduğu için herhangi bir sondalamaya gerek kalmadan yerleştirme işlemi yapılabilir:

Doğrusal sondalamada özetleme fonksiyonundan sonra sırasıyla veri yapısındaki hücrelere bakılır. Bu durum için aşağıdakine benzer bir döngü yazılması gerekir:

Görüldüğü üzere, öncelikle özetleme fonksiyonuna (h) anahtar verilip doğal adres bulunuyor. Bu adresin dolu olması ve sonraki adreslerin de dolu olması durumunda adres değeri arttırılarak devam ediliyor.

İkinci dereceden sondalama kullanılsaydı, bu kodu aşağıdaki şekilde yazmamız gerekecekti:

Yukarıdaki yeni haliyle kodumuz, her defasında artış miktarının karesi kadar sonraki hücreye bakmaktadır.

Yukarıdaki müsvedde kodlar (pseudo codes) ve örnekler fikir vermesi açısından yazılmış olup, özetleme fonksiyonu, doğrusal sondalama ve ikinci dereceden sondalama işlemleri için farklı fonksiyonlar kullanılabilir. Buradaki amaç, ikinci dereceden sondalamada kullanılan fonksiyonun ikinci derece bir denklem olmasıdır.

249 views