Doğal Dil İşleme (NLP)

SimHash (Benzerlik Özeti)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinde, özellikle metin işlemenin yoğun olduğu, arama motoru gibi uygulamalarda dosyaların veya web sitelerinin birbirine olan benzerliğini bulmak için kullanılan bir algoritmadır. Algoritmaya alternatif olarak klasik hash fonksiyonları kullanılabilir. Yani, örneğin iki sayfasnın ayrı ayrı hash değerleri alınıp bu değerleri karşılaştırmak mümkündür. Ancak simhash algoritması, bu yönteme göre daha [...]

n-gram

Yazan: Şadi Evren ŞEKER Verilen bir dizilimdeki (sequence) tekrar oranını bulmaya yarayan yöntemdir. İsmi n ve gram kelimelerinin birleşiminden oluşmaktadır. Buradaki n, tekrarın kontrol edildiği değerdir. Gram ise bu tekrarın dizilim içerisindeki ağrılığını ifade etmek için kullanılmıştır. Örneğin bir dizgi (string) içerisindeki n-gram değerini bulmak isteyelim ve buradaki n değeri 2 olsun (n = 2) [...]

Şadi Evren ŞEKER tarafından, 23/04/2011 tarihinde yazıldı. | Doğal Dil İşleme (NLP), JAVA | A yorum var

Evrimsel Diller (Evolutionary Languages)

Yazan : Şadi Evren ŞEKER Evrimsel diller temel olarak bir doğal dilin (natural language) geçirmiş olduğu evrimi ve bu evrimin dilde yaptığı değişiklikleri inceler. Evrimsel dil çalışmalarının bilgisayar bilimlerindeki yeri, dilbilim ve doğal dil işleme ile ilgilenen insanların dillerdeki bu değişimleri bilgisayar dünyasına uygulama merakıyla başlamıştır. Bu anlamda bilgisayar bilimleri için evrimsel diller literatürde, yapay [...]

Dilin Derecesi (Rate of Language)

Yazan  : Şadi Evren ŞEKER Veri işilemede (veri güvenliği veya veri tabanı gibi teorilerde) bir verinin içinde bulunduğu dilin (language) derecesinden bahsedilebilir. Burada derece (rate) ile kastedilen verinin değişim oranınını bulmaktır. Basitçe verinin entropisinin (dağınımının, entropy) verinin uzunluğuna bölümü ile elde edilir r = H(M) / N Yukarıdaki formülde r, dilin derecesini, H(M) derecesini sorguladığımız [...]

Şadi Evren ŞEKER tarafından, 04/10/2009 tarihinde yazıldı. | Doğal Dil İşleme (NLP), Programlama Dilleri | A yorum var

Özyineli Diller (Recursive Languages)

Yazan : Şadi Evren ŞEKER Özyineli diller matematik, mantık veya bilgisayar bilimlerinde geçen muntazam dillerden (formal language) birisidir. Genellikle kararverilebilir yani Turing makinesi (Turing machine) tarafından işlenebilir diller olarak kabul edilirler. Özyineli diller Chomsky hiyerarşisinde yer almamaktadır. Bir özyineli dili tanımlamak için iki önemli tanım yapılır. Birincisi dilin içerdiği alfabeden üretilebilen güç kümesinin (power set) [...]

Özyineli Geçiş Ağları (Reursive Transition Networks)

Yazan : Şadi Evren ŞEKER Veri modellemede kullanılan bir ağ şeklidir. Esas itibariyle içerikten bağımsız dillerin (context free grammers) görsel gösterimi için kullanılabilirler. Ağların yapısı uzatılmış geçiş ağlarına (augmented transition network) benzemekle birlikte en büyük farkı ve isminin özyineli olmasının da sebebi ağın kendini tekrarlama özelliğidir. Daha basitçe bir içerikten bağımsız dil (CFG) S devamlısı [...]

Gellish (Kontrollü Doğal Dil)

Yazan : Şadi Evren ŞEKER Gellish dileri sınırları ve kuralları insanlar tarafından belirlenen ve istisanası bulunmayan dillerdir. Bu anlamda programlama dilleri de dahil olmak üzere çeşitli kullanım alanları vardır. Etimolojik olarak Genel Mühendislik Dili (Generic Engineering Language) kelimelerinin baş harflerinden oluşan kelime günümüzde mühendislik uygulamalarından farklı alanlarda da kullanılmaktadır. Genellikle karmaşaya yer verilmek istenmeyen açık [...]

Turing Makinesi (Turing Machine)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinin önemli bir kısmını oluşturan otomatlar (Automata) ve Algoritma Analizi (Algorithm analysis) çalıştırmalarının altındaki dil bilimin en temel taşlarından birisidir.1936 yılında Alan Turing tarafından ortaya atılan makine tasarımı günümüzde pekçok teori ve standardın belirlenmesinde önemli rol oynar. Turing Makinesinin Tanımı Basitçe bir kafadan (head) ve bir de teyp bandından [...]

Özyineli Sayılabilir Diller (Recursively Enumerable Languages)

Yazan : Şadi Evren ŞEKER Muntazam dillerden (formal languages) birisi olan ve bu özelliği ile Mantık, Matematik ve Bilgisayar bilimlerinin çalışma alanına giren bir dil çeşididir. Sınıflandırma olarak Chomsky Hiyerarşisinde (Chomsky Hierarchy) 0. seviye olan (Type 0) bu dile uygun bütün diller birer düzenli ifade (regular expression) ile gösterilebilir. Muntazam dil (formal language) olması dolayısıyla [...]

Chomsky Hiyerarşisi ( Chomsky Hierarchy )

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinin özellikle dil alanında yapılan çalışmalarında muntazam dilleri (formal languages) tasnif etmek için kullanılan bir yapıdır. Literatürde Chomsky–Schützenberger hiyerarşisi olarak da geçmektedir. Bilindiği üzere ( muntazam diller (formal langauges) veya CFG yazısından da okunabileceği üzere) muntazam dillerin dört özelliği bulunur. Bunlar özellikle içerikten bağımsız dillerin (context free languages) da [...]

Mana Ağları (Sematic Webs, Anlamsal Ağ)

Yazan : Şadi Evren ŞEKER İnternetin (world wide web) bir alt uzayı olarak düşünülebilecek anlambilimsel ağlar, internet üzerinde bulunan ve doğal dilde yapılan yayınlara bir alternatiftir. Anlambilimsel ağlar, bir bilgi kaynağının makinelere (bilgisayarlar) tarafından işlenebilecek ve bu işleme sonucunda anlamı tam olarak anlaşılabilecek ağlardır. Mânâ ağları (anlambilimsel ağlar) üzerinde yapılan çalışmalarda henüz tam bir kesinlik [...]

Muntazam Diller (Formal Languages)

Yazan : Şadi Evren ŞEKER Kısaca istisnası olmayan dillere muntazam dil diyebiliriz. Muntazam diller bilgisayar bilimlerinde, mantıkta ve dilbilim (linguistic) çalışmalarında kullanılan bir dil ailesidir. Dilde bulunan bütün öğeler ve dilin ulaşabileceği sınırlar belirli kurallar dahilinde tanımlanabiliyorsa bu dillere muntazam dil ismi verilir. Bu anlamda bilgisayar bilimlerinde bulunan bütün programlama dillerini bu ailede düşünmek mümkündür. [...]

Anlamsal Bağ (Semantic Link)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinde yapay zeka konusunda özellikle de doğal dil işleme ile ilgili yapılan çalışmaların önemli bir kısmını anlambilim (sematic) kaplar. Kısaca bir metin veya ortamdan elde edilen bilginin anlamını çıkarmak ve bu anlamı kullanışlı hale getirmek anlambilimin (semantics) çalışma alanına girmektedir. Anlambilimsel bağlar ise bu çıkarımı ve gösterimi yapılan bilgilerin [...]

Sözdizim (Syntax)

Yazan : Şadi Evren ŞEKER Temel olarak bir dilde (language) tanımlı olan öğelerin (kelime, işlem, sembol yada değerlerin) anlamlı bir dizilim oluşturmasıyla ilgilenen bilimdir. Örnekler Örneğin Türkçe için aşağıdaki cümle anlamlı bir cümledir: “Ali okula geldi” yukarıdaki cümlede herhangi bir yazım hatası ve dizilim sorunu bulunmamaktadır. Bununla birlikte: “okula Ali geldi” cümlesi de Türkçe açısından [...]

Anlambilimsel Tertip (Semantic Composition)

Yazan : Şadi Evren ŞEKER Doğal dil işleme çalışmaları sırasında bir metinden (derlem (corpus) , paragraf , cümle veya kelimeden) çıkarılan anlamın bilgisayar tarafından bir şekilde modellenmesi gerekmektedir. Bu modelleme sırasında kullanılan gösterim çeşitlerine anlambilimsel tertip ismi verilir. Anlambilimsel dilbilgisi (semantic grammer) kadar kesin kuralları olmayan bu gösterim şekillerinde çoğu zaman doğru veya yanlış kaygısı [...]

İstatistiksel Dilbilim (Probabilistic Linguistic)

Yazan : Şadi Evren ŞEKER Bilgisayar mühendisliğinin bir alt kolu olan yapay zeka çalışmalarında amaçlardan birisi de insan gibi davranan veya insanı anlayarak yorum yapabilen yazılımlar elde etmektir. Bu amaçla makine insan sınırının (man machine boundary) üzerinde çeşitli çalışmalar yapılmıştır. Bu çalışmaların önemli bir kısmı da insanın kendini ifade yöntemi olan ve diğer insanlarla iletişim [...]

Şadi Evren ŞEKER tarafından, 16/06/2009 tarihinde yazıldı. | Doğal Dil İşleme (NLP) | A yorum var

Augmented Transition Network (ATN, Uzatılmış Geçiş Ağı)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinde özellikle de yapay zeka konusunda ve buna bağlı diğer alt dallarda (örneğin doğal dil işleme) kullanılan bir graf teori (graph theory) gösterimidir. Kelime anlamı olarak uzatılmış geçiş ağı (tehir-i intikal şebekesi) denilen ağların amacı toplanan bilgilere göre bir karar vermek ve karar verme işlemi sırasında da bir belirsizlik [...]

Definite Clause Grammer (Belirli Cümle Dilbilgisi DCG)

Yazan : Şadi Evren ŞEKER Kısaca DCG olarak da adlandırılan bu yapılar, doğal dil işleme konusunda şablon (template) yapılarından daha farklı ve daha insana yakın bir yapıya sahiptir. DCG’ye göre cümlede bulunan yazıların birer dizgi (String) veya harf olarak görülmesinden öte bu yazıların anlamsal olarak gruplanması beklenir. Örneğin “Ali okula doğru emin adımlarla yürüyordu” Cümlesindeki [...]

Şadi Evren ŞEKER tarafından, tarihinde yazıldı. | Doğal Dil İşleme (NLP) | A yorum var

Pragma (Edimbilim, kullanımbilim, Fiili, Ameli)

Yazan : Şadi Evren ŞEKER Genel olarak dildeki cümlelerin ve kelimelerin anlattıklarından daha ötede bulunan anlamı ifade eder. Örneğin bir kişiye “saatin var mı?” diye bir soru sorulursa buradaki anlam aslında saatin kaç olduğunun sorulmasıdır. Yani bu cümledeki pragmatik ifade saatin sorgulanmasıdır. Yukarıdaki bu soruya kişi “Evet var” şeklinde bir cevap verirse sorudaki pragmayı kaçırmış [...]

Allen Fasıla Mantığı (Allen’s Interval Logic)

Yazan : Şadi Evren ŞEKER 1983 yılında James F. Allen tarafından ortaya atılan ve zaman modellemek için kullanılan mantıktır. Bu mantık bilgisayar bilimlerinde zaman çıkarımına dayalı doğal dil çalışmalarında önemli bir modelleme şeklidir. Mantık basitçe olayları ve olaylar arasındaki ilişkileri modellemek üzerine kuruludur. Bu ilişki şekillerini göstermek amacıyla bir tablo hazırlanmıştır. Aşağıda bu tablo görülebilir: [...]

Şadi Evren ŞEKER tarafından, 20/05/2009 tarihinde yazıldı. | Doğal Dil İşleme (NLP) | 1 yorum var

Haber (Predicate)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinde önemli bir rol oynayan dilbilimi ve dil felsefesinin önemli unsurlarından birisidir. Bir cümlenin iki önemli unsurundan birisi olarak kabul edebiliriz. Haber-müpteda ilişkisi (Subject-Predicate) veya Özne-yüklem ilişkisi de denilebilir. İçerik 1. Haberin dilbilimsel incelemesi 2. Dilbiliminde haber sınıfları a. Hal haberleri b. kişisel haberler c. Nevi Haberler 3. Dağıtıcı [...]

Şadi Evren ŞEKER tarafından, 07/05/2009 tarihinde yazıldı. | bilgisayar felsefesi, Doğal Dil İşleme (NLP) | A yorum var

Şekli Mantık (Kipler Mantığı, Modal Logic)

Yazan : Şadi Evren ŞEKER Mantığın bir türü olan şekli mantığında şekiller (modal) bir kaziyenin (önerme) doğruluğunu göstermek için kullanılır. Genel olarak şekil mantığında gösterilen 3 tip şekil bulunur: olabilirlik (possibility) ihtimal (probability) gereklilik (necessity) Doğal dil açısından ve dilbilim gözüyle şekli mantığıa bakarsak, aslında yukarıdaki bu liste ve şekil mantığının dayanağı İngilizcede açıkça kullanılan [...]

Zamansal Mantık (Temporal Logic)

Yazan : Şadi Evren ŞEKER Bilgisayar mühendisliğinin önemli parçalarından birisi de modellemedir. Çeşitli alanlarda veri modellemesi yapılan bilgisayar bilimlerinin, modellemeye ihtiyaç duyduğu bir konu da zaman modellemesidir. Yani kaziyelerin (önerme, predicate) ifade ettikleri zamanı modellemek için bir sistem geliştirilmesi gerekmektedir. Aslında antik yunan ve Aristo zamanından beri üzerinde çalışılan zaman modellemesi konusunda yapılan ilk çalışmalar [...]

Şadi Evren ŞEKER tarafından, 06/05/2009 tarihinde yazıldı. | bilgisayar felsefesi, Doğal Dil İşleme (NLP) | A yorum var

Dilbilgisel Bakış (Grammatical Aspect)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinin güncel araştırma konularından olan doğal dil işleme (natural language processing) ve dil bilim (linguistics) konusundan önemli olan bilbilgisel bakış (grammatical aspect), kabaca bir fiilin zamanının başka bir fiil ile aynı bakışa sahip olmasıdır. Yani örneğin “geldim” fiilinin zamanı ile “geliyordum” fiilinin zamanları geçmiş zamandır ancak bakışları aynı değildir. [...]

Şadi Evren ŞEKER tarafından, tarihinde yazıldı. | Doğal Dil İşleme (NLP) | A yorum var

Kelimebilimsel Bakış (Lexical Aspect)

Yazan : Şadi Evren ŞEKER Bilgisayar bilimlerinin bir çalışma alanı olan doğal dil işleme (Natural Language Processing) konusunda özellikle zaman kavramı önemli bir yer tutar. Bir eylemin (fiil , event) zamanının tutulması için çeşitli sınıflandırma yöntemleri geliştirilmiştir. Bu yöntemlerden birisi de bakış’ın zamanının tespit edilmesidir örneğin bu amaçla Reichenbach zaman analizi yöntemi kullanılan bir yöntemdir. [...]

Şadi Evren ŞEKER tarafından, 04/05/2009 tarihinde yazıldı. | Doğal Dil İşleme (NLP) | A yorum var