Noam Chomsky'nin Chomsky Hiyerarşisi Nedir 
Biçimsel Diller, Gramerler Ve Bilgisayar Bilimleri Nasıl Açıklanır
Chomsky Hiyerarşisi, Noam Chomsky'nin biçimsel diller ve gramerler alanına kazandırdığı en önemli kuramsal yapılardan biridir. Bu hiyerarşi, dilleri ve onları üreten gramerleri karmaşıklık düzeylerine göre sınıflandırır. İlk bakışta teknik bir bilgisayar bilimi konusu gibi görünse de aslında çok daha derin bir düşünceye dayanır: Bir dil hangi kurallarla üretilebilir, hangi yapılar hangi tür makineler tarafından tanınabilir ve insan dilinin biçimsel sınırları nasıl anlaşılabilir
Chomsky Hiyerarşisi, yalnızca dilbilim için değil; bilgisayar bilimleri, otomata teorisi, programlama dilleri, derleyiciler, yapay zekâ, doğal dil işleme ve matematiksel mantık açısından da büyük öneme sahiptir.
Bu hiyerarşi bize şunu gösterir: Her dil aynı karmaşıklıkta değildir. Bazı diller çok basit kurallarla tanınabilirken, bazıları daha güçlü gramerler, daha gelişmiş bellek yapıları ve daha karmaşık hesaplama sistemleri gerektirir.
Chomsky Hiyerarşisi Nedir
Chomsky Hiyerarşisi, biçimsel dilleri ve bu dilleri üreten gramerleri dört temel düzeye ayıran kuramsal bir sınıflandırmadır. Bu sınıflandırma, bir dilin hangi tür kurallarla üretilebileceğini ve hangi tür otomata tarafından tanınabileceğini gösterir.
Hiyerarşi genel olarak şu dört düzeyden oluşur:
| Tür | Dil Sınıfı | Gramer Türü | Tanıyan Makine |
|---|---|---|---|
| Tip 3 | Düzenli Diller | Düzenli Gramerler | Sonlu Otomat |
| Tip 2 | Bağlamdan Bağımsız Diller | Bağlamdan Bağımsız Gramerler | Yığıtlı Otomat |
| Tip 1 | Bağlama Duyarlı Diller | Bağlama Duyarlı Gramerler | Doğrusal Sınırlı Otomat |
| Tip 0 | Özyinelemeli Olarak Sayılabilir Diller | Kısıtsız Gramerler | Turing Makinesi |
Bu tablo, teknik görünse de temel mantığı şudur: Bir dilin karmaşıklığı arttıkça, onu tanımak veya üretmek için gereken kurallar ve makineler de güçlenir.
Chomsky Hiyerarşisi, dilin yalnızca konuşulan bir şey olmadığını; aynı zamanda kurallar, semboller, üretim sistemleri ve hesaplama gücü üzerinden incelenebileceğini gösterir.
Biçimsel Dil Nedir
Biçimsel dil, belirli bir alfabe üzerindeki sembol dizilerinden oluşan kurallı bir yapıdır. Burada "dil" kelimesi yalnızca Türkçe, İngilizce veya Arapça gibi doğal dilleri ifade etmez. Matematikte ve bilgisayar biliminde dil, belirli kurallara göre oluşturulmuş sembol dizileri anlamına gelir.
Mesela bir alfabe düşünelim:
{a, b}
Bu alfabeden şu diziler üretilebilir:
a
b
ab
ba
aabb
abab
bbb
Fakat bir biçimsel dil, bu dizilerin hepsini kabul etmeyebilir. Belirli kurallara göre yalnızca bazılarını dilin parçası sayabilir.
Örneğin şöyle bir dil tanımlayalım:
Sadece a ile başlayıp b ile biten diziler.
Bu durumda:
ab kabul edilir.
aab kabul edilir.
abb kabul edilir.
ba kabul edilmez.
bbb kabul edilmez.
Biçimsel dilin amacı, sembollerin hangi kurallarla geçerli veya geçersiz olduğunu belirlemektir.
Bu düşünce bilgisayar biliminde çok önemlidir. Çünkü programlama dilleri, veri formatları, komut dizileri ve algoritmik yapılar da belirli biçimsel kurallara göre çalışır.
Gramer Nedir
Gramer, bir dilde geçerli sembol dizilerini üretmeye yarayan kurallar bütünüdür. Doğal dillerde gramer, cümlelerin nasıl kurulacağını belirler. Biçimsel dillerde ise gramer, hangi sembol dizilerinin üretilebileceğini tanımlar.
Bir gramer genel olarak şunlardan oluşur:
Semboller
Başlangıç simgesi
Üretim kuralları
Terminal ve terminal olmayan öğeler
Basitçe söylemek gerekirse gramer, bir dilin üretim makinesidir.
Mesela şu tür bir kural düşünelim:
S → aS
S → b
Bu kurallar şu dizileri üretebilir:
b
ab
aab
aaab
Yani bu gramer, sıfır veya daha fazla a harfinden sonra gelen bir b ile biten diziler üretir.
Bu çok basit bir örnektir; fakat mantık büyüktür: Bir dilin bütün geçerli ifadeleri, belirli kurallar aracılığıyla üretilebilir.
Chomsky Hiyerarşisi, işte bu gramerleri güçlerine ve karmaşıklıklarına göre sınıflandırır.
Chomsky Hiyerarşisi Neden Önemlidir
Chomsky Hiyerarşisi önemlidir çünkü dil, gramer ve hesaplama arasındaki ilişkiyi sistemli biçimde açıklar. Bir dilin hangi tür kurallarla üretilebileceğini ve hangi tür makineyle tanınabileceğini gösterir.
Bu hiyerarşi şu alanlarda büyük öneme sahiptir:
Programlama dilleri
Derleyici tasarımı
Otomata teorisi
Biçimsel mantık
Yapay zekâ
Doğal dil işleme
Dilbilim
Matematiksel hesaplama kuramı
Mesela bir programlama dili tasarlanırken, o dilin sözdizimi belirli gramerlerle tanımlanır. Derleyiciler, yazılan kodun bu gramerlere uygun olup olmadığını kontrol eder.
Bir kod satırı doğru kurallara uygunsa çalışabilir. Kurallara uymuyorsa hata verir.
Bu nedenle Chomsky Hiyerarşisi, yalnızca soyut bir teori değildir. Bugün kullandığımız yazılım dünyasının arkasında bu tür biçimsel dil anlayışları vardır.
Hiyerarşinin büyük mesajı şudur:
Dil, kurallarla üretilebilir; kurallar ise hesaplama sistemleriyle tanınabilir.
Tip 3 Düzenli Diller Nedir
Tip 3 diller, Chomsky Hiyerarşisi'nin en basit düzeyidir. Bunlara düzenli diller denir. Düzenli diller, oldukça sınırlı ama çok kullanışlı biçimsel dillerdir.
Bu diller, sonlu otomatlar tarafından tanınabilir. Yani bu tür dilleri tanımak için sınırsız hafızaya gerek yoktur. Sistem, sınırlı sayıda durum arasında geçiş yaparak dizinin geçerli olup olmadığını kontrol eder.
Örnek:
Sadece "a" harfinden oluşan diziler
Geçerli diziler:
a
aa
aaa
aaaa
Bu dil düzenli bir dildir. Çünkü çok basit bir kuralla tanınabilir.
Düzenli diller özellikle şu alanlarda kullanılır:
Düzenli ifadeler
Metin arama
Basit sözdizim kontrolleri
Token ayırma
Derleyicilerin ilk aşamaları
Dosya desenleri ve filtreleme
Mesela bir metinde e-posta adresi, telefon numarası veya belirli bir kelime deseni aramak için kullanılan regular expression mantığı, düzenli dillerle yakından ilişkilidir.
Düzenli diller basittir; fakat bilgisayar dünyasında son derece güçlü ve pratik araçlardır.
Sonlu Otomat Nedir
Sonlu otomat, düzenli dilleri tanımaya yarayan basit hesaplama modelidir. Sonlu otomatın sınırlı sayıda durumu vardır ve okuduğu sembole göre bir durumdan başka bir duruma geçer.
Bunu bir kapı kontrol sistemi gibi düşünebiliriz. Sistem, gelen sembollere bakar ve her sembolde bir sonraki duruma geçer. Sonunda kabul durumuna ulaşırsa diziyi geçerli sayar.
Sonlu otomatın temel özellikleri şunlardır:
Sınırlı sayıda durumu vardır.
Sınırsız hafıza kullanmaz.
Sembolleri sırayla okur.
Her sembolde durum değiştirir.
Sonunda kabul veya reddetme kararı verir.
Mesela bir otomat, bir dizinin ab ile bitip bitmediğini kontrol edebilir. Bunun için sadece son birkaç sembolü takip etmesi yeterlidir.
Sonlu otomatlar basit ama çok etkilidir. Özellikle bilgisayar biliminde:
Metin işleme
Desen tanıma
Sözcüksel çözümleme
Protokol kontrolü
Basit dil tanıma
alanlarında önemli rol oynar.
Sonlu otomat bize şunu gösterir: Bazı dilleri tanımak için büyük bir hafızaya gerek yoktur; sınırlı durum bilgisi yeterlidir.
Düzenli İfadeler Chomsky Hiyerarşisiyle Nasıl İlişkilidir
Düzenli ifadeler, düzenli dilleri pratik biçimde tanımlamak için kullanılan güçlü araçlardır. Bilgisayar programlamada sıkça kullanılan regex yapıları, belirli metin desenlerini bulmaya, ayıklamaya veya doğrulamaya yarar.
Örnek olarak:
[0-9]+
Bu ifade, bir veya daha fazla rakamdan oluşan dizileri tanıyabilir.
Ya da:
[a-zA-Z]+
Bu ifade, harflerden oluşan kelime benzeri dizileri bulabilir.
Düzenli ifadeler şu işlerde kullanılır:
E-posta doğrulama
Telefon numarası bulma
Metin temizleme
Log dosyası analiz etme
Arama ve değiştirme işlemleri
Kod içinde token ayırma
Düzenli ifadeler, Chomsky Hiyerarşisi'nin en alt düzeyi olan düzenli dillerle ilişkilidir. Bu diller çok karmaşık iç içe yapıları tanıyamaz; fakat tekrar eden basit desenlerde çok başarılıdır.
Mesela düzenli ifade, basit bir kelime desenini tanıyabilir; fakat sonsuz iç içe parantez yapıları gibi daha karmaşık yapıları tanımakta yetersiz kalır.
Bu yüzden düzenli ifadeler güçlüdür ama sınırları vardır. Chomsky Hiyerarşisi, bize bu sınırları anlamayı öğretir.
Tip 2 Bağlamdan Bağımsız Diller Nedir
Tip 2 diller, yani bağlamdan bağımsız diller, düzenli dillerden daha güçlüdür. Bu diller, özellikle iç içe yapıları ve hiyerarşik düzenleri ifade etmek için kullanılır.
Bağlamdan bağımsız gramerlerde üretim kuralları genellikle şu biçimdedir:
A → α
Burada sol tarafta tek bir terminal olmayan sembol bulunur. Sağ tarafta ise terminal ve terminal olmayan semboller yer alabilir.
Bu tür diller, yığıtlı otomatlar tarafından tanınabilir. Yığıtlı otomatlar, sonlu otomatlardan farklı olarak bir yığıt belleği kullanır. Bu bellek, iç içe yapıları takip etmeyi sağlar.
Örnek:
aⁿbⁿ
Bu dil, aynı sayıda a ve ardından aynı sayıda b içeren dizilerden oluşur.
Geçerli diziler:
ab
aabb
aaabbb
aaaabbbb
Bu dil düzenli değildir; çünkü sistem kaç tane a gördüğünü hatırlamalı ve sonra aynı sayıda b beklemelidir. Bunun için bellek gerekir.
Bağlamdan bağımsız diller, programlama dillerinin sözdizimini tanımlamada çok önemlidir.
Yığıtlı Otomat Nedir
Yığıtlı otomat, bağlamdan bağımsız dilleri tanıyabilen hesaplama modelidir. Sonlu otomata benzer; fakat ek olarak bir yığıt belleği vardır.
Yığıt, son giren ilk çıkar mantığıyla çalışır. Bunu üst üste konulan tabaklar gibi düşünebiliriz. En son koyduğun tabağı ilk alırsın.
Yığıtlı otomat şu tür yapıları tanımada güçlüdür:
İç içe parantezler
Eşleşen açma-kapama sembolleri
aⁿbⁿ gibi sayma gerektiren yapılar
Programlama dillerindeki blok yapıları
Fonksiyon ve ifade hiyerarşileri
Mesela şu parantez dizisi doğrudur:
((()))
Çünkü her açılan parantez kapanmıştır.
Şu ise bozuktur:
(()))(
Çünkü parantezler doğru sırayla eşleşmez.
Yığıtlı otomat, açılan parantezleri yığıta koyar, kapanan parantezleri gördüğünde yığıttan çıkarır. Böylece eşleşme kontrolü yapar.
Bu yapı, programlama dillerinde çok önemlidir. Çünkü kodlarda parantezler, bloklar, fonksiyon çağrıları ve iç içe ifadeler sıkça kullanılır.
Programlama Dilleri Neden Bağlamdan Bağımsız Gramerlerle İlişkilidir
Programlama dilleri, belirli sözdizim kurallarına göre çalışır. Bir kodun geçerli olabilmesi için sembollerin doğru sırada, doğru yapıda ve doğru ilişkilerle kullanılması gerekir.
Bu nedenle programlama dillerinin sözdizimi çoğu zaman bağlamdan bağımsız gramerlerle tanımlanır.
Örneğin bir programlama dilinde şu yapılar olabilir:
if koşulu
for döngüsü
fonksiyon tanımı
parantezli ifadeler
matematiksel işlemler
blok yapıları
Bunlar çoğu zaman iç içe geçebilir:
if (x > 0) {
while (y < 10) {
y = y + 1;
}
}
Bu tür yapılar düzenli dillerle kolayca açıklanamaz. Çünkü iç içe yapıları takip etmek gerekir. Bağlamdan bağımsız gramerler bu konuda güçlüdür.
Derleyiciler, kodun sözdizimini kontrol ederken bu gramerlerden yararlanır. Kod kurallara uygunsa ayrıştırılır; uygun değilse hata mesajı verilir.
Bu yüzden Chomsky Hiyerarşisi, yazılım dünyasının temelinde yer alan teorilerden biridir.
Derleyiciler Chomsky Hiyerarşisinden Nasıl Yararlanır
Derleyici, programlama diliyle yazılmış kodu bilgisayarın çalıştırabileceği biçime dönüştüren yazılımdır. Derleyiciler, kodu anlamak için birkaç aşamadan geçirir.
Bu aşamalarda Chomsky Hiyerarşisi'ndeki dil sınıfları önemli rol oynar:
| Derleyici Aşaması | İlgili Dil Yapısı |
|---|---|
| Sözcüksel çözümleme | Düzenli diller ve düzenli ifadeler |
| Sözdizimsel çözümleme | Bağlamdan bağımsız gramerler |
| Anlamsal çözümleme | Daha karmaşık bağlam bilgisi |
| Kod üretimi | Hedef makine dili ve optimizasyon |
Örneğin derleyici önce kodu küçük parçalara ayırır:
anahtar kelimeler
değişken adları
sayılar
operatörler
parantezler
Bu aşamada düzenli ifadeler kullanılabilir.
Sonra bu parçaların doğru sırayla bir cümle veya yapı oluşturup oluşturmadığı kontrol edilir. Bu aşamada bağlamdan bağımsız gramerler devreye girer.
Bu nedenle Chomsky Hiyerarşisi, derleyicilerin teorik temelini oluşturan ana yapılardan biridir.
Tip 1 Bağlama Duyarlı Diller Nedir
Tip 1 diller, yani bağlama duyarlı diller, bağlamdan bağımsız dillerden daha karmaşıktır. Bu dillerde bir sembolün nasıl üretileceği, içinde bulunduğu bağlama bağlı olabilir.
Bağlama duyarlı gramerlerde kurallar, üretim yapılırken çevredeki sembolleri de dikkate alabilir. Bu, dili daha güçlü ve daha karmaşık hale getirir.
Örnek olarak şu dil düşünülebilir:
aⁿbⁿcⁿ
Bu dil, aynı sayıda a, ardından aynı sayıda b, ardından aynı sayıda c içeren dizilerden oluşur.
Geçerli diziler:
abc
aabbcc
aaabbbccc
Bu dil, bağlamdan bağımsız dillerle kolayca tanınamaz. Çünkü üç farklı sembol grubunun sayısının eşitliğini takip etmek gerekir.
Bağlama duyarlı diller, daha güçlü bellek ve daha karmaşık kontrol gerektirir.
Bu tür diller teorik bilgisayar biliminde önemlidir; fakat pratik programlama dili sözdiziminin çoğu genellikle bağlamdan bağımsız gramerlerle tanımlanmaya çalışılır. Yine de bazı anlam ve tür kontrolleri bağlama duyarlı özellikler taşıyabilir.
Doğrusal Sınırlı Otomat Nedir
Doğrusal sınırlı otomat, bağlama duyarlı dilleri tanıyabilen hesaplama modelidir. Turing makinesine benzer; fakat kullanabileceği bellek, giriş uzunluğuyla doğrusal olarak sınırlıdır.
Yani bu makine sınırsız bellek kullanmaz. Giriş ne kadar uzunsa, makinenin kullanabileceği alan da onunla orantılıdır.
Doğrusal sınırlı otomat şu tür yapıları tanımakta kullanılır:
Daha karmaşık sayı eşitlikleri
Bağlama duyarlı bağımlılıklar
Çok katmanlı sembol ilişkileri
Bazı doğal dil yapılarına benzeyen karmaşıklıklar
Bu model, teorik olarak önemlidir çünkü düzenli ve bağlamdan bağımsız dillerden daha güçlü, fakat genel Turing makinesinden daha sınırlı bir hesaplama düzeyi gösterir.
Bunu şöyle düşünebiliriz:
Sonlu otomat basit hafızasız kontrol yapar.
Yığıtlı otomat tek yığıt bellek kullanır.
Doğrusal sınırlı otomat daha geniş ama sınırlı bir çalışma alanı kullanır.
Turing makinesi ise teorik olarak sınırsız hesaplama alanına sahiptir.
Bu ayrım, dillerin hesaplama açısından ne kadar güçlü sistemler gerektirdiğini anlamamıza yardım eder.
Tip 0 Kısıtsız Gramerler Nedir
Tip 0 diller, Chomsky Hiyerarşisi'nin en genel ve en güçlü düzeyidir. Bunlara özyinelemeli olarak sayılabilir diller de denir. Bu diller, kısıtsız gramerler tarafından üretilebilir ve Turing makineleri tarafından tanınabilir.
Tip 0 gramerlerde üretim kuralları çok daha serbesttir. Bu nedenle diğer dil türlerinden çok daha geniş bir ifade gücüne sahiptir.
Tip 0 düzeyi, hesaplanabilirlik kuramıyla yakından ilişkilidir. Çünkü Turing makinesi, teorik olarak hesaplanabilir tüm süreçleri modellemek için kullanılan en güçlü klasik hesaplama modelidir.
Fakat burada önemli bir nokta vardır: Turing makinesi bir diziyi kabul edebilir; ancak bazı durumlarda reddetmek yerine sonsuza kadar çalışabilir. Bu yüzden Tip 0 dillerde karar verme problemi daha karmaşık hale gelir.
Tip 0 dillerin önemi şuradadır:
Hesaplanabilirlik sınırlarını gösterir.
Genel algoritmik süreçlerle ilişkilidir.
Matematiksel mantık ve bilgisayar biliminin derin temellerine bağlanır.
Dilin en geniş biçimsel üretim gücünü temsil eder.
Bu düzey, dil kuramının hesaplama kuramıyla birleştiği en derin alanlardan biridir.
Turing Makinesi Nedir
Turing makinesi, hesaplama kuramının en temel modellerinden biridir. Sonsuz uzunlukta olduğu varsayılan bir bant, bu bant üzerinde hareket eden bir okuma-yazma kafası ve belirli durumlara göre çalışan kurallardan oluşur.
Turing makinesi basit görünür; fakat teorik olarak çok güçlüdür. Bilgisayarların yapabileceği her hesaplama, uygun biçimde bir Turing makinesiyle modellenebilir kabul edilir.
Turing makinesinin temel unsurları şunlardır:
Bant
Okuma-yazma kafası
Durumlar
Geçiş kuralları
Başlangıç durumu
Kabul veya durma koşulları
Turing makinesi, Tip 0 dilleri tanıyan kuramsal modeldir. Bu nedenle Chomsky Hiyerarşisi'nin en üst düzeyiyle ilişkilidir.
Turing makinesi şu büyük soruyu temsil eder:
Hangi problemler algoritmik olarak çözülebilir
Bu soru, bilgisayar biliminin en derin sorularından biridir. Chomsky Hiyerarşisi, dil kuramını bu hesaplanabilirlik dünyasına bağlayan güçlü bir köprü kurar.
Hiyerarşide Diller Birbirini Kapsar mı
Evet. Chomsky Hiyerarşisi'nde dil sınıfları birbirini kapsayan bir yapıdadır. En basit sınıf, daha güçlü sınıfların içinde yer alır.
Genel kapsama ilişkisi şu şekildedir:
Düzenli diller ⊂ Bağlamdan bağımsız diller ⊂ Bağlama duyarlı diller ⊂ Özyinelemeli olarak sayılabilir diller
Bunun anlamı şudur:
Her düzenli dil aynı zamanda bağlamdan bağımsızdır.
Her bağlamdan bağımsız dil aynı zamanda bağlama duyarlıdır.
Her bağlama duyarlı dil daha genel hesaplanabilir dil sınıfları içinde yer alabilir.
Fakat tersine doğru bu her zaman geçerli değildir.
Yani:
Her bağlamdan bağımsız dil düzenli değildir.
Her bağlama duyarlı dil bağlamdan bağımsız değildir.
Her Tip 0 dil bağlama duyarlı değildir.
Bu kapsama ilişkisi, hiyerarşinin neden "hiyerarşi" olduğunu gösterir.
Her üst düzey, daha güçlü bir ifade kapasitesi taşır. Fakat bu güç aynı zamanda daha karmaşık analiz ve daha zor hesaplama anlamına gelir.
Doğal Diller Chomsky Hiyerarşisinde Nereye Yerleşir
Doğal diller, yani Türkçe, İngilizce, Arapça, Almanca gibi insan dilleri, Chomsky Hiyerarşisi açısından oldukça ilginçtir. Çünkü doğal diller, tamamen düzenli diller kadar basit değildir. İç içe yapılar, bağımlılıklar, anlam ilişkileri ve bağlam etkileri taşır.
Bazı doğal dil yapıları bağlamdan bağımsız gramerlerle yaklaşık biçimde modellenebilir. Fakat doğal dillerin tamamını yalnızca bağlamdan bağımsız gramerlerle açıklamak zor olabilir.
Doğal dillerde şu karmaşıklıklar bulunur:
İç içe cümleler
Uzun mesafeli bağımlılıklar
Anlam ve bağlam etkileri
Vurgu ve söylem düzeni
Belirsizlikler
Kültürel kullanım farkları
Eksiltili ifadeler
Mecaz ve ima
Bu nedenle insan dili, biçimsel dil sınıflandırmalarına tamamen kolayca sığmaz. Chomsky Hiyerarşisi doğal dilleri anlamak için güçlü bir soyut model sunar; fakat doğal dilin bütün zenginliği yalnızca biçimsel kurallarla bitmez.
İnsan dili hem biçimsel hem anlamsal hem toplumsal hem de bilişsel bir mucizedir.
Chomsky Hiyerarşisi Yapay Zekâ Ve NLP İçin Neden Önemlidir
Chomsky Hiyerarşisi, yapay zekâ ve doğal dil işleme için önemlidir çünkü dilin hangi tür yapılarla çözümlenebileceğini anlamaya yardım eder.
Doğal dil işleme sistemleri şu görevlerle ilgilenir:
Cümle ayrıştırma
Kelime türü belirleme
Sözdizim ağacı çıkarma
Anlam ilişkilerini çözme
Makine çevirisi
Konuşma tanıma
Metin üretimi
Soru cevaplama
Bu görevlerin bazıları basit desen tanımayla yapılabilir. Bazıları ise daha derin yapı çözümlemesi gerektirir.
Örneğin bir e-posta adresini bulmak düzenli ifadeyle yapılabilir. Fakat bir cümlenin öznesini, nesnesini, bağlamını, ima edilen anlamını ve duygusunu çözmek çok daha karmaşıktır.
Chomsky Hiyerarşisi, bu farkı anlamamıza yardım eder:
Her dilsel problem aynı düzeyde değildir.
Bazıları basit otomata ile çözülür.
Bazıları yığıt belleği ister.
Bazıları daha güçlü hesaplama ve bağlam gerektirir.
Bazıları ise insan anlam dünyasına bağlıdır.
Bu yüzden hiyerarşi, yapay zekâ çağında bile dilin karmaşıklığını düşünmek için değerli bir teorik haritadır.
Son Söz Dil, Gramer Ve Hesaplama Aynı Büyük Düzenin Farklı Yüzleri midir
Chomsky Hiyerarşisi bize dilin yalnızca konuşulan kelimelerden ibaret olmadığını gösterir. Dil, aynı zamanda kurallar, semboller, üretim sistemleri, makineler, bellek yapıları ve hesaplama gücü ile anlaşılabilecek derin bir düzendir.
Bu hiyerarşi, basitten karmaşığa doğru ilerleyen büyük bir düşünce merdiveni gibidir.
En altta düzenli diller vardır; basit desenleri tanır.
Sonra bağlamdan bağımsız diller gelir; iç içe yapıları kurar.
Daha yukarıda bağlama duyarlı diller bulunur; karmaşık bağımlılıkları işler.
En geniş düzeyde ise Turing makineleriyle ilişkili kısıtsız gramerler yer alır.
Bu yapı bize şunu öğretir:
Her dil aynı güçte değildir.
Her gramer aynı ifade kapasitesine sahip değildir.
Her hesaplama modeli aynı tür yapıları tanıyamaz.
Dilsel karmaşıklık arttıkça, gereken zihinsel veya makinesel güç de artar.
Noam Chomsky'nin bu hiyerarşisi, dilbilim ile bilgisayar bilimleri arasında büyük bir köprü kurmuştur. Çünkü dilin biçimsel yapısını anlamak, aynı zamanda hesaplamanın sınırlarını, programlama dillerinin mantığını ve yapay sistemlerin dili nasıl işleyebileceğini anlamak demektir.
Ve en derinde şu büyük hakikat belirir: Dil, insan zihninde şiir olur; matematikte gramer olur; bilgisayarda algoritma olur; fakat her yerde anlamı düzenleyen bir yapı olarak varlığını sürdürür.
