Yeni yerli yapay zeka: “Kumru” neler yapabiliyor? İşte özellikleri

VNGRS tarafından geliştirilen Kumru LLM, sıfırdan eğitilen 7,4 milyar parametreli bir Türkçe büyük lisan modeli olarak dikkat çekiyor.

VNGRS grubu, Türkçe lisanına mahsus yapısal özellikleri dikkate alarak, çok lisanlı modellerden türetilmeyen büsbütün sıfırdan geliştirilmiş bir model inşa etti.

Şirket açıklamasında şu tabirler yer aldı:

“Türkiye’nin şirket içinde konuşlandırılabilen temel bir LLM modeline muhtaçlık duyduğuna inanarak, Türkçe lisanında güvenlik, uyumluluk ve harikalık konuları göz önüne alındığında, tüketici sınıfı GPU’larda bile konuşlandırılabilen hafif, sıfır atışlı 7B parametreli bir LLM oluşturmaya karar verdik.”

Kumru, 7,4 milyar parametre kapasitesiyle yüksek lisan sürece gücü sunarken, yalnızca 16 GB VRAM’e sahip donanımlarda bile çalışabiliyor. Bu özellik,…

VNGRS tarafından geliştirilen Kumru LLM, sıfırdan eğitilen 7,4 milyar parametreli bir Türkçe büyük lisan modeli olarak dikkat çekiyor.

VNGRS grubu, Türkçe lisanına mahsus yapısal özellikleri dikkate alarak, çok lisanlı modellerden türetilmeyen büsbütün sıfırdan geliştirilmiş bir model inşa etti.

Şirket açıklamasında şu tabirler yer aldı:

“Türkiye’nin şirket içinde konuşlandırılabilen temel bir LLM modeline muhtaçlık duyduğuna inanarak, Türkçe lisanında güvenlik, uyumluluk ve harikalık konuları göz önüne alındığında, tüketici sınıfı GPU’larda bile konuşlandırılabilen hafif, sıfır atışlı 7B parametreli bir LLM oluşturmaya karar verdik.”

Kumru, 7,4 milyar parametre kapasitesiyle yüksek lisan sürece gücü sunarken, yalnızca 16 GB VRAM’e sahip donanımlarda bile çalışabiliyor. Bu özellik, modeli büyük sunucu altyapılarına gerek kalmadan kullanılabilir hale getiriyor.

Ayrıca “zero-shot” (sıfır atış) yeteneği sayesinde, daha evvel görmediği misyonlarda bile hakikat varsayımlar üretebiliyor.

TEKNİK ÖZELLİKLERİ

Kumru, 45 günlük ağır bir ön eğitim süreci sonunda geliştirildi. Eğitim, H100 ve H200 GPU’lar kullanılarak 500 GB’lık ihtimamla temizlenmiş ve tekilleştirilmiş Türkçe bilgi kümesi üzerinde gerçekleştirildi.

Bu süreçte model, 300 milyar jetonla (kelime yahut söz parçası) eğitildi. Akabinde, yaklaşık 1 milyon örnekten oluşan bir data karışımıyla ince ayar (fine-tuning) kademesi tamamlandı.

Kumru’nun teknik yapısı, Mistral-v0.3 mimarisi üzerine inşa edildi. Fakat VNGRS takımı, sürgülü pencere özelliğini devre dışı bırakarak modeli LLaMA-3 mimarisiyle muadil hale getirdi. Ayrıyeten modelin öğrenme oranı, optimizasyon algoritması ve parti boyutu ayarları, LLaMA-3 teknik makalesi temel alınarak optimize edildi.

Kumru’nun bağlam uzunluğu 8.192 Türkçe jeton — yani yaklaşık 20 A4 sayfalık metin manasına geliyor. Bu, modelin uzun dokümanları, raporları yahut mukaveleleri bir bütün olarak anlayabilmesini sağlıyor.

Kumru’nun en dikkat cazip istikametlerinden biri de donanım verimliliği. Model, sırf 16 GB VRAM’e sahip RTX A4000 yahut RTX 3090 üzere tüketici sınıfı GPU’larda çalışabiliyor.

AÇIK KAYNAK SÜRÜMÜ: KUMRU-2B

VNGRS, 7B modelinin yanı sıra daha küçük ve erişilebilir bir versiyonu olan Kumru-2B’yi de açık kaynak olarak yayınladı.

Bu model, 8.192 jetonluk bağlam uzunluğuna ve 300 milyar ön eğitim jetonuna sahip.

Üstelik yalnızca 4,8 GB bellekle çalışabiliyor, bu da taşınabilir aygıtlarda bile dağıtım yapılabileceği manasına geliyor.

DİĞER MODELLERİ GERİDE BIRAKTI

Kumru, dilbilgisi düzeltme, özetleme, soru yanıtlama, makine çevirisi, doğal lisan çıkarımı ve metin sınıflandırması üzere vazifelerin yer aldığı 26 testten oluşan “Cetvel” değerlendirmesine tabi tutuldu.

Sonuçlara nazaran, Kumru-7B ve Kumru-2B, yalnızca Türkçe için optimize edilmiş mimarileri sayesinde, LLaMA-3.3 (70B), Gemma-3 (27B), Qwen-2 (72B) ve Aya (32B) üzere dev modelleri Türkçe odaklı vazifelerde açık farkla geçti.

TÜRKÇE’NİN İNCELİKLERİNDE RAKİPSİZ

Özellikle dilbilgisi yanlışı düzeltme ve metin özetleme üzere Türkçenin yapısal özelliklerine dayalı vazifelerde Kumru’nun eksiksiz sonuçlar verdiği belirtildi.

Uzmanlar, modelin “Türkçenin nüanslarını doğal biçimde anlaması ve üretmesi” sayesinde, çok lisanlı büyük modelleri bile geride bıraktığını söylüyor.

BELGE SÜRECE VE ÖZETLEME ALANINDA GÜÇLÜ

Kumru, kişisel kullanımın ötesinde B2B (iş dünyası) uygulamaları için geliştirildi. Model, bilhassa doküman özetleme, bilgi çıkarımı, soru-cevap sistemleri ve kurumsal raporlama üzere senaryolarda dikkat cazip doğruluk oranlarına ulaşıyor.

VNGRS, Kumru’nun temel versiyonuna ek olarak, sıhhat, finans, hukuk ve kamu üzere kesimler için özelleştirilmiş alt modeller geliştirmeyi planlıyor. Bu özel sürümler, sektörel datalarla eğitilerek daha gerçek ve inançlı sonuçlar üretebilecek.

TEKNİK GÜCÜN GERİSİNDE AKILLI MİMARİ

Kumru, Mistral-v0.3 mimarisi üzerine inşa edilip, LLaMA-3’e muadil hale getirildi. 8.192 jetonluk bağlam uzunluğu sayesinde 20 sayfalık metinleri tek seferde işleyebiliyor. Üstelik sırf 16 GB VRAM ihtiyacıyla, RTX A4000 yahut RTX 3090 üzere tüketici GPU’larında rahatlıkla çalışabiliyor.

Kumru’nun küçük versiyonu olan Kumru-2B, açık kaynak olarak Hugging Face üzerinden erişilebilir durumda.

Bu model sırf 4,8 GB bellekle çalışabiliyor, bu da taşınabilir aygıtlar ve gömülü sistemlerde bile Türkçe yapay zeka tahlilleri geliştirmeye imkan tanıyor.