Türkiye'nin Yapay Zeka Araştırmacılarını Sıfırdan Yetiştiriyoruz
50 seçilmiş genci, modeli sıfırdan yazıp eğiten araştırmacılara dönüştüren 12 haftalık bir program.
Özet
YZ50, Türkiye'de 50 seçilmiş genci yapay zekayı yalnızca kullanan değil, sıfırdan model yazan, eğiten, ölçen ve geliştiren araştırmacılara dönüştüren 12 haftalık yoğun bir programdır. Programın omurgasını Andrej Karpathy'nin Zero to Hero yaklaşımı oluşturuyor. Katılımcılar neural network'u ilk satırından başlayarak yazıp, backpropagation'ı elle kurar, language model eğitir, transformer mimarisini inşa eder ve finalde kendi küçük GPT sistemini çalışır hale getirir. Programın hedefi basit: Türkiye'den derin yapay zeka araştırmacıları yetiştirmek.
1.Programın Tezi
Bir araştırmacı, bir modeli gerçekten anlamak için onu sıfırdan inşa etmelidir.
Bu yüzden YZ50'de öğrenme, ilk haftadan itibaren kodla, deneyle ve teslim edilen checkpoint'lerle ilerler. Katılımcılar video izlemekle yetinmeyip, her hafta çalışan bir sistem, deney notu ve kısa teknik sunum üretir.
2.Kimler İçin
YZ50, yapay zekayı üreten konuma geçmek isteyen, kendini bilimi geliştirmeye adayacak gençler içindir.
- Matematik, bilgisayar bilimi veya mühendislik altyapısı olan gençler
- LLM, deep learning ve model training alanında araştırmacı olmak isteyenler
- Hazır API kullanmanın ötesine geçip modeli sıfırdan anlamak isteyenler
- Türkiye'de AI modelleri üretmek isteyen yüksek motivasyonlu gençler
3.Program Formatı
Günde 4 ila 6 saat çalışabilen, haftalık teslimleri eksiksiz yapan seçilmiş ana grup.
- Her hafta kod teslimi
- Deney defteri
- Haftalık teknik sunum
- Checkpoint değerlendirmesi
- Final capstone
Haftada 10 saat ayırabilen, aynı müfredatı daha esnek tempoda takip eden grup.
- Haftalık kaynak takibi
- Basitleştirilmiş egzersiz teslimi
- Aylık checkpoint
- Tartışma toplantılarına katılım
4.Haftalık Çalışma Modeli
Katılımcılar hafta boyunca bireysel çalışır, cuma günü teknik tartışma ve ilerleme toplantısına katılır.
Pazartesi - Perşembe
- Karpathy videosu ve ek okuma takip edilir
- Haftanın kod egzersizi tamamlanır
- Deneyler çalıştırılır
- Loss, accuracy, sample quality ve training davranışı not edilir
- Kısa bir teknik update hazırlanır
Cuma 17.00 Toplantısı
Her cuma 17.00'de 60 dakikalık araştırma toplantısı yapılır.
Her hafta 3 çıktı bekliyoruz:
- GitHub kod teslimi
- Kısa deney notu
- 3 slaytlık ilerleme sunumu
5.12 Haftalık Müfredat
Katılımcı, Neural network'un temel mekanizmasının nasıl çalıştığını anlar. Amaç, PyTorch kullanmadan önce PyTorch'un ne yaptığını kavramak.
Hafta 1 Sinir Ağı Nedir
- Neuron, layer, parameter ve loss kavramları
- Forward pass mantığı
- Modelin öğrenmesi ne demektir
- Gradient descent sezgisi
- Language model fikrine giriş
- Python ile tek nöron forward pass yaz
- Basit bir loss fonksiyonu oluştur
- Parametreyi manuel değiştirerek loss'un nasıl değiştiğini gözlemle
- Basit nöron simülasyonu
- 1 sayfalık teknik not: Bir model nasıl öğrenir
Hafta 2 micrograd ve Otomatik Türev
- Computation graph
- Derivative ve chain rule
- Backpropagation
- Scalar autograd
- Karpathy micrograd yaklaşımı
- Value objesini sıfırdan yaz
- Topological sort ile backward pass kur
- Toplama, çarpma, tanh ve power operasyonlarını destekle
- Küçük bir MLP eğit
Hafta 3 PyTorch Temelleri
- Tensor mantığı
- Broadcasting
- Matrix multiplication
- Autograd
- loss.backward()
- Minibatch training
- micrograd ile yazdığın modeli PyTorch ile yeniden yaz
- Aynı modeli manuel gradient ve PyTorch autograd ile eğit
- Sonuçları karşılaştır
- PyTorch MLP
- micrograd ve PyTorch karşılaştırma notu
Hafta 4 makemore ve Language Modeling
- Character-level language modeling
- Bigram model
- Negative log likelihood
- Sampling
- Train, dev, test ayrımı
- Smoothing ve regularization
- İsim dataset'i üzerinden bigram model eğit
- Counting tabanlı model kur
- Neural bigram model kur
- Train, dev ve test loss karşılaştır
Katılımcı, daha ciddi neural language model kurar. Amaç sadece çalışan model değil, sağlıklı eğitilen model üretmek.
Hafta 5 Embeddings ve MLP Language Model
- Embedding lookup
- Context window
- Hidden layer
- Cross entropy
- Learning rate tuning
- Overfitting ve underfitting
- makemore MLP modelini yaz
- Embedding boyutunu değiştir
- Hidden layer boyutunu değiştir
- Learning rate sweep yap
- En iyi validation loss'u bul
- MLP language model
- Hyperparameter deney tablosu
Hafta 6 Eğitim Mekaniği ve Debugging
- Initialization
- Activation statistics
- Gradient statistics
- Saturated tanh problemi
- Kaiming initialization
- BatchNorm
- Update-to-data ratio
- Kötü initialization ile modeli boz
- Activation ve gradient histogramları çiz
- BatchNorm ekle
- Eğitim davranışını önce ve sonra karşılaştır
- Training diagnostics raporu
- Model sağlık kontrol grafikleri
Hafta 7 Backprop Ninja
- Tensor-level backpropagation
- Cross entropy backward
- Linear layer backward
- BatchNorm backward
- Embedding backward
- Autograd kullanmadan gradient hesaplama
- PyTorch autograd kapalıyken backward pass yaz
- Manuel gradient ile PyTorch gradient'ini karşılaştır
- Maksimum farkı ölç
Hafta 8 WaveNet ve Derin Mimari
- Daha uzun context kullanımı
- Hierarchical architecture
- Torch nn.Module
- Layer, container ve model organizasyonu
- Tensor shape debugging
- Basit convolution fikri
- MLP modelini daha derin yapıya taşı
- WaveNet benzeri model kur
- Context size artır
- Loss değişimini karşılaştır
- Daha derin language model
- MLP ve WaveNet karşılaştırması
Katılımcı modern LLM mimarisine geçer. Amaç GPT'yi kara kutu olarak kullanmak değil, çalışan küçük bir GPT modelini sıfırdan yazmak.
6.Araştırmacı Kadrosu
YZ50, dört kişilik araştırmacı ve mentor kadrosuyla yürür.
7.Değerlendirme
YZ50'de değerlendirmeler projeler ile yapılır.
- Kodun çalışması
- Konuyu açıklama netliği
- Deney disiplini
- Hata ayıklama becerisi
- Haftalık teslim düzeni
- Final capstone kalitesi
- Başkasının çalışmasına teknik geri bildirim verebilme
8.Başvuru
Başvurunda üç soruya cevap bekliyoruz:
- Seni yapay zeka araştırmasına çeken şey ne
- Şimdiye kadar sıfırdan ne inşa ettin
- YZ50 sonunda hangi modeli veya sistemi üretmek istiyorsun
YZ50, yapay zekayı izleyen değil, inşa edenler için.
Türkiye'nin yapay zeka araştırmacılarını sıfırdan yetiştiriyoruz.