Инженерное эссе

Логика архитектур

Как мыслят создатели нейронных сетей — от краха brute force до компромиссов железа.

Начать читать

Предисловие

Часть I. Фундамент

Глава 1. Brute ForceГлава 2. СвёрткаГлава 3. Частотный взгляд

Часть II. Кризис глубины

Глава 4. Глухой телефонГлава 5. ResidualГлава 5a. BottleneckГлава 5b. DepthwiseГлава 6. Нормализация

Часть III. Детекция

Глава 7. R-CNN → YOLOГлава 7a. ЯкоряГлава 7b. Голова и lossГлава 7c. Assign и NMSГлава 8. FPN / PANГлава 9. CSP и C2f

Часть IV. Внимание

Глава 10. RNN / LSTMГлава 11. AttentionГлава 11a. FlashAttentionГлава 12. ViT

Часть V. Генерация

Глава 13. GANsГлава 14. DiffusionГлава 14a. Latent + U-Net

Часть VI. Послесловие

Глава 15. КомпромиссыГлава 16. Что дальшеГлава 16a. Mamba / SSM