Veri tekilleştirme Microsoft’un Windows 2012 ile birlikte hayatımıza kattığı yeni bir storage algoritma teknolojisidir. Bu teknoloji ile birlikte storage yapılarımız üzerinde ciddi denilebileyecek seviyede kazançlar sağlamamız mümkün.
Veri tekilleştirme teknolojisi özellikle Yedekleme yazılımları ( SQL yedekleri, Site yedekleri, Sunucu yedekleri gibi) ve depolama üniteleri (Storage) ile son yıllarda bir çok kuruluşa katkı sağlamıştır. Hem kaynakları daha verimli kullanırken aynı zamanda ekstra maliyettende kurtarmıştır. Tekilleştirme işleminde benzersiz olan veri blokları tanımlanır ve tekilleştirme alanında depolanır. Bu özellikle Windows Server 2012 ile birlikte hayatımıza giriyor.
Windows tekilleştirmenin yapısında 32 KB ile 128 KB arasında değişken yığınlar bulunuyor bu yığınlara chunk deniyor. Yığınlar bir yığın deposunda Windows tarafından tutulur ve yine yönetimi windows tarafından gerçekleştirilir. Windows tarafından diskin sistem volume bilgisinde tutulur. Arka planda tekilleştirme motoru işlemini yerine getirirler.
Özelliği resim üzerinde gösterecek olur isek ;
Resimde gördüğünüz üzere A B C D verilerinden Orjinal Veri’de bir çok kez tutulmaktadır ancak Ancak Tekilleştirilmiş Veri’de her bir veri bir kez yazılır aynı veri bloğu defalarca yazılmaz bu sayede ciddi bir kazanç sağlanır. Bunun ile ilgili yazılmış yüzün üzerinde algoritma bulunduğu söylenmektedir.
Yapılan testlerde görülen tamamen tekilleştirilen bir dosyanın diskte 4 KB yer kapladığı görülmüştür. Bu da zaten dosyaya ait metadata bilgileri ve tekilleştirme verilerinin saklandığı yığın deposu içerisindeki tekilleştirilmiş bölge bilgilerinden oluşmaktadır.
Veri tekilleştirme ile ilgili özellikleri sıralayacak olursak:
- Volume seviyesinde uygulanabilir.
- Sadece Windows Server 2012 işletim sisteminde destekleniyor. Şu anda Windows client tarafında desteği yok.
- Boot ve System Volume’ler üzerinde etkinleştirilemez.
- Sadece NTFS dosya sistemi ile formatlanmış volume’lerde kullanılabilir.
- Cluster Shared Volume yapılarında kullanılan Hyper-v VHD(x) dosya yapılarında kullanılamaz.
- Veri tekilleştirmeyi Powershell üzerinden tetikleyebileceğiniz gibi Zamanlanmış görev olarakta tanımlayabilirsiniz.
- Veri tekilleştirme Volume boyutu olarak max 64 tb kadar desteklemektedir. Yani volume 64 tb büyük ise bu işlemi yapamazsınız.
- Uygulayacağınız verinin büyüklüğüne göre sunucu üzerinde belleğe ihtiyaç duymaktadır. (RAM)
Veri tekilleştirme özelliği GUI arayüzünden etkinleştirilebildiği gibi, komut satırından Windows Server 2012 ile beraber gelen PowerShell 3.0 komutları kullanarak da etkilenleştirilebilir.
Windows Server 2012 Data Deduplication Feature Kurulumu ( Powershell )
Installation Data Deduplication Feature with powershell command
Data deduplication özelliğini kullanabilmek için öncelikle kullanacağınız dosya sunucuları (file servers) ya da Hyper-V host sunucularınız üzerine Data Deduplication özelliğinin yüklenmesi gerekir. Bu kurulumu da GUI arayüzden Server Manager konsolunu kullanarak “Add Roles and Features” seçeneği ile yükleyebileceğiniz gibi, PowerShell 3.0 komut satırından da yüklenmesini tetikleyebilirsiniz.
PowerShell kullanarak Data Deduplication özelliğini aktif etmek için aşağıda ki komutları kullanmanız yeterlidir.
Import-Module ServerManager
Add-WindowsFeature -name FS-Data-Deduplication
Import-Module Deduplication
Yükleme işlemi tamamlandıktan sonra Powershell komut satırını açıyoruz ve
Help Dedup yazıyoruz.
Disable-DedupVolume : Dedup aktif ettiğiniz bir volume tekrar pasifleştirmenize yarar.
Enable-DedupVolume : Bir volume üzerinde tekilleştirmeyi aktifleştirmenize yarar.
Get-DedupJob : aktif tekilleştirme işlemlerini görürsünüz.
Get-DedupMetadata : Tekilleştirme hakkında size bilgi verir.
Get-DedupSchedule : Tekilleştirme zamanlanmış görevlerini listeler.
Get-DedupStatus : Volume’ler ve tekilleştirme hakkında kısa bilgi verir
Get-DedupVolume : Deduplication aktif ve pasif olan volumeleri listeler
Measure-DedupFileMetadata : Potansiyel Dedup işlem sonrası oluşacak disk bilgilerini gösterir.
New-DedupSchedule : Yeni bir zamanlanmış görev tanımlayabilirsiniz.
Remove-DedupSchedule : Mevcut bir zamanlanmış tekilleştirme görevini silebilirsiniz.
Set-DedupSchedule : Mevcut bir tekilleştirme görevini düzenleyebilirsiniz.
Set-DedupVolume : Tekilleştirme aktifleştirilmiş volume üzerine işlem yapabilirsiniz.
Start-DedupJob : Bir tekilleştirme görevi başlatabilirsiniz.
Stop-DedupJob : Başlamış olan bir tekilleştirme görevini durdurabilirsiniz.
Update-DedupStatus : Mevcut dedup durumunu güncellemenize yarar.
Data Deduplication özelliğini GUI arayüz üzerinden aktif etmek istediğimiz de ;
Server Manager > Add Roles > File and Storage Services > File and iSCSI Services > Data Deduplication
Kurulum tamamlandıktan sonra File and Storage Services > Volumes tıklayıp Volume listemizi görebiliriz. Tekilleştirmeyi aktif edeceğimiz volume sağ tıklayıp Configure Data Deduplication tıklıyoruz.
Açılan sayfada Enable işaretleyerek Veri tekilleştirmeyi uygulayacağı dosyaların oluşturulduktan / kopyalandıktan sonra kaç gün normal kalmasını istediğimizi soruyor, ben 1 günden eski olan bütün dosyalarda tekilleştirmeyi uygula dedim mesala
Ayrıca bu tekilleştirme işlemini zamanlanmış görev olarak kaç günde bir hangi saatlerde tekrarlayacağı gibi ayarlarıda yaptıktan sonra Apply diyerek işlemi tamamlıyoruz.
Storage sisteminde ki E diskinde tekilleştirilen verinin özelliklerini aşağıda ki resimde görebilirsiniz ;
8,17 TB olan bir veri tekilleştirme sonunda diskte 670 MB yer kaplıyor. 1 GB bile değil. Rakamlar arasında ki fakr gerçekten korkunç denilebilecek kadar fazla.
Ayrıca önemli olarak birşey belirtmek istiyorum. Bazı kaynaklarda veri tekilleştirmenin sıkıştırılmış veya şifrelenmiş dosyalarda uygulanmadığını belirtiyor ancak uygulanmaması için hiç bir sebep bulunmuyor.
Buradada sol tarafta sıkıştırılmış sağ tarafta ise sıkıştırılmış ve şifrelenmiş olan dosyalar var ve sıkıştırma sonuçları ortadadır.
Ancak şifrelenmiş NTFS volume’leri üzerinde bu sıkıştırmanın çalışıp çalışmadığı ile ilgili testlerimi henüz yapamadım. Bu testleride yaptıktan sonra sizler ile paylaşıyor olacağım.
Bu özellik sayesinde şirketinizi ciddi maliyetlerden kurtarabilirsiniz.
İyi çalışmalar dilerim.
