Informatica PowerCenter Designer – ETL Transformation Özellikleri

By -

ETL Transformation Kavramını Informatica Powecenter Designer Aracılığıyla İnceleyelim

Merhaba arkadaşlar sizlere bu yazımda Informatica PowerCenter Designer’ın Transformation özelliklerini örneklerle anlatmaya çalışacağım.

122

Aslında Transformationların temel mantığı (ETL) hedef sistemin ihtiyaçlarına göre kaynak verilerini işlememize ve hedef sisteme uygun veriler haline dönüştürmemize yardımcı olmaktır.

Transformation’lar temel olarak ikiye ayrılmaktadır:

1) Active Transformation

Source’dan gelen satır sayısı ile Target’a giden satır sayısı eşit değildir.

1

2)Passive Transformation

Source’dan gelen satır sayısı ile Target’a giden satır sayısı eşittir.

2

Aggregator Transformation

22

Aggregator Transformation, kayıtlar üzerinde kümeleme işlemlerini yapabilmemizi sağlar. Belli başlı Aggregator function’lar aşağıdaki gibidir : 

Sum: Toplam, Avg: Ortalama, Count: NULL olmayan kayıt sayısı, First: NULL olmayan ilk kayıt, Last: NULL olmayan son kayıt, Max: En büyük değer, Median: Sayısal serinin orta noktasındaki değer, Min: En küçük değer dönüşümlerini yapabilmemiz için kullandığımız bir ETL transformation’dır.

4

Group By:

5

Dip Not: Data doğruluğunun sağlanması için Aggregation’da Select cümleciğinde olan ifadeler dışında ifadeler almamaya dikkat ediyoruz.

Joiner Transformation

23

Join  işlemlerini kolayca kavrayabilmeniz için durumu kümeler mantığıyla anlatacağım.

Informatica Join Type:

  • Normal
  • Master Outer
  • Detail Outer
  • Full Outer

34

Aşağıdaki mantıkla mappingimiz de kullanacağımız join tipini seçebiliriz.

32

şeklinde join tipini tanımladıktan sonra , hangi alanlar üzerinden joinleyeceğimizi condition kısmında belirliyoruz.

35

Sorter Transformation

25

Active ve connected ETL transformation’lardır. Çünkü Order By(sıralama) işlemi de yapsa içerisinde Distinct özelliği bulunmaktadır.

33

Sorter Transformation order by işlemi için kullanıldığında,

Şeklinde ise sizde bu sıraya uyarak önce Sube’ye sonra Sırala alanına göre sıralamalısınız.

31

Dip NotAggregator transformation ve Joiner Transormation’da da  Sorted Input özelliği vardır. Bunun özelliği,

  • Aynı source’dan gelen tabloların joinlenebilmesi için
  • Sıralanmış datalarla daha hızlı işlem yapılabilmesi için
  • Joiner’da condition kısmını daha hızlı bulup eşleştirdiği için hızlı çalışır, Aggregator içinde Group by işlemi vs. olacağı için Sorted Input işaretlersek , sıralamayı zaten yaptığı için Aggregator işlemlerini de daha hızlı yapacaktır.

Router Transformation

24

Router transformation bir input setine farklı filtrelere göre birden fazla output seti verir.

16

Örneğin,

15

Rank Transformation

26

Active ve connected transformationdır. Top 10 ya da top 1 gibi değerleri kolayca bulabilmemizi sağlar.

18

Sequence Transformation

27

Eğer bizden ek bir kolon istenirse , mesela Target tabloda gelecek kolonların yanına ek olarak ID kolonu da olsun ve 1 er 1 er artarak devam etsin şeklindeki yapıyı kurmamızı sağlar.

1111

 

Filter Transformation 

29

  • Filter conditiondan TRUE dönen kayıtlar , Filter trans. geçer.
  • Filtrelenecek olan kayıtlardan bir önce kurtulup, daha az kayıtla işlemleri tamamlayabilmek için mapping’in başında kullanılmalıdır.
  • Filter trans. alternatif olarak Source Fiilter’da kullanılabilir.
  • Source Filter datayı kaynakta filterleyeceği için, daha performanslı çalışacaktır.
  • Giren kayıt sayısı çıkan kayıt sayısına eşit olmadığı için aktif ETL transformation’dır.

30

Diğer yazımda sizlere Update Transformation ve Lookup Transformation’dan bahsedeceğim.

Herkese Big Data’lı günler 🙂