DATA AUTOSTRADA

פותחים צוהר לעולמות ה ETL

לאה תרשיש, מנהלת חטיבת תוכנה וטכנולוגיות בחברת RACHIP, פותחת צוהר לעולמות הETL, אחד הצוותים המרתקים בחטיבה שלה.

חברות רבות משקיעות בימים אלו משאבים רבים באיסוף DATA הכולל בין היתר: מידע על המשתמשים לקוחות וספקים, מידע על מוצרי הארגון, מידע על עובדים, מידע מהמערכות בארגון ומהרשת וכן מידע ממכשירים מגוונים. את כל ה DATA מזרימים לשכבת DATA MART WAREHOUSE / DATA LAKE שהולכת ומתעבה כשכבת BIG DATA. שכבה זו תאפשר לארגונים ללמוד התנהגויות ותבניות, לחלץ תובנות, לזהות נקודות קריטיות וכשלים, להבין טוב יותר מגמות, לדעת במה כדאי להתמקד וכיצד להתאים טוב יותר את המוצרים ללקוחות באופן שישמש את הארגון כמנוע צמיחה ויקפיץ את הביזנס באופן משמעותי!

RACHIP הקימה מספר צוותי פיתוח ETL במיוחד במגזר ה FINTECH בתחום ה BIG DATA ומלווה את לקוחותיה הן באמצעות מומחים ומפתחי ETL מנוסים, אשר מתמודדים באתגרים רבים בנתונים רגישים וסימולציות במערכות בקרה, תוך עמידה ברגולציות רבות הנדרשות במגזר. 

כיצד משתלטים על כמויות הנתיבים וערוצים המידע וכיצד מנהלים את האוטוסטרדה באופן אופטימאלי בלי תקלות ובלי צווארי בקבוק?

מפתחי ETL הינם המומחים שיושבים בצומת קריטית זו, תפקידם לחלץ נתונים מכלל הנתיבים והערוצים (EXTRACT) לבצע בהם טרנספורמציה (TRASFORM) ולטעון אותם בתצורתם החדשה (LOAD) וכך לקרב את הארגון לשלב הבא שבו הוא מכיל על שכבת ה  DATA או ה BIG DATA שנוצרה ניתוחים עסקיים מעולמות ה BI וניתוחים המשלבים בתוכם מודלים של בינה מלכותית מעולמות ה AI. ניתן להגדיר את ה ETL כשיכבה בפני עצמה שבה מבוצעים החישובים, החיבורים והוולידאציות השונות טרם הכנסתם לפתרונות האחסון ובכך משפרים את הביצועים ונמנעים מצווארי הבקבוק.

בשנים האחרונות פחות נהוג להקים ולפתח תהלכי ETL באופן עצמאי ורב הארגונים חוסכים זמן יקר באמצעות שימוש במגוון כלים הקיימים בשוק לצורך מימוש פשוט ונוח של ה ETL כגון: Informatica, Apache Airflow, Infosphere Information Server, HEVO  ועוד.. חלק מהכלים הינם מוצרים בתשלום וחלק מהם הינם פתרונות OPEN SOURCE חינמיים. בחירת הכלי המתאים תדרוש מהארגון לבחון בנוסף לנושא העלויות שיקולים רבים נוספים הכוללים בין היתר: דרישות פונקציונאליות ועיבוד נתונים במקביל או ברצף, וירטואליזציה של התהליכים, פתרונות אחסון הנתונים הקיימות בארגון, גמישות הכלי, מהירות וזמינות ניתוח הנתונים וביצוע החישובים, תקני אבטחת מידע.

לסיכום, ניהול תהליך נכון של DATA AUTOSTRADA טמון בניהול מתודולוגי סדור של שכבות ה DATA בארגון. החל ממקורות המידע הן הפנימיים והן החיצוניים, שכבת ה ETL הסדורה-המבוקרת וכלה בשכבת האחסון. מכאן נוכל לתעל את המידע וליצר ממנו את המשמעויות העסקיות המבוקשת הן בעולמות ה BI והן בעולמות ה AI. אלה יובילו אותנו לעתיד שהגדיר לעצמו כל ארגון ולציפייה שלנו כלקוחות מהשירותים שאותם אנו צורכים.

חברת RACHIP הינה R&D CENTER המספק  שירותי מחקר ופיתוח בתחום התוכנה, החומרה והבדיקות כבר למעלה מ12 שנה. 

לחברה צוות של כ130 אנשי פיתוח בדגש על תעסוקת מהנדסות והנדסאיות מהמגזר החרדי בשני מרכזי פיתוח בבני ברק ובחיפה.

מומחים בעולמות התוכנה והחומרה, מערכות משובצות, פיתוח צ’יפים (כל הflow), מערכות מידע ופיתוח לכל תחומי הווב והמובייל.

על לקוחות החברה נמנות חברות רב לאומיות, חברות ביטחוניות, מדיקל וסטרטאפים מגוונים. 

https://www.readygroup.co.il