Category Archives: Adatblog

A vezető adatplatformokról szóló sorozatunkban a Snowflake tavalyi évének legfontosabb eseményeit foglaljuk össze.

A Snowflake az újgenerációs, felhőben született adatplatformok egyik vezető képviselője, amely egy évtized alatt az adatos világ fontos szereplője lett. Működését és belső felépítését tekintve viszonylag hasonló a hagyományos adattárházas adatbáziskezelőkhöz, így a felhő felé forduló szakemberek számára könnyen érthető és kezelhető megoldást kínál.

A cég évente több alkalommal tart olyan rendezvényeket, ahol a platformhoz érkező újdonságokat jelenti be. Az egyik ilyen alkalom a júniusi Data Cloud Summit, ami egyben a cég éves felhasználói konferenciája is, a másik a novemberi Snowday virtuális esemény. A két konferencián összesen több tucatnyi újdonságot jelentettek be főleg a központi adatplatform, a natív alkalmazásfejlesztés és a data science/ML területekre fókuszálva.

Adatplatform újdonságok

Az adatmenedzsment és az adattárházas lekérdezések gyors és költséghatékony kiszolgálása továbbra is fontos cél a Snowflake számára, ennek érdekében folyamatosan fejleszti ezeket a funkciókat is.

Egységesített Iceberg támogatás

A Snowflake alapesetben saját belső, zárt formátumában tárolja az adatokat. Az utóbbi években azonban egyre népszerűbbé váltak a nyílt táblaformátumok, amelyek közül a Snowflake az Iceberget támogatja.

Az idei fejlesztéseknek köszönhetően az Iceberg táblák lekérdezése egységesebb és gyorsabb lesz, a metaadat-kezelésre pedig többféle adatkatalógus is használható lesz. A más technológiákat is használó cégek számára pedig az is fontos, hogy Apache Spark környezetből úgy is el lehet érni a Snowflake által menedzselt Iceberg táblákat, hogy nem kell közben a Snowflake compute erőforrásokért is fizetni.

Dinamikus streaming táblák

A még bétában lévő Dynamic Tables lehetővé teszi majd, hogy egyszerű SQL utasításokkal lehessen dinamikus táblákat definiálni, amelyek adattartalma automatikus frissül a források változása esetén. Megadható az is, hogy az egyes tábláknál mennyi késés (lag) az elfogadható, így szabályozható, hogy milyen sűrűn történjen az automatikus frissítés. A beépített algoritmus arra is figyel, hogy lehetőleg csak a ténylegesen új vagy megváltozott forrásadatok kerüljenek feldolgozásra.

Jobb költségmenedzsment

A Snowflake kritikusai leggyakrabban azt a problémát szokták említeni, hogy a platform költségei könnyen magasra szökhetnek. Ezt a problémát célozza a jelenleg fejlesztés alatt álló új Cost Management Interface, ami majd lehetővé teszi a költségek elemi, akár objektum szintű követését és általános vagy egyedi limitek beállítását, valamint költségcsökkentési ajánlásokat is ad.

Data Governance

A platform Data Governance megoldása a Snowflake Horizon, amely olyan újdonságokkal fog bővülni, mint az érzékeny személyes adatok biztonságosabb elemzését lehetővé tévő Differencial Privacy funkcionalitás. Említésre érdemes még a jelenleg zárt bétában lévő Data Quality Monitoring funkció és az Data Lineage UI is.

AI és ML újdonságok

A Data Science jellegű alkalmazások kiemelten fontosak a Snowflake számára, már csak azért is, mert ezen a területen a legnagyobb vetélytársnak számító Databricks jóval előrébb jár.

Document AI

A júniusi konferencián bejelentett LLM alapú megoldás a szöveges dokumentumok feldolgozásában segít. A Document AI a 2022-ben felvásárolt Applica.ai TILT modelljére épül, amely különösen jól használható üzleti dokumentumok feldolgozására (archív poszt 1 és poszt 2). A szoftver működéséről további érdekes részleteket a Snowflake termékmenedzserének blogposztjában lehet olvasni.

Snowflake Cortex

A novemberi Snowday-en aztán bejelentették a Cortexet, amely egy központi menedzselt szolgáltatás ML és LLM fejlesztésekhez.

A Cortex keretein belül a Document AI mellett a következő szolgáltatások lesznek elérhetőek:

• Snowflake Copilot: SQL lekérdezések generálása szöveges parancsokkal
• Universal Search: LLM alapú adat- és metaadat-kereső, amely segít megtalálni az éppen kellő adatbázis objektumokat vagy alkalmazásokat

A fenti LLM-alapú megoldások mellett a Cortex részeként számos önállóan is használható ML funkció is érkezik majd, többek között lesz szövegösszesítés, szentimentdetektálás és fordítás is. A hagyományosabb ML problémák megoldására pedig forecasting és anomáliadetektálási modellek is rendelkezésre állnak.

Data science és ML támogatás

A Snowflake a Cortex mellett számos további data science eszközön is dolgozik:

• Snowflake Notebooks: A közkedvelt notebook-alapú felhasználó interfész natív változata, amely képes Python és SQL kódokat futtatni.
• Snowpark ML Modeling API: Lehetővé teszi a népszerű scikit-learn keretrendszerhez hasonló Python ML funkciók rendszeren belüli futtatását, így nem kell az adatokat kliens oldalra áttölteni.
• Snowpark Model Registry: Az ML modellek adminisztációját segítő, júniusban bejelentett szolgáltatás egyelőre zártkörű bétában van, a részletekről itt lehet olvasni.
• Snowflake Feature Store: Az ML modellek által használt számított mezők központi tárolására szolgál. A különböző objektumokat SQL nyelvű interfészeken keresztül lehet létrehozni és menedzselni, de emellett Python API is rendelkezésre áll majd.

A fenti komponensek nagy része még fejlesztés alatt áll vagy zártkörű bétában van, de az már látszik, hogy egy valóban teljes körű data science és ML platform van készülőfélben.

Adatnatív alkalmazások

A Snowflake egyik legérdekesebb stratégiai fejlesztési iránya az adatnatív alkalmazások közvetlen támogatása. A 2022-ben élesedett Snowpark már lehetővé tette, hogy a hagyományos SQL mellett Java és Scala vagy akár Python nyelven írt alkalmazások fussanak közvetlenül a Snowflake felhőjében. Ennek a megközelítések nagy előnye, hogy adatokat nem kell mozgatni, így nincsenek ingress/egress költségek, valamint az architektúra egésze a Snowflake központi jogosultságkezelése alá tartozik.

Konténerek támogatása

A 2023-as év nagy dobása ezen a területen a Snowpark Container Services, amely egy Kubernetes alapú, szintén teljesen integrált, "belső" konténerszolgáltatás.

A december vége óta publikus bétában elérhető SPCS segítségével gyakorlatilag bármilyen alkalmazást lehet a Snowflake felhőben futtatni, ideértve például a GPU-kat is használó LLM modelleket.

Az adatplatformba natívan integrált konténerek előnyeiről jó áttekintést ad ez a blogposzt, a mélyebb technikai részletekről pedig itt lehet még olvasni.

További lehetőségek

Szintén az adatplatformba integrált hagyományos alkalmazások fejlesztését fogja segíteni a 2022-ben bejelentett Unistore, amely lehetővé teszi majd a tranzakciós és analitikus adatok egységes kezelését. A még fejlesztés alatt álló hibrid táblák oszlopalapú és soralapú tárolási technikákat is alkalmaznak, így a Snowflake OLTP jellegű feladatokra is használható lesz.

A frontendre fókuszáló fejlesztéseket pedig a két éve akvirált Streamlit könnyíti meg, amely immár a Snowflake platformjába integráltan, natív módon futtatható. Szintén a fejlesztők munkáját segíti majd a hamarosan érkező beépített Git támogatás és a parancssoros működést támogató Snowflake CLI is.

Pénzügyi eredmények és akvizíciók

A Snowflake 2020 őszén nagy port kavart fel nyilvános tőzsdei részvénykibocsátásával (IPO). Az árfolyam az első napokban rendkívül magas volt, de azóta már jóval alacsonyabb tartományokban mozog. A cég folyamatosan növekszik, de továbbra is jelentős éves veszteséget termel.

Felvásárlások

A Snowflake továbbra is nagyon aktív az akvizíciós piacon, csak 2023-ban kilenc kisebb-nagyobb felvásárlást hajtott végre. A bekebelezett cégek listája:

• Myst AI: Idősoros előrejelzések
• SnowConvert: Adatmigráció felhős környezetbe
• LeapYear: Differencial Privacy megoldások
• Neeva: Generatív AI alapú keresés
• Touk.pl: Fejlesztői kapacitás Lengyelországban
• Nxyz: Blockchain technológiák
• Ponder: Skálázható Python adatfeldolgozás
• Sisu Data: Automatizált döntéstámogatás
• Samooha: biztonságos adatmegosztás partnerekkel

Pénzügyi eredmények

A november végén megjelent legfrissebb negyedéves jelentés alapján a főbb pénzügyi mutatók így alakultak az idén:

• A januárban véget érő pénzügyi év első 9 hónapjában az árbevétel meghaladta a 2 milliárd dollárt, ami jelentős növekedés az előző évhez képest
• A már szerződött, de még nem teljesített szolgáltatások (RPO, Remaining Performance Obligations) értéke 3.7 milliárd dollár
• Az intenzív növekedés azonban továbbra is komoly veszteségekkel jár, az első kilenc hónap összesített számviteli (GAAP szerinti) vesztesége 668 millió dollár volt.

A befektetőknek szóló prezentációból az is kiderül, hogy a Snowflake bevételeinek túlnyomó többsége, nagyjából 80 százaléka az amerikai kontinensről származik, Európa aránya pedig csak 15%.