Címke: Python

Snowflake újdonságok Las Vegasból

A héten zajlik a Snowflake nagyszabású felhasználói konferenciája, a Snowflake Summit Las Vegasban.  Az idén újra élőben megrendezett eseményen több mint tízezren vesznek részt az egész világról.

Hagyomány, hogy a cégek az ilyen konferenciákon jelentik be a legfontosabb újdonságokat, fejlesztéseket. A Snowflake is így járt el, íme a legfontosabb hírek listája.

OLTP alkalmazások

A legizgalmasabb a új hibrid táblatípusra épülő Unistore, amelyek segítségével a Snowflake immár tranzakciós adatbázisként is használható lesz. A hibrid táblák az analitikus lekérdezések mellett támogatják az OLTP világban szokásos funkciókat is (soralapú tárolás, elsődleges kulcsok használata, külső kulcshivatkozások stb.)

Az új képességgel a Snowflake már nem csak az adattárházas igényeket tudja majd kiszolgálni, hanem képes lesz egyetlen rendszerben támogatni az analitikus és a tranzakciós feladatokat.

Iceberg  külső táblák 

Szintén az adattárolási képességeket színesi az Iceberg formátumú külső táblák támogatása. Az open source Apache Iceberg a data lake  architektúrák egyik népszerű táblaformátuma, amely hasznos extra adatmenedzsment képességeket nyújt.

A jövőben az Icebergben tárolt adatokat nem kell áttölteni a Snowflake saját belső adattárába, hanem maradhatnak az ügyfelek adattároló rétegében (például S3-on) és onnan közvetlenül lekérdezhetőek lesznek.  Demó videó itt.

Ide kapcsolódó hír még, hogy a külső tábla mechanizmus segítségével hamarosan majd on-premise (azaz nem felhős) adatforrások is elérhetőek lesznek Snowflake alól.

Pythonos fejlesztői környezet

Különösen a data science alkalmazások szempontjából lesz érdekes a Python támogatása a Snowpark fejlesztői környezetben. Az Anacondával kötött szövetségnek köszönhetően sokféle adatfeldolgozó és ML feladat a jövőben Pythonban is elvégezhető lesz.

Natív Snowflake alkalmazások

A Native Application Framework segítségével  olyan alkalmazások készíthetőek, amelyek közvetlenül a Snowflake platformon futnak, kihasználva a platform által nyújtott funkciókat.

A keretrendszer segítségével fejlesztett alkalmazások a Snowflake Marketplace piacterén keresztül értékesíthetőek is lesznek majd.

További hírek és érdekességek

A kiemelt 4 témán felül sok más bejelentés is érkezett: Streamlit integráció, streaming adatbetöltés javítása, materializált táblák, SQL Machine Learning, teljesítményjavító fejlesztések, jobb data governance és auditing.

Szintén érdekesek azok a hírek, amelyek a Snowflake saját befektetési alapja, a Snowflake Ventures tranzakcióról szólnak, például a Matillion és Domino Labs is kapott friss tőkét az alaptól.

Részletesebb információkért ezt a két posztot érdemes még elolvasni:

Új kiadás Wes McKinney Python könyvéből

A pandas csomag a Python adatelemzési svájci bicskája, gyakorlatilag mindenhol találkozunk vele.  A csomag szerzője Wes McKinney, akinek Python for Data Analyis című, a pandas használatát bemutató  könyve alapműnek számít.

Az új kiadás már a Python 3.10 és a pandas 1.4 verziókra épül, bemutatva az elmúlt néhány év legfontosabb változásait.

A harmadik kiadásból is lesz a weben ingyen olvasható "open access" verzió.  Az első 6 fejezet máris elérhető:

  1. Preliminaries
  2. Python Language Basics, IPython, and Jupyter Notebooks
  3. Built-in Data Structures, Functions, and Files
  4. NumPy Basics: Arrays and Vectorized Computation
  5. Getting Started with pandas
  6. Data Loading, Storage, and File Formats

A nyomtatott és ebook kiadások később jelennek meg majd.

The Python Dataviz Landscape talk at EuroPython 2020

I gave a talk on the main Python data visualization libraries at the EuroPython 2020 Online conference.

The (slightly updated) presentation is here and the code examples are in this Google Colab notebook.