Alternatywą platformy Databricks jest uruchomienie kodu lokalnie, np. wykorzystując mechanizmy Dev Containers w VSCode.

Konfiguracja VSCode

Spark + Jupyter Notebook

https://github.com/jplane/pyspark-devcontainer

Demonstracyjne notatniki

input.txt

spark_ui.ipynb