4件の記事
pd.read_csv() で大きなCSVを読み込むとメモリを大量に使ってしまう問題を、dtype指定・category型・usecols・chunksizeの4つの方法で実際に測定しながら解決します。
ファイルのリネームやExcelからのデータ抽出といった繰り返し作業をPythonで自動化した記録です。ライブラリの豊富さと、数ヶ月後に読み返しても意図が分かる読みやすさという、Pythonを選んだ2つの理由を実コードとともに紹介します。
PythonとPandasでデータクリーニングを自動化する方法です。手作業による時間とミスを減らすため、欠損値や重複の処理を関数にまとめて繰り返し実行できる形にする手順を、実装コードとあわせて解説します。
ワークフローをコードで定義・スケジュール・監視できるApache Airflowの入門記事です。導入が求められる背景から、インストール手順、DAGを使った基本操作までを、これから使い始める人向けに整理しました。
