大きなcsvを高速で処理したいときに使用するNysolのmcmd

PythonのPandasやNumpyで基本整形するが、処理能力の低いPCで高速に処理したい場合がある。

そんなときは、NYSOLのmコマンドというのを知った。

www.nysol.jp

Pandasよりも早い。

mcmdのベンチマークテスト(FIT2018) — nysol_python ドキュメント

Pythonで使う場合は、NYSOL Pythonを使う。

github.com

https://www.nysol.jp/wp/wp-content/uploads/2018/03/mcmd.pdf