カテゴリー:Pyhon

1/2ページ
  • 2020.02.23

Google Colaboratoryの使い方 – Google Drive内のファイル基本的な扱い方

この記事では、Pythonでデータ分析・機械学習を学ぶ際に使う神ツールと名高い「Google Colaboratory」の扱い方を紹介します! 地味に初学者や初めて触れた人にとってハードルが高そうな部分である。分析・学習用のデータを読み込む方法のまとめとなります。 Google Colabratoryとは 言わずとしれた、Googleが提供しているデータ分析や機械学習を個人・小さいチーム等で行う人 […]

【Python】Anacondaで動かかなくなったときの対処方法

Anaconda便利ですよね。機械学習系の作業をする際など、ライブラリ等の依存関係が何かと面倒なことはままありますが、Anacondaを利用すればそのような依存関係を一気に解決してくれる場合があります。 というか大体の場合にうまく言ってくれます。 しかし、便利なAnacondaですが、あるライブラリを入れたら全く動かなくなったみたいなことはよくあるのです…。 そんな時の対処方法を簡単にまとめて見よ […]

【Python】PandasのDataFrameで特定の行を爆速で更新する方法

すみません、タイトルはちょっと誇張表現含んでます。 あまりpandasに慣れていない人が書いていたと思われるコードで実行すると、 数十分かかる処理が1秒以下で終わるようになるという事はざらにあります。 pandasは便利ではあるのですが、何も考えずに書くとPythonという言語の特性やpandasのデメリットばかりを享受するようなコードになりがちです。 本来の実力をpandasに発揮してもらえるよ […]

【Python】ライブラリをインストールせずにメモリ使用量を追跡する(Python3.4以上)

対応バージョン Python3.4以上 Pythonでメモリ使用量を追跡したかった それなりに重いデータをいじろうとすると、メモリの使用量が気になる事が多々あります。 秒単位で計測することはLinuxコマンドで比較的簡単に出来ますが、具体的にどの処理の後にメモリの使用量が増えているかを知りたく、Pythonの関数化してみました。 標準モジュールでのメモリ追跡の方法 tracemalloc という標 […]

  • 2019.12.04

【Python】ダミー変数化されたデータを1列に戻す

  やりたいこと ダミー変数化されたデータを1列に戻したかった。 数十行にも及ぶ被りのないフラグデータをそのまま持っているとかままあると思うのですが、見づらいし扱いづらいという状態でした。 理由 ダミー変数化されたデータとされていないデータが混在している中で、処理を分岐させたくなかったのでデータを変形させることにした。 かなり使い道少なさそうですが… 機械学習とかでフラグが別カラムについ […]

【Python】実際に見たちょっとあれなコード達と改善案

自戒も込めて書き記していきます。そして世の中にいいコードがたくさん生まれますように。 実際の製品の中でも速度に大きく問題があるようなコードが動いていることも良くあるので、やはり勉強は大切だし差別化にもなりますよね… 見つける度に追加していきます… listじゃなくてsetで比較するのだ setは被りなく順序なく、要素を格納してくれる機能です。(setの紹介はこちら) なのに何故要素に順序がある前提 […]

【Python・NumPy】初期設定だと0除算でも例外が発生しない話

Numpyでは0除算は無限大として処理される Pythonのみで記載している場合は、例外:ZeroDivisionErrorが発生します。 しかし、NumPyを使用した際には、下記のように値が返されます。 0以外の値は0で除算した際は、inf(無限大) 0を0で除算した際はnan(定義できないため非数を返却) [crayon-5e589edba2cf7565285942/] うっかり高速化だ!とか […]

【Python】巨大なファイル(ログ・csv等)を分割して圧縮する

やりたいこと 間違ってor仕方なく巨大なデータが存在する場合ってありますよね。 渡しの場合は巨大な過去のデータ(数十GB)をWebAPI経由で取得していたのですが、本来は日付単位でファイルを分割しようとしていたのに、スクリプトを間違えて全部同じファイルに出力してしまっていました。 そこで困ったのが、ディスク容量がやばいので圧縮しようとしたところ、巨大なファイルを圧縮しようとしているせいで、PCの空 […]

【Python・Django】Django REST frameworkで同一URLでrenderer_classesを動的に変更する方法

環境 Django1.1 Django REST framework3.5 やりたかったこと Django REST frameworkを使っている中で、GETリクエストの場合はjsonを返却し、postリクエストの場合はcsvを返却するという処理を実装したかった。 renderer_classesの変更方法 内部で使用されている、get_renderersをオーバーライドしてあげればokです。 […]