タグ:Python3

1/2ページ

【Python】Anacondaで動かかなくなったときの対処方法

Anaconda便利ですよね。機械学習系の作業をする際など、ライブラリ等の依存関係が何かと面倒なことはままありますが、Anacondaを利用すればそのような依存関係を一気に解決してくれる場合があります。 というか大体の場合にうまく言ってくれます。 しかし、便利なAnacondaですが、あるライブラリを入れたら全く動かなくなったみたいなことはよくあるのです…。 そんな時の対処方法を簡単にまとめて見よ […]

【Python】PandasのDataFrameで特定の行を爆速で更新する方法

すみません、タイトルはちょっと誇張表現含んでます。 あまりpandasに慣れていない人が書いていたと思われるコードで実行すると、 数十分かかる処理が1秒以下で終わるようになるという事はざらにあります。 pandasは便利ではあるのですが、何も考えずに書くとPythonという言語の特性やpandasのデメリットばかりを享受するようなコードになりがちです。 本来の実力をpandasに発揮してもらえるよ […]

【Python】ライブラリをインストールせずにメモリ使用量を追跡する(Python3.4以上)

対応バージョン Python3.4以上 Pythonでメモリ使用量を追跡したかった それなりに重いデータをいじろうとすると、メモリの使用量が気になる事が多々あります。 秒単位で計測することはLinuxコマンドで比較的簡単に出来ますが、具体的にどの処理の後にメモリの使用量が増えているかを知りたく、Pythonの関数化してみました。 標準モジュールでのメモリ追跡の方法 tracemalloc という標 […]

【Python】Google Colaboratoryで最新のFastTextをインストールする(2019年9月時点)

全コードは以下に掲載しています。 https://colab.research.google.com/drive/1gW3ki6HAxWvGtsXPkndSS26YP37McFzy だめたった方法 環境が違うせいで、公式のgithubに乗っている方法だとうまくいきませんでした。 [crayon-5e589e494d4a6187063302/] ちょっと公式から変えればインストール可能 FastTe […]

【BitFlyer】特定日時のトレードID(exec_id)を自動で取得する

環境 Python: 3.6.3 ccxt: 1.18.466 やりたかったこと BitFlyerのAPIでは、日時を指定して約定履歴を取得することができない仕様になっています。 なんでやねんと言いたくなる気持ちは抑えつつ、手動で地道に探すのは大変すぎるので2分探索で指定日時のIDを取得するスクリプトを簡易的ですが書きました。 これで約定履歴を地道に管理せずとも、ある程度簡単にIDは取得できるはず […]

【Python・NumPy】初期設定だと0除算でも例外が発生しない話

Numpyでは0除算は無限大として処理される Pythonのみで記載している場合は、例外:ZeroDivisionErrorが発生します。 しかし、NumPyを使用した際には、下記のように値が返されます。 0以外の値は0で除算した際は、inf(無限大) 0を0で除算した際はnan(定義できないため非数を返却) [crayon-5e589e494d71f357494807/] うっかり高速化だ!とか […]

【Python】巨大なファイル(ログ・csv等)を分割して圧縮する

やりたいこと 間違ってor仕方なく巨大なデータが存在する場合ってありますよね。 渡しの場合は巨大な過去のデータ(数十GB)をWebAPI経由で取得していたのですが、本来は日付単位でファイルを分割しようとしていたのに、スクリプトを間違えて全部同じファイルに出力してしまっていました。 そこで困ったのが、ディスク容量がやばいので圧縮しようとしたところ、巨大なファイルを圧縮しようとしているせいで、PCの空 […]

【Python・Django】Django REST frameworkで同一URLでrenderer_classesを動的に変更する方法

環境 Django1.1 Django REST framework3.5 やりたかったこと Django REST frameworkを使っている中で、GETリクエストの場合はjsonを返却し、postリクエストの場合はcsvを返却するという処理を実装したかった。 renderer_classesの変更方法 内部で使用されている、get_renderersをオーバーライドしてあげればokです。 […]

【Python・Django】中間テーブルのプライマリキーを後からID→UUIDに変更したい

環境 Python:3.6 Django:2.1 やりたいこと Djangoを使って開発を行っていましたが、最初は中間テーブルのプライマリキーをデフォルトのIDで使っていたものの、セキュリティ上の懸念に後から気がつき、変更ID→UUIDに変更したくなってしまった。 開発環境ではDB作り直せばよいのですが、せっかくなので消さずに修正を行ってみました。 ※UUIDは確率論的に重複することのないランダム […]

【Pyhon・Django】JsonFieldでデータベース上に日本語の文字を登録したい

環境 ・Django 1.10 ・Python 3.4 やりたいこと DjangoというかPostgreSQLでは、JSON Fieldという、Jsonを格納できる型が用意されています。 (なお、Djangoでは1.9以降で対応されているようです。) 単なる文字列ではなく、構造化したデータを持つことが出来るのでユーザー登録情報などある程度情報に柔軟性をもたせたい場合にしようする項目です。 しかし、 […]