タグ:python

1/2ページ

【Python】Prophet(ver0.5)がinstall出来ない問題の対処

エラー内容 恐らく2020年になってから問題が発生しているようです。 どうやらライブラリの依存関係が一部壊れている模様。Facebookでもこういうことあるとちょっとほっこりしますね(ぇ [crayon-5e58b2869052d943246188/]   GitHubにもissueとして報告されていて、近いうちに修正されるとは書いてありますが、待っていられない人に。 https://g […]

【Python】PandasのDataFrameで特定の行を爆速で更新する方法

すみません、タイトルはちょっと誇張表現含んでます。 あまりpandasに慣れていない人が書いていたと思われるコードで実行すると、 数十分かかる処理が1秒以下で終わるようになるという事はざらにあります。 pandasは便利ではあるのですが、何も考えずに書くとPythonという言語の特性やpandasのデメリットばかりを享受するようなコードになりがちです。 本来の実力をpandasに発揮してもらえるよ […]

【Python】ライブラリをインストールせずにメモリ使用量を追跡する(Python3.4以上)

対応バージョン Python3.4以上 Pythonでメモリ使用量を追跡したかった それなりに重いデータをいじろうとすると、メモリの使用量が気になる事が多々あります。 秒単位で計測することはLinuxコマンドで比較的簡単に出来ますが、具体的にどの処理の後にメモリの使用量が増えているかを知りたく、Pythonの関数化してみました。 標準モジュールでのメモリ追跡の方法 tracemalloc という標 […]

【Python】Google Colaboratoryで最新のFastTextをインストールする(2019年9月時点)

全コードは以下に掲載しています。 https://colab.research.google.com/drive/1gW3ki6HAxWvGtsXPkndSS26YP37McFzy だめたった方法 環境が違うせいで、公式のgithubに乗っている方法だとうまくいきませんでした。 [crayon-5e58b28690d9b934077781/] ちょっと公式から変えればインストール可能 FastTe […]

【Python】実際に見たちょっとあれなコード達と改善案

自戒も込めて書き記していきます。そして世の中にいいコードがたくさん生まれますように。 実際の製品の中でも速度に大きく問題があるようなコードが動いていることも良くあるので、やはり勉強は大切だし差別化にもなりますよね… 見つける度に追加していきます… listじゃなくてsetで比較するのだ setは被りなく順序なく、要素を格納してくれる機能です。(setの紹介はこちら) なのに何故要素に順序がある前提 […]

【BitFlyer】特定日時のトレードID(exec_id)を自動で取得する

環境 Python: 3.6.3 ccxt: 1.18.466 やりたかったこと BitFlyerのAPIでは、日時を指定して約定履歴を取得することができない仕様になっています。 なんでやねんと言いたくなる気持ちは抑えつつ、手動で地道に探すのは大変すぎるので2分探索で指定日時のIDを取得するスクリプトを簡易的ですが書きました。 これで約定履歴を地道に管理せずとも、ある程度簡単にIDは取得できるはず […]

【Python】巨大なファイル(ログ・csv等)を分割して圧縮する

やりたいこと 間違ってor仕方なく巨大なデータが存在する場合ってありますよね。 渡しの場合は巨大な過去のデータ(数十GB)をWebAPI経由で取得していたのですが、本来は日付単位でファイルを分割しようとしていたのに、スクリプトを間違えて全部同じファイルに出力してしまっていました。 そこで困ったのが、ディスク容量がやばいので圧縮しようとしたところ、巨大なファイルを圧縮しようとしているせいで、PCの空 […]

【Python・Django】Django REST frameworkで同一URLでrenderer_classesを動的に変更する方法

環境 Django1.1 Django REST framework3.5 やりたかったこと Django REST frameworkを使っている中で、GETリクエストの場合はjsonを返却し、postリクエストの場合はcsvを返却するという処理を実装したかった。 renderer_classesの変更方法 内部で使用されている、get_renderersをオーバーライドしてあげればokです。 […]

【Python・Django】中間テーブルのプライマリキーを後からID→UUIDに変更したい

環境 Python:3.6 Django:2.1 やりたいこと Djangoを使って開発を行っていましたが、最初は中間テーブルのプライマリキーをデフォルトのIDで使っていたものの、セキュリティ上の懸念に後から気がつき、変更ID→UUIDに変更したくなってしまった。 開発環境ではDB作り直せばよいのですが、せっかくなので消さずに修正を行ってみました。 ※UUIDは確率論的に重複することのないランダム […]