【Python】PandasのDataFrameで特定の行を爆速で更新する方法
すみません、タイトルはちょっと誇張表現含んでます。 あまりpandasに慣れていない人が書いていたと思われるコードで実行すると、 数十分かかる処理が1秒以下で終わるようになるという事はざらにあります。 pandasは便利ではあるのですが、何も考えずに書くとPythonという言語の特性やpandasのデメリットばかりを享受するようなコードになりがちです。 本来の実力をpandasに発揮してもらえるよ […]
年別：2019年
1/4ページ
【AWS】Webサービスのユーザ行動ログを捌く時のサービス比較（Lambda・Kinesis Data Firehose・SQS）
AWSは便利だし、大量データを捌くポテンシャル半端ないし、固定費用のないサービスも多かったりと（お金を払えば）至れり尽くせりですが、あまりにも多種多様なサービスがあるし、特徴も似てるしで検討が大変な部分がありました。 自分の備忘録と同じようなことをやろうとする誰かのために記録しておこうと思います。 やりたいこと Webサイトの行動ログ（ページ表示・クリック等）をリアルタイムに収集し、 […]
【Python】ライブラリをインストールせずにメモリ使用量を追跡する（Python3.4以上）
対応バージョン Python3.4以上 Pythonでメモリ使用量を追跡したかった それなりに重いデータをいじろうとすると、メモリの使用量が気になる事が多々あります。 秒単位で計測することはLinuxコマンドで比較的簡単に出来ますが、具体的にどの処理の後にメモリの使用量が増えているかを知りたく、Pythonの関数化してみました。 標準モジュールでのメモリ追跡の方法 tracemalloc という標 […]
- 2019.12.04
「新しいLinuxの教科書」を読んだらLinuxの気持ちが分かるようになった。
半年ほど前になりますが、未経験からプログラマーになってsshすら出来ないところで、サーバーいじってという無茶ぶりをされた時に読んだ本が「新しいLinuxの教科書」です。 分かりやすく順序だった説明がある良書だと思うのと、筆者のLinux愛が伝わってきて読んでで楽しかったので紹介します。 どんな人におすすめ？どんな本？ Linux初心者向けの本です。homeディレクトリとか何だよ名前分かりづらいんだ […]
- 2019.12.04
【Python】ダミー変数化されたデータを1列に戻す
やりたいこと ダミー変数化されたデータを1列に戻したかった。 数十行にも及ぶ被りのないフラグデータをそのまま持っているとかままあると思うのですが、見づらいし扱いづらいという状態でした。 理由 ダミー変数化されたデータとされていないデータが混在している中で、処理を分岐させたくなかったのでデータを変形させることにした。 かなり使い道少なさそうですが… 機械学習とかでフラグが別カラムについ […]
【Python】PyCharmからJupyterNotebookをでもエラーが出る場合の対処
環境 JetBrains PyCharm Professional Edition with Anaconda plugin 2019.2.3 x64 conda==4.5.11 notebook==4.30 状態・エラー内容 どうやらデータの形式が何かおかしい模様。 [crayon-63d7debbc20b2830392327/] ブラウザから http://localhost:8 […]
- 2019.09.23
- Google Colaboratory, python, Python3,
【Python】Google Colaboratoryで最新のFastTextをインストールする（2019年9月時点）
全コードは以下に掲載しています。 https://colab.research.google.com/drive/1gW3ki6HAxWvGtsXPkndSS26YP37McFzy だめたった方法 環境が違うせいで、公式のgithubに乗っている方法だとうまくいきませんでした。 [crayon-63d7debbc22e9716301350/] ちょっと公式から変えればインストール可能 FastTe […]
- 2019.09.12
- python,
【Python】実際に見たちょっとあれなコード達と改善案
自戒も込めて書き記していきます。そして世の中にいいコードがたくさん生まれますように。 実際の製品の中でも速度に大きく問題があるようなコードが動いていることも良くあるので、やはり勉強は大切だし差別化にもなりますよね… 見つける度に追加していきます… listじゃなくてsetで比較するのだ setは被りなく順序なく、要素を格納してくれる機能です。（setの紹介はこちら） なのに何故要素に順序がある前提 […]
- 2019.08.27
- JavaScript, クロスドメイン(CORS),
【JavaScript】クロスオリジン（CORS）通信チェックポイントまとめ
そもそもクロスオリジン（CORS）通信って？ SPA（SinglePageApplication）を中心として、JavaScriptを用いた非同期での情報取得が盛んに行われています。 そんな中で問題になってくるのが、クロスドメイン（CORS）通信というもの。 オリジン間リソース共有Cross-Origin Resource Sharing (CORS) は、追加の HTTP ヘッダーを使用して、あ […]
- 2019.08.25
- Linux,
【Linux】gcc インストール時に出るエラーへの対処
Linuxの環境構築って真似するだけでも最初は大変ですよね。がんばりましょう。がんまります。助けてください 基本的なことでも詰まると大変なので残しておきます。 gccとは GCCとは、GNUプロジェクトが開発および配布している、さまざまなプログラミング言語のコンパイラ集のことである。 https://www.sophia-it.com/content/GCC とのことです。Pythonを使った場合 […]