AWS

【AWS】aws cli でCognito ユーザープールのユーザー情報を編集する方法

あまりサンプル充実していなかったので備忘として残しておきます。 環境 aws-cli/2.1.37 Python/3.8.8 やりたいこと Cognitoユーザープールの画面からユーザー登録をしたものの、画面から属性情報の編集が出来なかったので簡易的にユーザーの属性情報を編集できる方法が欲しかった。 公式ドキュメントやサンプルを書いているような記事もあるのですが、引っかかる点がいくつかありました。 […]

  • 2021.04.09

りんなが公開した文章生成モデル「GPT2」試してみた(ソース付き)

先日株式会社りんなが、学習済みのGPT2のモデルを公開してくれていましたね! 環境 Docker環境で実行しています。 以下のように必要なライブラリをインストールしておきます。 [crayon-60a24b5620972988191074/] ※CPUで実行していますが、かなり重いので可能であればGPU環境で実行することが望ましいです。 実際に文章を生成してみた モデルを読み込みます。 [cray […]

【機械学習】古いtransformersでも最新のBERTの日本語学習済みモデルを使いたかった

日本語の学習済みモデルを使用する際は、東北大学が公開してくれている学習済みのモデルを使用することが一般的だと思います(多分)。 そんな状況が続いていたのですが、当然ながら学習データもやや古くなり新しい使われ方をし始めた言葉(コロナなど)に対して、精度が下がるようになっている現状がありました。 ということで、新しい学習済みのモデルを探していたのですが、その導入で躓くポイントが有ったので知見として残し […]

  • 2021.02.02

【Flutter】Chromeで起動/デバックできない問題を解決する

久しぶりに勉強中のFlutterを触っていて、ChromeでFlutterWebの開発中の画面を確認しようとしたときです。 現象 真っ白な画面が映り(何も写っていない)おかしいぞと思ってF12で確認したところ以下のエラーが出ました。 [crayon-60a24b5620cb1550359762/] 解決策 解決策はシンプルです。 [crayon-60a24b5620cb5604726293/] の […]

【PyCharm】ファイルを消したはずなのに参照出来てしまう問題を解決する

起きたこと 以前からたまーに発生していたのですが、本来import出来ないはずのモジュール等がimport出来るように見えてしまう状態が発生しました。 存在しないファイルがPycharm上ではimport出来ると判定される 実際に実行するともちろんエラーになる PyCharmの警告と実情が一致しないので開発効率が非常に悪い といったような状態です。 原因 どうやら本来参照すべきではないソースまで参 […]

  • 2021.01.28

【FastAPI】backgroundtasksが同期的に実行される場合

環境 [crayon-60a24b5620e1b563241575/] 同期的に実行される(非同期実行にならなかった)コード 以下のような感じでFastAPIのbackgroundtaskを活用して、非同期に処理を行おうとしていました。 (実際の処理からかなり簡略化しています。) [crayon-60a24b5620e22362548257/] しかし、実際にこのエンドポイントを呼び出すと結果が返 […]

AWS
  • 2020.12.09
  • ,

【AWS】WindowsでAWS ECRへのpush時のエラー対処

起きたこと どのタイミングから発生しているのかわかりませんが、普段と同じ手順でpushしようとしたのに突然AWS ECRへDocker imageのpushが出来なくなっていました。 [crayon-60a24b5620fda679821625/] エラーの内容を調査してみると、どうやらAWSが返す認証情報がWindowsには長すぎて受け付けられないことが原因のようです。 また面倒なところでエラー […]

  • 2020.09.30

【Docker】Hyper-VからWSL2に移行した際に古い環境を削除する方法

とうとう私のWindowsでもwindows 1909がやってきて、WSL2バックエンドのDockerが使えるようになりました。 動作が軽快だったり、WSL2上にファイルを置けるためLinuxコマンド色々操作出来たりと希望に満ち溢れています。 しかし、インストール直後に異常にディスク容量を圧迫した状態になっていたため対処しました。 ディスクを圧迫した原因 WSLとWindowsの両方にプロジェクト […]

【Pandas】pd.Seriesを全部同じ値で更新する方法

DataFrameのノリでやろうとしたら上手く行かずにちょっと詰まったのでメモです。 NG例 [crayon-60a24b5621114138559325/] DataFrameを経由する場合だと、 [crayon-60a24b5621118246990551/] のような形で指定できるので出来るんじゃないかなー、と思ったのですが駄目でした。 seriesという変数は、要素が全部0のpd.Seri […]

  • 2020.06.19

【機械学習】Optuna1.3.0以上での探索空間定義の種類

Preferred Networks社が開発しているオープンソースのハイパーパラメータ自動最適化フレームワークOptunaについての記事となります。 Optunaとは 公式サイト ハイパーパラメータの値に関する試行錯誤を自動化し、優れた性能を発揮するハイパーパラメータの値を自動的に発見します。オープンソースの深層学習フレームワークChainerをはじめ、様々な機械学習ソフトウェアと一緒に使用するこ […]

1 10