Sparkを習熟する上でRDD（とDataframe）の永続化のメリットが理解しにくかったので、Sparkの特性である遅延評価と永続化について簡単にまとめておきます。
（正しく理解できているか自信ないので、内容に誤りがありましたらご指摘いただけると幸いです）
なお、以下の情報を参考としています。
Sparkにおいて、RDDはざっくり以下のようなフローで扱われます。
ここで、【変換】とはフィルタリングやマッピングなど、RDDを加工したり抽出したりして新たなRDDを生成する動作を指します。一方、【アクション】とは要素のカウントや統計量の取得など、RDDのデータを入力として何かしらの出力値を得る動作を指します。
続きを読む個人的にライブラリやらなんやらを試してみる際にGoogle Colaboratoryを使うことが多いのですが、今回はSpark習熟のためにGoogle Colaboratoryのnotebook上でPysparkを実行できるように環境構築したので、備忘録としてその過程を記録しておきます。正直なところ処理の意図を理解できてないシーケンスが多々あるので、お勉強が進み次第適宜更新すると思います。
【2022/3/2 追記】
以下の記事に情報を更新しています。
toeming.hatenablog.com
【追記ここまで】
なお、こちらの記事を参考にしています。 qiita.com
続きを読む機械学習の2値分類問題において、不均一（＝陰性・陽性のデータ比率に偏りがある）データを学習させる際に学習用のセットの陰性・陽性のデータ比率をある程度揃えてあげることでモデル精度が向上することが知られています。このアイデアをもとにオーバーサンプリング（マイノリティの陽性データを水増しする）やアンダーサンプリング（マイノリティの陽性データに合わせてマジョリティの陰性データを間引きする）といった手法が取られるわけですが、そもそも「データを均一にすることで本当に精度が向上するんかね」ってのが疑問だったので、原始的なアンダーサンプリングをちゃちゃっと実装して本当に精度が上がるのかを確認してみました。
クレジットカードのトランザクションデータから不正検知を行うタスクを題材とします（データはこちら）。そもそもクレカの不正利用はそうそう頻繁に起きるものではありません。したがって、トランザクションは陰性：陽性の比率、つまり「不正でないトランザクション」と「不正なトランザクション」の比率において前者が多数を占める不均一データであることが予想されます。
不均一データのラベル予測を行う2値分類モデルを構築するにあたり、不均一データを元データと同等の陰性・陽性比率のデータセットで学習を行った場合と、アンダーサンプリングで両者のサンプルサイズを揃えたデータセットで学習を行った場合とで、モデルの精度を比較します。
続きを読む今年出会ったものの中で特に印象的だったコンテンツについて、書籍・音楽・映画の3つのトピックそれぞれで3冊・3枚・3本に絞ってまとめておきます。今年リリースではなく、あくまで「今年僕が出会ったもの」なので、基本的にリアルタイム性は皆無です。
最後は【映画編】です。しかし改めて3選を並べてみると完全に「今更映画祭」って感じで、架空の映画祭が開催されていて自分でウケてしまいました。今更ではありますが、言及する価値のある作品群だと思うので、もし見逃している作品があれば是非チェックしてみてください。
続きを読む
