今年出会ったものの中で特に印象的だったコンテンツについて、書籍・音楽・映画の3つのトピックそれぞれで3冊・3枚・3本に絞ってまとめておきます。今年リリースではなく、あくまで「今年僕が出会ったもの」なので、基本的にリアルタイム性は皆無です。
最後は【書籍編】です。
続きを読む2021年 - 今年出会った3×3【音楽編】
今年出会ったものの中で特に印象的だったコンテンツについて、書籍・音楽・映画の3つのトピックそれぞれで3冊・3枚・3本に絞ってまとめておきます。今年リリースではなく、あくまで「今年僕が出会ったもの」なので、基本的にリアルタイム性は皆無です。
今回は【音楽編】です。昨年に続きアルバム単位で聴く習慣がほぼほぼなくなってはいるのですが、慣習として盤毎の紹介とします。
続きを読む2021年 - 今年出会った3×3【映画編】
今年出会ったものの中で特に印象的だったコンテンツについて、書籍・音楽・映画の3つのトピックそれぞれで3冊・3枚・3本に絞ってまとめておきます。今年リリースではなく、あくまで「今年僕が出会ったもの」なので、基本的にリアルタイム性は皆無です。 まず【映画編】です。去年に引き続き、「今更映画祭」続行中です。
続きを読む多様性の尊重と表現規制の矛盾を自由主義の変遷から解く
近頃、表現の自由に関する議論（というほど論客同士のコミュニケーションが成立しているかはさておき、、、）が盛り上がっていますね。面倒なのであえてその具体には触れませんが、個人的なスタンスとしては表現を規制もしくは制限する動きに対しては基本的に反対のスタンスであることを明言しておきます。そして、そのような立場から疑問に思うのは、どちらかというと所謂「リベラル」に属する方々が、なぜ一見してダイバーシティ推進とは真逆を行くような「規制」をベースとした主張を繰り返すのか、ということです。これについて、ネオリベラリズムまたはリバタリアニズムとリベラリズムの文脈に遡って考えてみたところ、一定納得のいく結論を見出すことができたので、ここに備忘録としておきたいと思います。
なお、この文章は基本的に僕の(なけなしの)知識の範囲でがんばって解釈したお話なので、政治哲学分野に対する誤解や、それによる不適切な論理展開を含む可能性が多分にあります。主な参考図書は以下ですが、仮に記事中に間違いがあった場合はこれらの書籍の誤りではなく僕の誤読であると思われますので、ご指摘いただけると幸いです（ロジックに対して不要と判断したディテールについて敢えて厳密な分類や定義を無視している部分はあります）。
「当選確実」の裏で暗躍しているのは不正ではなく推計統計だって話
2021年衆院選の結果が出ましたね。蓋を開けてみれば、野党共闘を議席につなげることができなかった立憲に対して自民は議席は減らしつつも安定した戦績を残し、2大政党の裏では維新の躍進があり、れいわは着実に議席数を伸ばし。少なくない変化が感じられた今回の選挙でしたが、一方で場外では開票当日の風物詩ともいうべきか、見慣れた疑問が飛び交っていました。「当選確実、出るの早過ぎじゃね？」問題です。
確かに、ほんの数％の開票率で当選確実が報じられる様は、仕組みを知らない人からすれば強い違和感があり、ともすれば不正か陰謀論のようにも見えてしまうかもしれません。しかし、不思議に思われるかもしれませんが、これは不正でも陰謀論でもなく統計学の理論に基づく定量評価の結果による判断なのです。ということで、当選確実の裏にある母比率の区間推定について、かつてお勉強した内容をおさらいするのにもいいテーマだと思ったので、備忘録としてさらっと解説を残しておきたいと思います。
続きを読むPysparkで(個人的に)忘れがちなtipsメモ
たまーにPysparkを使うことがあるのですが、たまーにすぎて使う頃には前回までの習熟度が完全にリセットされている、という非効率を繰り返している今日この頃。ということで、毎回ど忘れして無駄に遠回りしてしまいがちなtips(と言うほど大袈裟な情報ではないです、、、)を備忘録としてまとめておきます。
0. 前提
サンプルコードの実行環境として、この記事相当の環境構築が済んでいて、 toeming.hatenablog.com
この記事相当のサンプルデータの読み込みができている、という前提とします。
続きを読む知る人ぞ知る(?)WOE変換をフックアップ
統計・機械学習における変数変換の手法の一つに”WOE(Weight of Evidence)変換”という方法があります。金融工学の世界で好んで利用される手法らしいですが、他分野の方にはいまいち耳馴染みがないワードだと思います。ということで、「WOE変換なんて聞いたことないよ」という方に向けて、手法の実装を紹介したいと思います。自分の頭の整理・備忘録も兼ねます。
1. WOE変換とは
変換対象となるカテゴリの説明変数に対し、目的変数の分布を元にカテゴリ値を割り当てる手法です。ターゲットエンコーディングに近いイメージですね（ターゲットエンコーディングとの違いについては、次回の記事で描くかもです）。
連続値の変数に対しては基本的にビニングとセットで利用されることが多く、統計ソフトのSASではビニングプロシージャ内で離散化からカテゴリ値の割り当てまでやってくれちゃう上に、離散化の調整や評価にWOE値（もしくはIV：IVについては、ここでは解説しません）の情報を使っていることもあり、どこまでがWOE変換の範囲なのかと考えると若干ややこしいです。が、WOE変換の厳密な対象範囲としては「水準にカテゴリ値を割り当てる」部分（のはず）です。WOE変換は主に分類問題で利用されます（誤りがあればご指摘願います）。
