でーじデータ

機械学習に関する実験と理論をまとめます。

Embeddingについて Part1

入力データを低次元に特徴を埋め込むモデル構築に、最近私は取り組む機会が多くなっています。黙々と構築してきましたが、embeddingの良さをどのように測るべきか、ちゃんと厳密に考えていなかったなと痛感しています。モデルをさらに「改善」したいと思った…

URLNetについてのお話

問題の設定 モデル全体像 Char-Level CNN Word-Level CNN URL Embeddingについて書かれた論文を紹介します。紹介する論文は 「URLNet: Learning a URL Representation with Deep Learning for Malicious URL Detection」(Hung Le et al., 2018) Link: http…

交差エントロピーに繋がるお話

機械学習でよく使われる損失関数。 エントロピー(Entropy) カルバック・ライブラー情報量(Kullback-Leibler divergence) 交差エントロピー エントロピー(Entropy) 1948年にShannonによって書かれた論文 (A Mathematical Theory of Communication) http:…

Adamについてのお話

記念すべき第一回目の投稿です。 私、現在データサイエンティストとして、e-commerce系の大手会社で勤めております。 機械学習系のブログや数多くのリソースが増え知見を得ることが簡単になっています。私自身、web上で検索して数多くの知見を得ることができ…