読者です 読者をやめる 読者になる 読者になる

【統計】統計検定準一級を受けようと思う。

統計検定 統計学

会社からの指令もあり、統計検定準一級を受けようと思います。

最初はBioS受講という話もあったのですが、先々、データアナリストまたはデータサイエンティスト的な立場におさまることを考えると、BioSよりは統計検定の方がよかろう、という話に落ち着いたのでした。てことを書いちゃうと業界がばれちゃうんだろうか・・・?
また、最初は統計検定一級受験を提示されたのですが、過去問を見て、さすがにここまでばりばりの数理統計まではいらんだろう、という意見もあり、かといって二級では簡単すぎる、というので準一級。で、準一級の過去問をみたらさすがにこれを全部電卓で計算するのは(手法が全部頭に入っているわけではないので)辛そう。なので、復習と自己研鑽がてら、ここらでしっかり勉強しなおしてみよう、と思い立ったのでした。

続きを読む

【R】日本語文章をtext2vecで分析にかける

R 自然言語処理

RMeCabなしでも、system()関数でMeCabに直接アクセスしてRで形態素解析ができるのでした。
RMeCabにはいろいろ便利な関数が入っていて、N-gramができる、とか、DTMが作れる、とか便利といえば便利です。が、個人的にはちょっと微妙だと思っております。というのも、RMeCabのN-gramは複数のN-gramを同時にできない、つまり1-gram、2-gram、3-gramを同時に作ってそのままDTMに放り込む、ということができません。
たとえば、

「今日 は 雨 です」

分かち書きされた文は

1-gramの場合

  • 今日
  • です

2-gramの場合

  • 今日_は
  • は_雨
  • 雨_です

3-gramの場合

  • 今日_は_雨
  • は_雨_です

N-gramされます。残念なことにRMeCabの場合、1-gram、2-gram、3-gramの分割を同時にできず、3回の処理に分けなければなりません。

こいつぁ面倒だ。

ということで、他のパッケージで何とかできないか、と試してみたところ、text2vecパッケージを使えばうまくできたのでご報告。

続きを読む

【R】RMeCabを使わずにRでMeCabする方法

R 自然言語処理

ノートPCを買ってやりたかったことのひとつに「日本語の係り受け解析」があります。日本語の係り受け解析器は、有名なところでCabochaKNPがあります。いずれもPythonバインディングが提供されており、Pythonから動作させることが可能です。

Pythonバインディングできればな。

偉大な先人たちがいるじゃないですか。
その記述に従ってやってみるじゃないですか。
できないじゃないですかやだー。

彼らはいうわけですよ。

「俺の環境では動いたよ」

orz...

かれこれ2週間くらいあれこれやってみたんですが、結局良い解決策は見つからず、根本的にやり方を変えよう、と思い立ったわけです。「全然うまくいかなかった記録」は近々記事にしようと思います。が、その前にうまくいったやり方をご紹介します。簡単に言えば、

  • MeCabをsystem()関数を使って実行し、結果をRで加工する

ことをやっています。「なんだそんだけかー」と思った方は以下、スルーしていただいて構いません。
とりあえずMeCabについてだけ書きますが、CabochaもjumanもKNPも同じです。ただし、KNPはちょっと特殊です。
今のところ、Rで日本語の係り受け解析ができるものはなさそう(RCabochaは開発中止になっているそうですし)なので、「Pythonバインディングがうまくいかない」「Pythonなんか大っ嫌いだ!」という方、お試しください。

続きを読む

ノートPC買った

PC

ノートPC買いました。

購入したのはマウスコンピュータの"MB-K670SN-SH2-KK [Windows 10 搭載] (WEB購入限定モデル) "です。

そもそも、2年くらい前にMacProが壊れてしまいまして。でも、とりあえず当面使う用事がなかったので、スマホiPadで必要なことは済ませておりました。意外になんとかなるもんだなぁ、と思っていたのですが、仕事でRだのPythonだのを触るようになって、だんだんと「自前でもいろいろやりたい」という気持ちがムクムク湧いてきたのでした。ついでにいえば、会社のPCは管理者権限がないのであんなことやこんなことができない、という不満もありました。

なので、自前でPCを買おう、と思い立ったのです。要件は下記の通り。

続きを読む