読者です 読者をやめる 読者になる 読者になる

【Rで自然言語処理】Term-co-occurrence matrixから距離行列とグラフをつくる実験

前にこんな記事を書きました。wanko-sato.hatenablog.com構文解析の結果から語のつながりを抽出して意味あるいは概念のネットワークを構築しよう!というアイディアです。が、進んでいません。というのも。KNPの結果の解析がめんどくさい。というごくごくし…

【R】数字の集合をトピックモデルで分析したらなかなか良くてびっくりした話。

前回、疎行列をクラスタリングする話を書きました。wanko-sato.hatenablog.comそこでふと思いついたのが、「数字の羅列を単語の集合とみなして自然言語処理のスキームに当てはめられるんじゃね?」ということです。どういうことかというと、 [[1]] [1] 246 3…

【R】スパースな行列をクラスタリングする

R

仕事で「超スパースな行列」を扱う必要が出てきまして。生のままで扱うとメモリが足りなくなってしまい、さてどうしたものかと思い悩んでおりました。SASでも扱えないことはないんだけれど、計算にアホほど時間がかかるので、Rで疎行列として扱ったらどうだ…

【自然言語処理】単語変換テーブルが必要になったので作る。そしてちょっと間違える。

text2vecでベクトル化したあと、どうしたら面白いことができるか?を考えているのですが、それ以前の問題にぶち当たってとりあえずの解決方法を思いついたので記録に残します。

【R】日本語文章をtext2vecで分析にかける

RMeCabなしでも、system()関数でMeCabに直接アクセスしてRで形態素解析ができるのでした。 RMeCabにはいろいろ便利な関数が入っていて、N-gramができる、とか、DTMが作れる、とか便利といえば便利です。が、個人的にはちょっと微妙だと思っております。とい…

【R】RMeCabを使わずにRでMeCabする方法

ノートPCを買ってやりたかったことのひとつに「日本語の係り受け解析」があります。日本語の係り受け解析器は、有名なところでCabocha、KNPがあります。いずれもPythonバインディングが提供されており、Pythonから動作させることが可能です。Pythonバインデ…