« イタリアは一度行ってみたいです | トップページ | 修正 »

2009.08.04

日本語分解JavaScript

日本語を単語単位っぽく分解する簡易JavaScriptを作った

「JapneseDivide.js」をダウンロード

本格的にやるには単語のDB(マルコフ行列みたいなの?)が必要だと思うけど、とりあえず
・句読点や文字種別(ひらがな、カタカナ、等)を分け目にする
・助詞が出てきたら取り除く
である程度はいけるはず、との考えから上記手法でやっている。
送り仮名とかが問題だけど、まぁ送り仮名で分離されてもある程度は使えるカナ?
どこかにもっと効率のいい手法が転がってそうだけど、久しぶりにPGを組む気力が沸いたので自前で作った。

この手の論文とか読めばいいんだろうけどJavaScriptで簡易的にやるのが目的だし、大掛かりな重いJSにはしたくなかったので。

今は空白の処理が甘いので、今週で適当にブラッシュアップしよう。
無視関係の処理も詰めたい。(「とか【とかもいらない)

ちなみに例えば「私はハワイで結婚式を挙げました」なら「私、ハワイ、結婚式、挙、げました」という配列が帰ってくる。
同期が先週くらいに結婚した。

|

« イタリアは一度行ってみたいです | トップページ | 修正 »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/18613/45836152

この記事へのトラックバック一覧です: 日本語分解JavaScript:

» 結婚式 服装 [結婚式 服装]
結婚式に招待されると嬉しいのですが、なにを着ていけばいいのか結婚式の服装には悩んでしまいます。 結婚式の服装はあまり堅苦しくなく、かといってあまりカジュアルでもなく最低のルールだけは守ってください。 [続きを読む]

受信: 2009.08.04 22:53

« イタリアは一度行ってみたいです | トップページ | 修正 »