Comments on: 「日本語スペルチェック」、「表記のゆれ」：API化して欲しい！

By: 【ネタの種】参考サイトのURL付きで | 東京ヘッドターミナル

【ネタの種】参考サイトのURL付きで | 東京ヘッドターミナル — Tue, 20 Jan 2009 09:52:20 +0000

[...] »zuzara : 「日本語スペルチェック」、「表記のゆれ」：API化して欲しい！ »スラッシュドット・ジャパン | ジャストシステム、ATOKを月額300円で提供へ [...]

By: funaki

funaki — Mon, 26 Jun 2006 00:18:45 +0000

ぁ、gooもその辺強いんでした。
タウンページを部分的に漢字にしたものは、gooとGoogleでは同じ結果。
「引っ越し」は差異が見られました。「じーこ」も修正候補を出してくれますね。

By: itochan

itochan — Sat, 24 Jun 2006 16:24:30 +0000

Googleではなく、「Goo」とで比較してみてください。
http://internet.watch.impress.co.jp/cda/news/2003/12/01/1313.html

あまり知られてないのかな？

By: funaki

funaki — Sat, 24 Jun 2006 07:58:47 +0000

なるほど。
英語や日本語対象の既存研究はありそう。表記のゆれって中国語や韓国語にもあるんでしょうか？あるとしたらその辺の研究の進み具合も気になるところ。

統計的確率論で言語を解析–Sematicsが世界初の日本語解析エンジンを開発 – CNET Japan
http://japan.cnet.com/news/ent/story/0,2000056022,20142328,00.htm

これの要約も気になるところだよね。

By: unno

unno — Sat, 24 Jun 2006 06:06:39 +0000

google は、読み方ベースで処理してないと思いますよ。
つまり、同じ IP address から受け取った、一定時間内の QUERY を同一単語の書き直しと見なして、学習してるんじゃないでしょうかね。
上のような表記揺れだと、自動で学習するとしても結構「知識」を入れない難しそうです。
揺れの種類をルール化して、確率モデルでむにゃむにゃむにゃ。
おもしろそうだけど、すでに既存研究がたくさんありそう。
そういえば、ウチの研究室で未知略語の自動復元（？）みたいなのを聞いたことあります。