「日本語スペルチェック」、「表記のゆれ」:API化して欲しい!

» 「日本語スペルチェック」、「表記のゆれ」の2つの日本語検索機能を強化

関連語のAPIもすばらしいですが、この日本語特有のぶれを何とかしてくれるAPIもつくって欲しいです!

引っ越し、引越し、引越、このぶれを吸収するシステムを自前でつくろうと思っても大変。。
あとは同義語。ヤフーとYahoo!、Yahoo、Y!をひとくくりにできたらなぁ、といつも思います。

ちなみに、Googleでは「ブラjる」「じーこ」に修正候補は出てこない。「中田ひでとし」は出てくる。「多運ページ」で検索すると「もしかして: タウンページ」と出てくるが、Yahoo!には出てこない。「タウン頁」はGoogleでは出てこず、Yahoo!では出てくる。「タ運ページ」でもYahoo!は出てくる。どちらも必ずしも漢字の読みでQuery Expansionしているわけではないらしい。検索数に応じてExpandするか決めているとしたら、GoogleとYahoo!ではよく検索される語の種類がだいぶ違うということなのだろうか。

「ブラjる」はYahoo!では0件、Googleもダブルクォーテーションで囲んでフレーズ検索にすると0件。検索語と検索結果からだけでは「ブラジル」には繋がらないはず。

「こんなワードをゆらして!」といったご意見もお待ちしています。

ブログにもこう書かれているので全部ではないにしろ人間による辞書的なアプローチも一定の割合を占めているのでしょうか。「タ運ページ」なんて誤変換は普通しないと思うのでここは機械的な感じがする。

ゆらして欲しいワードは、よく間違えられて悲しい思いをする自分の名前。「舟木信宏」ぢゃなくて「船木信宏」です。

This entry was posted in 感動する. Bookmark the permalink. Both comments and trackbacks are currently closed.

5 Comments

  1. unno
    Posted 2006/06/24 at 3:06 pm | Permalink

    google は、読み方ベースで処理してないと思いますよ。
    つまり、同じ IP address から受け取った、一定時間内の QUERY を同一単語の書き直しと見なして、学習してるんじゃないでしょうかね。
    上のような表記揺れだと、自動で学習するとしても結構「知識」を入れない難しそうです。
    揺れの種類をルール化して、確率モデルでむにゃむにゃむにゃ。
    おもしろそうだけど、すでに既存研究がたくさんありそう。
    そういえば、ウチの研究室で未知略語の自動復元(?)みたいなのを聞いたことあります。

  2. Posted 2006/06/24 at 4:58 pm | Permalink

    なるほど。
    英語や日本語対象の既存研究はありそう。表記のゆれって中国語や韓国語にもあるんでしょうか?あるとしたらその辺の研究の進み具合も気になるところ。

    統計的確率論で言語を解析–Sematicsが世界初の日本語解析エンジンを開発 – CNET Japan
    http://japan.cnet.com/news/ent/story/0,2000056022,20142328,00.htm

    これの要約も気になるところだよね。

  3. Posted 2006/06/25 at 1:24 am | Permalink

    Googleではなく、「Goo」とで比較してみてください。
    http://internet.watch.impress.co.jp/cda/news/2003/12/01/1313.html

    あまり知られてないのかな?

  4. Posted 2006/06/26 at 9:18 am | Permalink

    ぁ、gooもその辺強いんでした。
    タウンページを部分的に漢字にしたものは、gooとGoogleでは同じ結果。
    「引っ越し」は差異が見られました。「じーこ」も修正候補を出してくれますね。

  5. Posted 2010/12/03 at 5:13 pm | Permalink

    Very nicely said.I discovered your publish from Yahoo and enjoyed reading it. Have you been writing for long?Just the other day I recently set up a blog myself and its been a enjoyable process. I’ve met some new people since then but it is tough sometimes! Anyway, many thanks for your post!

One Trackback

Page optimized by WP Minify WordPress Plugin