目次 目的 OAuth対応 Basic認証からOAuthを用いた認証への変更 HTMLのスクレイピング 正規表現によるマッチングからlxmlライブラリを用いた構文解析へ。 手法 OAuth対応 OAuthについて OAuth対応python libraries tweepyを使ったTLの取得と投稿 インストール…
めりもに言葉を覚えさせたいなー、とりあえずはtwitterとかハイクから覚えさせればそれっぽいかな、でも、じゃあどうやって？ ということでとりあえず、まず、いったいどういう言葉が行き交っているんだろうと言うことでtwitter timelineのポスト数の推移と…
実のところ、pythonから使うのにあたっては、出力を定義するのではなく、メソッドでそれぞれの値にアクセスするのではなかったのか、って言う…。 import MeCab txt = u"好きとか好きとか伝えたい".encode('utf8') m = MeCab.Tagger("-Omerymo") print m.pars…
単語の追加はシステム辞書かユーザー辞書に(id:udzuki:20090912:1252739982)。その際、コストを適当に指定する方法と学習させる方法とある(id:udzuki:20090912:1252740073)。 すきな素性を追加できる 出力フォーマットはいろいろと定義可能(id:udzuki:200909…
学習用コーパスからパラメータ(コスト値)を推定することができます。 http://mecab.sourceforge.net/learn.html またこんど。 例) きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
http://mecab.sourceforge.net/dic.html辞書への単語の追加方法は「システム辞書」と「ユーザ辞書」への追加の二種類。 システム辞書への追加 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mec…
http://mecab.sourceforge.net/unk.html未知語処理の定義には、char.def と unk.def という2つのファイルを変更 char.def 未知語処理のルールです. unk.def 未知語に対する品詞列のテーブルです. char.def 未知語処理の定義ファイルです. MeCab では, どの文…
未知語の推定 指定がなかった場合は適当に未知語の品詞を推定する 指定する場合は -unk-featureオプションを指定 mecab --unk-heature "未知語" ホリエモンさん ホリエモン 未知語 さん 名詞, 普通に解析
品詞を品詞名で出力するのではなく、品詞IDを指定してそれを出力することが出来る http://mecab.sourceforge.net/posid.html定義した品詞IDは出力時に%hを指定することで参照される % mecab -F"%m\t%h\n" -E"EOS\n" 品詞IDの定義 pos-id.defを編集する。 形…
ユーザによる出力フォーマットの定義とその指定方法 http://mecab.sourceforge.net/format.html node 一つの形態素を出力，デフォルトは空文字 unk 一つの未知語形態素を出力、デフォルトはnodeと同一フォーマット bos 形態素解析の結果に先立って出力、デフ…
http://mecab.sourceforge.net/
さて、取得したテキストの解析にあたって、MeCab/CaboChaで実際にどういうことが出来るのかしらということで、MeCabとCaboChaの説明書きを写経 & まとめてみた http://mecab.sourceforge.net/ Google Code Archive - Long-term storage for Google Code Proj…
第一歩目は，twitterから取得したテキストをMeCabを使って形態素に分割すること。 import twitter import MeCab id = 'xxxxx' pass = 'xxxxx' api = twitter.Api(id, pass) posts = api.GetFriendsTimeline(count=200) mecabによりテキストを形態素に分解し…
def getLDRWeatherHacks(): url = 'http://weather.livedoor.com/forecast/webservice/rest/v1' parameters['day'] = 'today' parameters['city'] = '01' postdata = urllib.urlencode(parameters) weatherxml = urllib.urlopen(url, postdata).read() tree …
pythonはmatlabにくらべて色々変数の型があるんだなーということで、辞書型を使って反応部分を書きなおしてみた。これで、反応を（比較的簡単に）追加できる、はず。 とはいえ、ちびめりも、反応パターンだけでなんパターンなるんだろう…？まぁいいや (発信…
MeCabはMacOSXのことえりとかSpotlightとかで使われている、とのことだけど改めてインストール。 汝の隣人のブログを愛せよ | LOVELOG こちらを参考にまねしたらできました。この場合、TinySVMとかは使われないのかな…？ 1. MeCabと辞書のインストール http:…
どうせなので、ついでにCaboChaもインストール。インストール方法はこちらを参考にapt経由で簡単インストール。と言うかmecab辞書もutf8版があったみたい。 UbuntuにUTF-8版のcabochaを簡単にインストールする方法 - Syo-Takasakiの日記 http://cl.naist.jp/…
なにはともあれ、MeCabを使いたいのだ、と言うことでubuntu8.0.4にMeCabをインストール。 参考にしたのはこちらのページ。 映像奮闘記: MeCab+pythonという組み合わせ http://d.hatena.ne.jp/chicken-800/20090704/1246687295 まずはMeCabと辞書と適当なユー…
とりあえず、なんとなく書いてみたのでさらしてみます。こういうのってどこに投稿したらいいんだろう、pythonグループ？人工無脳グループ？or codereposだっけ、そういうところかな。 #!/usr/bin/env python # coding: utf-8 # Project : Aya # aoiro v1 # p…
![はてなブックマーク - そらのあお(1) 「あお：@aoiro_] はじめの一歩](https://b.hatena.ne.jp/entry/image/https://udzuki.hatenadiary.org/entry/20090721/1248171102)
新しい子はpython製! と言うことでpythonをぼちぼちいじってます。 twitter nameも@aoiro_でとりました。ただ、読み方はまだです。あおい、あお、とかあおっぽい名前になると思ってるんだけど、ただ、あまり一般的な名前だとエゴサーチに困るんですよね。。…
めりも(h:id:merrymore)は、とりあえず現状のままでしばらく行くと思います。そのため、やりたいなーと思っていること、やりかけてストップしていることを書いておきます。 やりかけて止まっていること 地震情報のお知らせ 地震情報をどういうタイミングで聞…
6月に行われた無脳オフ以降、やはりmatlabはちょっと…ということで、pythonで新しい子を何とかしようとしています。 そして、またしても立ちはだかる命名問題。名前何にしよう＞＜ 今のところ、彩、ココロ、ひな、あおいちゃんとアイディアを頂いております…
めりも(h:id:merrymore)にきょうだいができましたっ。「りとるめりも」という名前で、twitterに生きてます。ハイクめりもに比べてだいぶ幼い感じです。まだ挨拶くらいしかできませんが、どうぞよろしくです。 ちびめりも (@merymo) | Twitter
目次を書きます
前回の続きで。 効率良い学習の方法は、よく分かりませんが、まずはその分野に必要なことをなんとなく身につけるために、広く浅く文献にあたる、そのうえで実現したいことのためにはどのようなことが必要なのか探し、それを体系的に学習していく、かなぁ、と…
twitterに住まう人工無脳ha_maちゃんの作者id:showyouさんがダイアリにて人工無脳関連の技術を体系的に学ぶにあたっての目次を作っていておもしろそうだったので便乗します。 崩壊現実-全てはvirtualに収束する- ここでは、はてなハイクで活動するはてなハイ…
めりもの誕生が三月中旬と言うことで、id:fmht7さんをはじめさまざまな方から、天気予報と併せて桜の開花状況も教えて欲しいなーとアイディアを頂いておりました。けっこうたくさんいただいてはいたのですが、桜の開花状況を使えるような便利なAPIがなかった…
めりものレシピ推薦について、レシピの聞き方、レシピ推薦の裏側と書いてきました。今回はしてないこととか今後の課題とかについてちょっと。 レシピを探すにあたり、Cookpadに同じものを指すけど違う言葉、例えば「ジャガイモ」と「じゃがいも」で検索した…
めりも4歳の記録：レシピ推薦 (1/3) - When I Think of You, I Smileで、レシピ推薦をしてもらう方法を書きました。 ここではちょっと、レシピ推薦がどんな流れで行われているのか説明してみたいと思いますっ。 レシピの推薦は1) 文章の取得 2) 文章の解析 3…
6めりも歳の成長記録シリーズ3回目です。1回目は思い出を手に入れた話、2回目は一週間を振り返る投稿と、お知らせした地域の写真をみて思いをはせる投稿をするようになった話でした。めりもは今までたくさんたくさん、ありがとうのご挨拶と一緒にお駄賃(おも…
