Kotz’i’jに恋して20: Herokuにデプロイ

Posted on 2017-07-10 by 13 No'j

Herokuで前回までに作成したTwitter Botを動かすこととした。ツイートへの自動リプライなんかをする時にずっと自分のPCを稼働させている訳にもいかないし。

Herokuに登録して、CLIのダウンロードやSinatraのダウンロードを済ませて準備を整えた後（Gitも必要だけどこれは既に環境が整っていた）、実行。

まずはHerokuのレポジトリにgit コミットする。

git add -A

1	git add -A

git commit -m "initial commit"

1	git commit -m "initial commit"

その後、既にコミットしたファイルに修正が入った場合は改めてコミット。

$git commit -am "any comments"

1	$git commit -am "any comments"

でHerokuにプッシュする。

git push heroku master

1	git push heroku master

幾つかコードを書いたけど例えばこれを実行するとする。

tweets.rb

require 'rubygems'
require 'twitter'
require 'sinatra'
client = Twitter::REST::Client.new do |config|
  config.consumer_key = "KEY"
  config.consumer_secret = "KEY"
  config.access_token = "KEY"
  config.access_token_secret = "KEY"
end

@text = [
		"Utz",
		"Maltyox",
		"Nim laj maltyox",
		"In al Kotz'i'j",
		"In aj Q'antel",
		"Sib'alaj je'lik le nutinamit",
		"K'o le nitz wab'ix",
		"Pa le wachoch, e k'o nutat nunan nume's",
		"Jas kub'ij ri ak'u'x?",
		"Ub'i' Na' le wachi'l.",
		"In k'o sib'alaj wachi'l.",
		"Al Na' k'o pa qatijob'al chanim."		
		]
ENV["TZ"]="America/Guatemala"
t = Time.now
strTime = t.strftime("[Chanim pa Ixim Ulew %H: %M: %S]")
tweet = @text[rand(@text.length)]
client.update(tweet + " " + strTime) #tweet

require 'rubygems'

require 'twitter'

require 'sinatra'

client = Twitter::REST::Client.new do |config|

config.consumer_key = "KEY"

config.consumer_secret = "KEY"

config.access_token = "KEY"

config.access_token_secret = "KEY"

end

@text = [

"Utz",

"Maltyox",

"Nim laj maltyox",

"In al Kotz'i'j",

"In aj Q'antel",

"Sib'alaj je'lik le nutinamit",

"K'o le nitz wab'ix",

"Pa le wachoch, e k'o nutat nunan nume's",

"Jas kub'ij ri ak'u'x?",

"Ub'i' Na' le wachi'l.",

"In k'o sib'alaj wachi'l.",

"Al Na' k'o pa qatijob'al chanim."

]

ENV["TZ"]="America/Guatemala"

t = Time.now

strTime = t.strftime("[Chanim pa Ixim Ulew %H: %M: %S]")

tweet = @text[rand(@text.length)]

client.update(tweet + " " + strTime) #tweet

こうやって

heroku run "ruby tweets.rb"

1	heroku run "ruby tweets.rb"

選択肢の中からランダムに選んだツイートにグアテマラの現在時刻を追加することとした。というのも同じ文章を連続で投稿してしまうと反映されないことがあるから。

これで実行できた。

実行結果はこんな感じ。

インドネシア語と認識されたのはちょっと気になるけどそれだけキチェ語は世界的にはマイナーということなんだろうと思う。Chanimとは今、英語のnowの意味でIxim Ulew(トウモロコシの土地はグアテマラの意味)。つまり、現在のグアテマラの時間はということをツイートしている。

これをHeroku上で定期的に実行する設定にした。

Kotz’i’jに恋して19: SSL証明

Posted on 2017-07-06 by 13 No'j

先程の記事で書いたSSL証明だけど、参照しているディレクトリに証明書がないことが原因と分かった。でそのディレクトリを

ruby -ropenssl -e "p OpenSSL::X509::DEFAULT_CERT_FILE"

1	ruby -ropenssl -e "p OpenSSL::X509::DEFAULT_CERT_FILE"

で探してみるとこんな

C:/Users/Justin/Projects/knap-build/var/knapsack/software/x64-windows/openssl/1.0.2j/ssl/cert.pem

1	C:/Users/Justin/Projects/knap-build/var/knapsack/software/x64-windows/openssl/1.0.2j/ssl/cert.pem

存在もしないディレクトリが指定されていることが分かった。そもそもジャスティンって誰って話。このディレクトリを作り証明書(cert.pem)を入れると先程使った

OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

1	OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

の一文が無くてもツイート出来る様になった。証明書はココからダウンロード出来る。ディレクトリに入れる際にはファイル名を変更する必要があるけど。

Kotz’i’jに恋して18: Twitter Bot

Posted on 2017-07-06 by 13 No'j

Tzijonikプログラムのアルゴリズムを改善していくには何よりもインプットが必要となる。そこでTwitter Botの作成に取り掛かることとした。

新規にアカウントを作成した後、APIを使う準備をしてからコードを書いた。準備は携帯電話番号認証とかgemでtwitterをインストールとかで少し面倒なところもあるけどまぁ、問題なく出来た。

一番の問題はさぁツイートしようとした時にSSLではじかれてしまった時。こんなエラーが出た。

request.rb:37:in `rescue in perform': SSL_connect returned=1 errno=0 state=error: certificate verify failed (Twitter::Error)

1	request.rb:37:in `rescue in perform': SSL_connect returned=1 errno=0 state=error: certificate verify failed (Twitter::Error)

一時的な対処方法として

OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

1	OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

こうしてツイートしてみたけどこれは危険。認証の問題を探らないと。

取り敢えず３回ツイートしてみた。右の再度バーからも読めます。

Rubyのコードはこんな感じ。

require 'rubygems'
require 'twitter'

OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

client = Twitter::REST::Client.new do |config|
  config.consumer_key = "CODE HERE"
  config.consumer_secret = "CODE HERE"
  config.access_token = "CODE HERE"
  config.access_token_secret = "CODE HERE"
end
client.update("Saqirik! Al Kotz'i'j nub'i' in!") #tweet

require 'rubygems'

require 'twitter'

OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

client = Twitter::REST::Client.new do |config|

config.consumer_key = "CODE HERE"

config.consumer_secret = "CODE HERE"

config.access_token = "CODE HERE"

config.access_token_secret = "CODE HERE"

end

client.update("Saqirik! Al Kotz'i'j nub'i' in!") #tweet

ただ単にターミナルからRubyを実行してツイートしているだけなのでまだボットではない。これから構築していく。

Kotz’i’jに恋して16

Posted on 2017-06-01 by 13 No'j

ここ数日間取り組んできたマルコフ連鎖による文書生成アルゴリズムをようやくTzijonikプログラムに取り入れた。重要な更新なのでバージョンを２にした。　慣れないRubyで色々とメソッドを書いたので、ttr_readerとか今まで曖昧だった部分も理解できる様になった。

コードはやはりDictionary.rbとResponder.rbへの追加修正が主。Dictionary.rbにはマルコフ連鎖関連の下記コードを追加：

  def studyMarkov(input)
    words = []
    fragments = input.split
    count = 0
    fragments.each do |word|
     if count == 0 then
       word = "%START%" + word
     end   
     words.push(word)
     count += 1
    end
	unless words.size < 3
      for i in 0..words.size - 2 do 
        next if words[i].include?(".") or words[i].include?("?")
  
        if words[i+2] == nil or words[i+1].include?(".") or words[i+1].include?("?") then 
          @markov << [words[i], words[i+1], "%END%"] 
        elsif words[i+2].include?(".") or words[i+2].include?("?") then
          @markov << [words[i], words[i+1], words[i+2] + "%END%"] 
        else
          @markov << [words[i], words[i+1], words[i+2]] 
        end
      end
    end	
  end

  def saveMarkov
    open('dictionaries/MarkovDic.txt', 'w') do |f|
	  markov.each do |a, b, c|
        f.puts([a + " " + b + " " + c])
      end
    end
  end

def studyMarkov(input)

words = []

fragments = input.split

count = 0

fragments.each do |word|

if count == 0 then

word = "%START%" + word

end

words.push(word)

count += 1

end

unless words.size < 3

for i in 0..words.size - 2 do

next if words[i].include?(".") or words[i].include?("?")

if words[i+2] == nil or words[i+1].include?(".") or words[i+1].include?("?") then

@markov << [words[i], words[i+1], "%END%"]

elsif words[i+2].include?(".") or words[i+2].include?("?") then

@markov << [words[i], words[i+1], words[i+2] + "%END%"]

else

@markov << [words[i], words[i+1], words[i+2]]

end

def saveMarkov

open('dictionaries/MarkovDic.txt', 'w') do |f|

markov.each do |a, b, c|

f.puts([a + " " + b + " " + c])

end

それからResponder.rbにはマルコフ連鎖で回答を作成するクラスを追加：

class MarkovResponder < Responder
  def response(input, mood)
    count = 0
    suffix = ""
    newSentence = ""

    while count < 100
      if newSentence == "" then
        startCandidates = []
        candidatesCount = 0
        @dictionary.markov.each do |a, b, c|
          if a.include?("%START%") then
            startCandidates << [a, b, c]
            candidatesCount += 1
          end    
        end  
    
        r = rand(candidatesCount)
        a = startCandidates[r][0]
        b = startCandidates[r][1]
        c = startCandidates[r][2]
        newSentence = a + " " + b + " " + c
        suffix = c
        count += 1 
      else
        rowCount = 0
        candidates = []
        @dictionary.markov.each do |a, b, c|
          if suffix == a then;
            candidates << [a, b, c]
            rowCount += 1
          end      
        end
    
        r = rand(rowCount)
        b = candidates[r][1]
        c = candidates[r][2]
        newSentence += " " + b + " " + c
        suffix = c
        count += 1
      end
    
      if suffix.include?("%END%") then
        newSentence.gsub!("%START%", "")
        newSentence.gsub!("%END%", "")
        return newSentence
        break
      end
    end  
  end
end

class MarkovResponder < Responder

def response(input, mood)

count = 0

suffix = ""

newSentence = ""

while count < 100

if newSentence == "" then

startCandidates = []

candidatesCount = 0

@dictionary.markov.each do |a, b, c|

if a.include?("%START%") then

startCandidates << [a, b, c]

candidatesCount += 1

end

r = rand(candidatesCount)

a = startCandidates[r][0]

b = startCandidates[r][1]

c = startCandidates[r][2]

newSentence = a + " " + b + " " + c

suffix = c

count += 1

else

rowCount = 0

candidates = []

@dictionary.markov.each do |a, b, c|

if suffix == a then;

candidates << [a, b, c]

rowCount += 1

end

r = rand(rowCount)

b = candidates[r][1]

c = candidates[r][2]

newSentence += " " + b + " " + c

suffix = c

count += 1

end

if suffix.include?("%END%") then

newSentence.gsub!("%START%", "")

newSentence.gsub!("%END%", "")

return newSentence

break

end

プログラムを起動してみる。

5割の確率でマルコフ連鎖で生成された文章で返事をするようにしている。ただ、入力した文章からキーワードを拾っている訳ではないので、意味のある会話にはなりにくい。でもKotzi’ijがある程度長い返答を出来るようにはなった。

今後はキーワードを拾う仕様にすることと、文法を考慮した上でマルコフ連鎖アルゴリズムに修正を加える必要がある。ただ、そうするとマルコフ連鎖では無くなってしまうけど。

Kotz’i’jに恋して15：マルコフ連鎖(マヤ・キチェ語その２)

Posted on 2017-06-01 by 13 No'j

昨日載せたコードを少し修正してみた。辞書ファイルへの書き込みも加えた。

MarkovChain.rb

def paragraphSplit(text)
  words = []
  temp = ""
  input = ""
  open(text) do |f|
    f.each do |line|
     temp << line
    end
  end
  input << temp
  sentence = input.scan(/[^.?!]*./)
  sentence.each do |s|
    fragments = s.split
    count = 0
    fragments.each do |word|
     if count == 0 then
       word = "%START%" + word
     end   
     words.push(word)
     count += 1
    end
  end
  return words
end

def writeASentence(markov)
  count = 0
  suffix = ""
  newSentence = ""

  while count < 100
    if newSentence == "" then
      startCandidates = []
      candidatesCount = 0
      markov.each do |a, b, c|
        if a.include?("%START%") then
          startCandidates << [a, b, c]
          candidatesCount += 1
        end    
      end  
    
      r = rand(candidatesCount)
      a = startCandidates[r][0]
      b = startCandidates[r][1]
      c = startCandidates[r][2]
      newSentence = a + " " + b + " " + c
      suffix = c
      count += 1 
    else
      rowCount = 0
      candidates = []
      markov.each do |a, b, c|
        if suffix == a then;
          candidates << [a, b, c]
          rowCount += 1
        end      
      end
    
      r = rand(rowCount)
      b = candidates[r][1]
      c = candidates[r][2]
      newSentence += " " + b + " " + c
      suffix = c
      count += 1
    end
    
    if suffix.include?("%END%") then
      newSentence.gsub!("%START%", "")
      newSentence.gsub!("%END%", "")
      return newSentence
      break
    end
  end
end

def markovDic(words)
  unless words.size < 3
    markov = []
    for i in 0..words.size - 2 do 
      next if words[i].include?(".") or words[i].include?("?")
  
      if words[i+2] == nil or words[i+1].include?(".") or words[i+1].include?("?") then 
        markov << [words[i], words[i+1], "%END%"] 
      elsif words[i+2].include?(".") or words[i+2].include?("?") then
        markov << [words[i], words[i+1], words[i+2] + "%END%"] 
      else
        markov << [words[i], words[i+1], words[i+2]] 
      end
    end
  end
  return markov
end

def paragraphSplit(text)

words = []

temp = ""

input = ""

open(text) do |f|

f.each do |line|

temp << line

end

input << temp

sentence = input.scan(/[^.?!]*./)

sentence.each do |s|

fragments = s.split

count = 0

fragments.each do |word|

if count == 0 then

word = "%START%" + word

end

words.push(word)

count += 1

end

return words

end

def writeASentence(markov)

count = 0

suffix = ""

newSentence = ""

while count < 100

if newSentence == "" then

startCandidates = []

candidatesCount = 0

markov.each do |a, b, c|

if a.include?("%START%") then

startCandidates << [a, b, c]

candidatesCount += 1

end

r = rand(candidatesCount)

a = startCandidates[r][0]

b = startCandidates[r][1]

c = startCandidates[r][2]

newSentence = a + " " + b + " " + c

suffix = c

count += 1

else

rowCount = 0

candidates = []

markov.each do |a, b, c|

if suffix == a then;

candidates << [a, b, c]

rowCount += 1

end

r = rand(rowCount)

b = candidates[r][1]

c = candidates[r][2]

newSentence += " " + b + " " + c

suffix = c

count += 1

end

if suffix.include?("%END%") then

newSentence.gsub!("%START%", "")

newSentence.gsub!("%END%", "")

return newSentence

break

end

def markovDic(words)

unless words.size < 3

markov = []

for i in 0..words.size - 2 do

next if words[i].include?(".") or words[i].include?("?")

if words[i+2] == nil or words[i+1].include?(".") or words[i+1].include?("?") then

markov << [words[i], words[i+1], "%END%"]

elsif words[i+2].include?(".") or words[i+2].include?("?") then

markov << [words[i], words[i+1], words[i+2] + "%END%"]

else

markov << [words[i], words[i+1], words[i+2]]

end

return markov

end

MarkovChainTestKiche.rb

require '.\MarkovChain'

words = []
markov = []
words = paragraphSplit('./MINEDUC.txt')
markov = markovDic(words)

count = 1
while count <=10 do
  sentence = writeASentence(markov)
  puts ("Sentence " + count.to_s + ": ")
  puts sentence
  puts""
  count += 1
end

open('./MarkovDic.txt', 'w') do |f|
  markov.each do |a, b, c|
    f.puts([a + " " + b + " " + c])
  end
end

require '.\MarkovChain'

words = []

markov = []

words = paragraphSplit('./MINEDUC.txt')

markov = markovDic(words)

count = 1

while count <=10 do

sentence = writeASentence(markov)

puts ("Sentence " + count.to_s + ": ")

puts sentence

puts""

count += 1

end

open('./MarkovDic.txt', 'w') do |f|

markov.each do |a, b, c|

f.puts([a + " " + b + " " + c])

end

辞書ファイルの読み込みはこの様に：

markov = []
open('./MarkovDic.txt') do |f|
  f.each do |line|
    a, b, c = line.split
	markov << [a, b, c]
  end
end

markov = []

open('./MarkovDic.txt') do |f|

f.each do |line|

a, b, c = line.split

markov << [a, b, c]

end

単純だけど必要なことは全てこれらのコードで出来ている。しかし、コードを見ると統計分析を行っているような書き方になっている。癖が抜けないなぁと思う。

13 No'j

グアテマラ、マヤ文明とプログラミング/Mayan World and Programming

Category Archives: Ruby

Kotz’i’jに恋して20: Herokuにデプロイ

tweets.rb

Kotz’i’jに恋して19: SSL証明

Kotz’i’jに恋して18: Twitter Bot

Kotz’i’jに恋して16

Kotz’i’jに恋して15：マルコフ連鎖(マヤ・キチェ語その２)