RabbitMQ でPub/Sub (チュートリアル3 Publish/Subscribe)

今回は本家チュートリアル 3 Publish/Subscribe です。これは何か？を簡単に言うと、ブロードキャストです。
今までの例では Receiver 側は Sender から送られた Message をどれか一つの Receiver だけで受けていましたが、これを複数の Receiver で受ける事が可能になります。

ではまず Receiver 側です。

pub.js

#!/usr/bin/env node

const amqp = require('amqplib');
const my = require('./my.js');

async function main() {
  const a = getArgs();
  const conn = await amqp.connect(my.conf).catch(my.die);
  const ch = await conn.createChannel();
  await ch.assertExchange(a.exchange, 'fanout', {
    durable: false
  });
  const q = await ch.assertQueue('', {
    exclusive: true
  });
  await ch.bindQueue(q.queue, a.exchange, '');
  console.log('Waiting exchange=%s', a.exchange);
  await ch.consume(q.queue, 
    msg => {
      console.log('Received: %s', msg.content.toString());
    },
    {
      noAck: true
    }
  );
};
main();

function getArgs() {
  if (process.argv.length < 3) { usage(); }
  return {
    exchange: process.argv[2],
  };
}

function usage() {
  const usage = `sub.js EXCHANGE_NAME`;
  console.log(usage);
  process.exit();
}

await ch.assertExchange(a.exchange, 'fanout', {
  durable: false
});

Exchange を定義します。Exchange については第1回の記事で少しだけ触れましたが、ここで改めて説明し直します。
基本的には Queue と同じですが違いは送受信方法や、名前に対して部分一致、OR などで受信が可能になります。
この Exchange には Queue を格納します。durable の意味は Queue と同じです。
そして Queue と同じように RabbitMQ 側に定義が残ります。一覧と削除は以下で可能です。

RabbitMQ でタスク処理(チュートリアル2 Work queues)

前回、単純なメッセージ送信を行いました。今回は本家チュートリアル 2 Work queues にあたる、タスク処理を行ってみます。タスク処理で大事なのはきちんとタスクが完遂されることです。なので、もし処理途中でプロセスが死んだ場合、他のプロセスがタスク処理を引き受ける必要があります。以下のコードでそれが実現できます。

worker.js

#!/usr/bin/env node

const amqp = require('amqplib');
const my = require('./my.js');

// worker の処理が正常終了した場合 ack でmsg を投げるとMQ 側からキューが消える
// それが行われずプロセスが死んだら他のワーカーがそのキューを処理する
async function main() {
  const a = getArgs();
  const conn = await amqp.connect(my.conf).catch(my.die);
  const ch = await conn.createChannel();
  await ch.assertQueue(a.queue, {
    durable: true
  });
  console.log('Waiting queue=%s', a.queue);
  ch.prefetch(1);
  await ch.consume(a.queue,
    task => {
      var secs = task.content.toString().split('.').length - 1;
      console.log('Received: %s', task.content.toString());
      setTimeout(() => {
        console.log('Done');
        ch.ack(task);
      }, secs * 1000);
    }
  );
};
main();

function getArgs() {
  if (process.argv.length < 3) { usage(); }
  return {
    queue: process.argv[2],
  };
}

function usage() {
  const usage = `worker.js QUEUE_NAME`;
  console.log(usage);
  process.exit();
}

await ch.assertQueue(a.queue, {
  durable: true
});

durable: true にするのは RabbitMQ が死んだ時でも残る Queue にするためです。
durable: false が指定された Queue がすでに存在する場合はその Queue を消す必要があります。

RabbitMQ でメッセージ送受信(チュートリアル1 "Hello World!")

RabbitMQ を仕事で使う必要があり使い始めたんですがこれがまた分かり辛い。むちゃくちゃ単純な代物なのにやたらと難しくする病気を患っているシリーズです。
自分は Node.js から使うんですが、本家チュートリアルのコードがコールバック地獄コードだったり、
他の人が書いているものもPromise 地獄コードだったりしてどうも具合が悪かったり。

同じように困っている人がいるのでは？と思いましてキーを打ち始めたわけです。一助となればと。

では、まず主要な用語を説明します。これがコアなのでしっかり把握してください。

Producer: 送信者(以後 Sender)
Consumer: 受信者(以後 Receiver)
Message: 送受信するメッセージ
Queue: Message を入れるものでラベルを付ける事が出来きそのラベルを使った送受信が可能
Exchange: Queueを入れるもので送受信の方法を切り替える事が出来る
　　　　　Queue同様ラベルを付ける事が可能で OR や部分一致での受信が可能になる

Sender がクライアントで Receiver がサーバ的なノリです。
Queue と Exchange の関係が最初はわけがわからんと思います。そらそうです。本来であれば別に分けなくても良いですから・・・。不毛に複雑化してますが我慢するしか無いです。

まずは一番単純な Queue に Message を詰め込んで送る方法を説明しましょう。本家サイトのチュートリアル1に相当します。
コードは JS です。

まず npm で必要なライブラリを入れます。

npm i amqplib -S

Receiver 側のコードが以下になります。

recv.js

#!/usr/bin/env node

const amqp = require('amqplib');
const my = require('./my.js');

async function main() {
  const a = getArgs();
  const conn = await amqp.connect(my.conf).catch(my.die);
  const ch = await conn.createChannel();
  await ch.assertQueue(a.queue, {
    durable: false
  });
  console.log('Waiting queue=%s', a.queue);
  await ch.consume(a.queue,
    msg => {
      console.log('Received: %s', msg.content.toString());
    },
    {
      noAck: true
    }
  );
};
main();

function getArgs() {
  if (process.argv.length < 3) { usage(); }
  return {
    queue: process.argv[2],
  };
}

function usage() {
  const usage = `recv.js QUEUE_NAME`;
  console.log(usage);
  process.exit();
}

このコマンドは QUEUE_NAME を引数で受けてメッセージを待ち受けます。

recv.js QUEUE_NAME

コードの説明をしていきます。

テレビの終焉 吉本騒動

ジャニーズの崩壊に続いて吉本の崩壊。テレビの歴史を作ってきた2事務所が今砕け散ろうとしている。

本日行われた岡本社長らの会見も終始保身で「おかちゃんはやめへんでー！」と自己保身ばかりで話にならない。

事の発端は宮迫氏らのウソで事務所側がすっかりタレントを信用しなくなってしまっているのもわかりはするのだがあの会見はマイナスにしか働かない。

しかし何が一番の問題かと言うとテレビ・新聞・週刊誌等のマスメディアがもはや成立しなくなっていること。

週刊誌は大手事務所が砕け散るようなスキャンダルをぶちまけ、なんとか小銭を稼ごうとしている状態。

テレビは叩かれるのを恐れて新聞・週刊誌のネタをそのまま垂れ流して小銭を稼ごうとしている状態。

これらはもはやタコの足食い。番組が潰れたり再放送出来なくなったりダメージは自分らにすべて返ってくることをわかっているのだろうか。

新聞は社員の大量リストラで既に死に体。新聞とテレビはオーナーが同じと言う世界的には稀というか、あらゆる国で禁止されていること(クロスオーナーシップ=メディア腐敗の原因の1つ)を日本はやってしまっており新聞社が受けるダメージは直接テレビも受ける。

テレビはもう何をやって良いかわからない状態だと思う。

そもそもこういった問題を四方八方から叩いて一体誰が得をするのやら。いっときの数字欲しさに致命傷を負う姿は愚か過ぎて哀れになってくる。

犯罪を犯したわけでもなく、法的には全く問題の無い人間達を犯罪者のように扱い社会的制裁を課す。法治国家としても崩壊している。

山口達也氏の問題、遡れば山本圭一氏の問題。どちらも不起訴なのにも関わらず重罪を犯した人間のような扱いには呆れ果てる。

ダメージを一番食うのは自分達メディア自身だというのが全くわかっていないことにも呆れ果てる。

吉本は自民党の仕事を受けたりネットに進出しようと試みたり様々工夫をしていたが今回の件で崩壊するだろう。

そもそもね、テレビは田中角栄の呪いの放送免許制度で局が少なすぎて見たくもないものを見せられる。でも今の世の中好きなものを好きな時間にネットで見ることができる。

だから今の子供ってテレビを全く見ない。ネット特にユーチューブしか見ない。

嫌なものでも強制的に見せられるテレビにはヘイトが集まる。ちょっとしたことで苦情があふれる。その苦情はヘイトを常々探している連中がたむろするSNSなどでさらにブーストする。SNSで広がったヘイトはテレビ局だけではなくスポンサーなどにまで波及しスポンサーの売上、テレビ局の広告収入と言う金銭面にダメージを与える。

このループが完成してしまっている。

このヘイトを放出しまくっている連中はネットでは自分の好きなものを好きな時間に見ている。だからこそ、嫌いなものを決まった時間に見せられるテレビに対するストレスは倍増する。

長引く不況、やりたい放題で無責任な官僚、自分達とお友達の事しか考えていない政治家に対してイライラが溜まっている土壌がさらに怒りを増長させている。

今回の件はテレビの本格的終焉を現していると思う。

謹慎だの契約解除の解雇だのされた芸能人はさっさとユーチューバーになれば良い。テレビがすべてと言うのは勘違いで、そこにはもう未来はないんだから。

山口達也氏も農家に住み込んでみた、みたいな感じでユーチューバーになれば良い。本来ジャニーズと対立し元SMAP3人を抱える飯島三智氏がネットタレント事務所を起こせば良いのに。

UUUM に媚びへつらっている場合じゃないと思うんだが。まぁあまりセンスが無いのかもしれないが・・・。一番ユーチューブに向いていない草なぎをユーチューバーにしてしまったし・・>・。

島田紳助あたりが戻ってきて一旗あげてくれないかな。

トヨタ大躍進の予感 - ものづくりの本質に目覚めた巨人

豊田章男からのメッセージ　～”自分”のためにプロになれ！～

なんか涙出そう・・・。

トヨタの現社長章男氏は前々からすごいなぁとは思っていたものの、最近Youtubeに専用チャンネルを作り、トヨタの新年社長挨拶を上げてくれています。

ものづくりを忘れたボンクラ共はこの動画をしっかり見て、何が正解なのかをもう一度考えた方が良いです、ほんと。

章男氏の言葉で感銘を受けたものを一部抜粋。

• • • -

皆さんは、自分のために、自分を磨き続けてください。

トヨタの看板が無くても、外で勝負出来るプロを目指して下さい。

私たちマネージメントは、プロになり、どこでも闘える実力を付けた皆さんが、

それでもトヨタで働きたいと、心から思ってもらえる環境を作り上げていくために、努力してまいります。

他人と過去は変えられませんが、自分と未来は変えられます。

皆さん、一緒にトヨタの未来を作っていきましょう！

• • • -

素晴らしい。こんなこと言われたら優秀なやつほど、やってやろうや無いけ、と思うはずです。

こんなこと言われたら優秀なやつほど、やってやろうや無いけ、と思うはずです。

「自ら行動する人よりも、管理する人。一芸に秀でる人よりも、欠点の少ない人。スキルよりもの年次。こうした、いつの間にかトヨタに根付いてしまった価値観ではなく・・・」

これは途中で出てくる言葉の一部ですが、実際、エンジニアがクソほど嫌いな価値観ですからね、これって。トヨタだけではなく日本中に蔓延してしまった価値観ですが・・・。

技術軽視で日本が死へと向かっているのは紛れもない事実なわけで。

一体エンジニアが何に憧れ、何をかっこいいと思い、どういう風になりたがっているか。それをわかっている企業は強いですよ。

副社長の河合満も、現場叩き上げの鍛造職人で、最初章男氏から役員の話が来た時も断るぐらいの職人で、「好きにやってくれ、責任は全部俺が取る。」なんてことを言うまさに「オヤジ」の相性にふさわしい人だったりしますし。

トヨタの副社長、河合満の日常

なんか動画見ているだけで涙が出そうになってきます。あぁまだこう言う人達が現場でがんばろうとしてくれてるんだな、と。俺もがんばんなきゃな、と。

エンジニアとして共感出来る部分が大いにあるので、感銘を受けまくりです。

トヨタのエンジニアは幸せでしょうね。トヨタ、伸びますよ、こりゃ。

日本はテレビがダメにしました。バラエティー漬けが本当に良くなかった。悪ふざけしたり人を小馬鹿にしてりゃ金になるとかクソみたいな概念をマスメディアでぶちまけ続けるべきじゃなかったんですよ。

ぜひ、こういう動画を見て、次世代の方々には考え方を一新してもらいたいです。

LSTM が良くわからない！グダグダ言わずに使い方教えろ！！と言う短気な方、どうぞ - その1

LSTM についていろいろ調べたもののうだうだ理屈ばっかこねくり回されてよく解らなくなってしまった方々、ようこそ。

パパッとコイツの使い方、教えます。

まずはコイツって何か？と言うと、あるデータの先を予想する奴です。株価予想したりします。文章相手に使うと自然言語処理が出来たり。

どうやるか？

[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 ]

的なデータがあるとします。こやつを

[ 0, 1, 2 ] [ 3 ]
[ 1, 2, 3 ] [ 4 ]
[ 2, 3, 4 ] [ 5 ]
[ 3, 4, 5 ] [ 6 ]

ってな感じで分けて行くんですな。
前の要素 3 な配列が学習用データで、後ろの要素 1 のやつが正解データです。
1つずつ値をずらしていって、正解データをその先のデータにすりゃ良いだけです。

前の配列の要素数 3 ってのは別になんでも良くて、モノによって調整する値です。

このデータを食わせて学習するわけです。

早速実践しましょうか。

まずはこの画像を見てください。

この画像は、2波長分のノイズ入り sin の値を学習させている途中結果を表示したものです。

青の破線。これは、sin の値にランダムなノイズを加えたものになります。
オレンジは、その段階で学習した結果の値をプロットしたものです。

徐々にオレンジが青の破線に近づいていっていることが一目瞭然かと思います。これは学習がうまく行って素敵なモデルが仕上がっている証拠です。

「'loss': ふにゃふにゃ」的な値が出ていますが、これは、間違い率です。学習がうまく行っていれば減って行くもんだと思ってください。

さて、お次はこの画像。

これは、学習した結果出来上がったモデルに対して、8波長分に伸ばしたランダムノイズデータを与えてみたものです。

2波長しか与えずに勉強していたのに、それより長い波長でもバッチリマッチしていますよね。
これは、与えられたデータよりも先のデータが予測出来てるってことになります。

さ、なんとなくわかったらお次はコード。

ディープラーニングが解らずお先真っ暗な人が読むと一気に目の前が明るくなる良著改め聖書: はじめてのディープラーニング

暗いと不平を言うよりも、 すすんであかりをつけましょう

読むべし。

どこぞのオライリーの赤いオコゼ本がさも聖書のように持ち上げられているんですが、あれ読んでも実際良くわかんねーっすって人多いでしょ？

もし持っていたら、メルカリで \3,000 で売れるんで速攻叩き売った方が良いです。

売ったお金を使って「はじめてのディープラーニング」を買いましょう。これ読んで解らなかったらもうディープラーニング諦めるしかないんじゃね？ってレベルでちょーーーーーーーわかりやすいです。

jupyter の入れ方、pyton の基本的な文法、matplotlib の使い方、numpy の使い方 と全て取っ掛かりで必要なものが丁寧でわかりやすく説明されています。

なので何も知らない人でもこの本を読むとディープラーニングの入り口まで優しくエスコートされつつ辿り着くことが出来ます。

ディープラーニングで必要な数学部分の説明は数学嫌いの人がより一層嫌いになれるような説明下手さ加減ですが、まぁ数学部分は気にせず、本の中にチョロチョロ出てくる数式もガン無視で OK です。大事なのはコードであり、数値の調整、どんな関数を引っ掛けていくか、が最重要要素なので。

こういった要素を実験する環境を整えることこそが一番大事なんですが、世のドキュメントだとその部分がおざなりで、ひたすら参入障壁を上げているだけという。初心者殺しの分厚い壁を築きすぎです。

この本は文中にコードがしっかり書かれていて大変わかりやすいです。ただ、コードの作りが微妙だったりはします。

グローバルな値がクラスの中にバッチリ入っていたり、何故か関数化されていないものがいたり、プロから見るとご法度系が散見されはしますが。

なので、この本に書かれているコードのロジックは正しいですが、書き方は間違っている事がある、と思って読みましょう。

数学が多いのとコードが微妙なことを除けばパーフェクトな本だと思います。オコゼ本を軽く超えて行く良書です。

自分は前半のエスコート部分は全て知っているのですっ飛ばしたのもありますが、2日で全て読み終わり、メルカルでささっと売りました。

それぐらいライトに読めますので是非。