Sequence models & Attention mechanism

CouseraのDeeplearningコースの最終回. 長かった. Various sequence to sequence architectures Basic Models センテンスの翻訳タスクを扱う基本的なモデルを図1に示す. このモデルはセンテンスtoセンテンスのタスクでよく使われる. EncoderとDecoderの…

Natural Language Processing & Word Embeddings

Introduction to Word Embeddings CouseraのDeepLearningのコースの学習メモ. 今回は言語処理のためのモデルについて. Word Representaion Word Embeddingの方法は色々ある. 前週ではOne-hotなベクトル表現をみてきた. One-hotな表現は,シンプルだが,…

Recurrent Neural Networks

CouseraのDeepLearningのコースの講義メモ. 今週からSequence Modelsということで時系列データを扱う. 文章なんかもSequence Modelで扱う. Why sequence models RNNなどの時系列データを扱うためのモデルについて勉強する. 音声認識や楽曲生成,感情分析…

Special applications: Face recognition & Neural style transfer

CouseraのDeepLearningのコース受講メモ. CNNのコースの最後 Face Recognition What is face recognition? face recognitionとして扱う問題は大きく分けて2つあり,顔認証と顔認識である. 顔認証はカメラで撮った顔画像とIDを元に,提示されたIDの所有者が…

Object detection

CouseraのDeepLearningのコースの学習メモ. CNNの第3週目. https://www.coursera.org/learn/convolutional-neural-networks/home/week/3 Object Localization これまでは画像認識のタスクにチャレンジしてきた. 今週はlocalizationとdetectionのタスクに…

Deep convolutional models: case studies

CouseraのDeeplearningのコースの学習メモ. Case studies 今週はケーススタディを見て行く. Why look at case stduies? ネットワークを構築する上で,ほかの誰かが作ったネットワークのアイディアを知ることはとても有益だし,そのまま活用することもでき…

Osaka Mix Leap Study 特別編 - CTO Night KANSAI

Osaka Mix Leap Study 特別編 - CTO Night KANSAIに参加させていただいた. 【増枠】Osaka Mix Leap Study 特別編 - CTO Night KANSAI - connpass うちにはCTOという役職はないが聞いたことはあるなー程度の知識であり,CTOという役割自体にはあまり興味がな…

Foundations of Convolutional Neural Networks

CouseraのDeepLearningのコースを受けている際の講義メモ. https://www.coursera.org/learn/convolutional-neural-networks/home/week/1 今週はConvolutional Neural Networksということで画像の処理なんかによく使われるCNNのお話. Coumputer Vision コン…

SCDVについて学んだ

文章を数学的に扱いやすい形に変える方法の一つであるSCDVについて学んだ。 SCDVとは ドキュメントを数学的に扱うことのできるような形に変換する方法のひとつで、Sparse Composite Document Vectorのこと。 他の方法に比べて変換後の形が小さくて扱いやすか…

ML Strategy(2)

CouseraのDeepLearningのコースの受講メモ. 機械学習プロジェクトを進めて行くための戦略についてpart2. Error Analysis エラーを手動で分析してより良いモデルに育てて行くための知見をえる. Carring out error analysis モデルの能力が,人の能力に届か…

ML Strategy (1)

この週と次の週では機械学習プロジェクトを進めていくための戦略について説明する. Why ML Strategy MLプロジェクトを進めていくための戦略がなせ必要なのか? モデルの精度が例えば90%であるとした時,それをさらに改善するためにどんなことをしたらより改…

Hyperparameter tuning, Batch Normalization and Programming Frameworks

CouseraのDeepLearningのコース2つめ最終週. 学習メモです. Hyperparameter tuning Tuning process これまで見てきたように,チューニングするべきhyperparameterはいっぱいある. これをうまくチューニングするためのガイドラインを説明する. チューニン…

Optimization algorithms

CouseraのDeepLearningコースの学習メモ続きです. Mini-batch gradient descent MachineLearningのプロジェクトは反復的にモデルを育てていくような進め方になるので,早く学習を進めることができる仕組みはとても大切になる. これまで見てきた最急勾配法…

Practical aspects of Deep Learning

CorseraのDeepLearningのコースの学習メモです. 今回はニューラルネットワークを効率的に学習させるための知識を学ぶ. Train/Dev/Test sets ニューラルネットワークには様々なHyperParameterが存在する. 実際に各パラメータを試さずして,最適なものを見…

Deep Neural Networks

CouseraのDeepLearningのコース. コース1の最終週分です. Deep L-layer neural network 2層や3層の浅いモデルでは,性能的に限界があるので,より高い性能を求めて深いニューラルネットワークが活用されるようになった. 浅いニューラルネットワークでは使…

Shallow neural networks

CouseraのDeep Learningコースの第1コースの3週目 Neural Networks Overview ニューラルネットワークの大枠の説明. 以降の章で話されることが端的に出てくる. Neural Network Representation 前回学んだロジスティック回帰のノードを複数結合させたような…

Neural Networks Basics

CouseraのDeep Learningのコースのお勉強メモpart2 Binary Classification ニューラルネットワークの説明の前に,先ずは簡単な導入としてLogistic回帰を説明する. ロジスティック回帰とは,Yes/Noを予測するアルゴリズム. 例えば写真に猫が写っているとい…

Neural Networks and Deep Learning introduction

CouseraのDeep Learningのコースを以前受けていたが,最近忙しさにかまけて結構放置してしまっていた... 反省の意を込めて,最初から受け直して見ることにしたのでメモを公開してみようと思う. 最後まで通して受け直す気力が持つといいなー Welcome コー…

事業を創る人の大研究を読んだ

「事業を創る人」の大研究を読んだ. タイトルの通り「人」に着目した新規事業立ち上げに関する本で,独自研究で得られた沢山のデータをもとに考察を進めていくというスタイルの本でとても参考になったので要点をまとめてみようと思う. 本書との出会い 本屋…

「○○がない」ということについて最近考えること

「○○がない」という言葉を聞くたびに、最近思うことがある。 「○○がない」って、一見問題提起っぽく見えるけど、その実はただの事実を述べてるにすぎない。 これをどうやったら解決すべき問題や、より良くするためのアクションを誘発する問いにできるか?を…

会社でハッカソンをやってみた 進め方編 2

前回記事の続き。 ハッカソンを行う上で「何を作るか?」の決め方について。 結論から言うと、メンバーに任せっきりで特段問題はなかった。 ハッカソンプレ実施で得た学び 前回記事のアイディアソンのフレームワークを運営メンバーだけで実施し、短縮版のハ…

会社でハッカソンをやってみた 進め方編 1

前回のきっかけ編の続きです。 ハッカソンをどう進めるか?を考える ハッカソン自体の進め方についても色々と考えることがある。 何に時間を使うか? 全体に大きく影響する要素として、何に時間を使うか?という観点がある。 例えばGVCの言っているようなデ…

会社でハッカソンをやってみた きっかけ編

社内でハッカソンの運営メンバーを経験させていただいたので、その際に考えたこととかの知見をまとめてみようと思う。(所属する組織の意見や考え方ではなく、あくまで私個人の考えや得た知見であるので注意) 今後同じようなフリを受けて悪戦苦闘する人の役に…

JDLAのG検定に向けて_3

JDLA(日本ディープラーニング協会)のG検定というのが12/16(土)に実施されるようです. 「ディープラーニングを事業に活かすための知識を有しているかを検定する」を目的としているようなので,事業に活かすための知識を得るためにはこれを取得するために勉強…

JDLAのG検定に向けて_2

JDLA(日本ディープラーニング協会)のG検定というのが12/16(土)に実施されるようです. 「ディープラーニングを事業に活かすための知識を有しているかを検定する」を目的としているようなので,事業に活かすための知識を得るためにはこれを取得するために勉強…

JDLAのG検定に向けて_1

JDLA(日本ディープラーニング協会)のG検定というのが12/16(土)に実施されるようです. 「ディープラーニングを事業に活かすための知識を有しているかを検定する」を目的としているようなので,事業に活かすための知識を得るためにはこれを取得するために勉強…

Neural Networks and Deep Learning - Neural Networks Basics

CourseraでNeural Networks and Deep Learningを受講し始めました. www.coursera.org 2week目です. 1weekの内容はこちら. 内容 この週の講義の前半を一言で表すと,2値分類問題をニューラルネット的な考え方を取り入れたロジスティック回帰で解くといった…

Neural Networks and Deep Learning - Introduction to deep learning

CourseraでNeural Networks and Deep Learningを受講し始めました. www.coursera.org deeplearning.aiのAndrew Ng先生のオンライン講義です. Andrew Ng先生といえばStanford UniversityのMachine Learningで有名な先生です. www.coursera.org 僕のMachine…

SPRINT最速仕事術を読んで(火曜日編)

前回は月曜日のタスクについてまとめた。 今回は火曜日のタスクについてまとめてみる。 火曜日:思考を発散させる 月曜日にはチームで取り組む課題を決めて、ターゲットを決めた。 火曜日はソリューションを考える。 材料を取り揃える アイディアの素を集め…

SPRINT最速仕事術を読んで(月曜日編)

SPRINT最速仕事術を読んだのでまとめてみる. 長くなりそうなのでまずはざっくりとした全体像と月曜日のタスクについてまとめる. スプリントとは? GV(Googleベンチャーズ)が活用しているプロセス. 5日間のタイムボックスで1つの実験を行うことで,難しい…