第二十四個夏天後

Firebase 開發筆記 - FCM 與 Web app debug

之前已經小試身手了，在此把 Web app notification debug 訊息紀錄一下。 1. 關於發 push 要用的 Serverkey 擺在 Firebase -> Project -> Settings -> Project settings -> CLOUD MESSAGING…

Firebase 開發筆記 - Firebase Cloud Messaging (FCM) 初體驗、 Topic 管理與 Web notification

最近強者同事推薦使用 FCM ，看了一下，對於計費方式有點抖，若一切免費的話，真的超佛心 :P 由於支援潮流的訊息訂閱架構，基本上幾乎可以不用自行紀錄 notification token 了，用起來很直觀又方便。例如，想要個別通知時，可以每一個 user 給予一個 topic id (如 user…

台灣人力市場價

昨天看到大神按讚，剛好掃了這篇： [心得] 我的薪資歷程史 (續4) - 看板 Tech_Job - 批踢踢實業坊，感到健康又溫馨，所以來記錄一下。我自己的心得...其實美國、中國和台灣的價目的確有很明顯的起薪差距，當你了解這個生態時，通常已深陷在某一個區域難以自拔，像是人已在矽谷、人在上海，或…

[Python] 機器學習筆記 - Feature Engineering 以鐵達尼號資料為例

之前都用一些工作經驗去分析一些資料，但不夠科學，有點僥倖的做事方式。如果碰到沒任何背景經驗的數據時，這時就慘了，就得回歸到靠數學統計了。參考這篇：T itanic best working Classifier by Sina 整個過程十分享受如何用平均、標準差、去除雜訊、資料補齊、正規化、標籤數…

[Unix] 透過 jq 處理時間比較 @ macOS / jq-1.5

看到同事在處理 AWS AMI 的管理，用到了 jq 在過濾舊版資料來進行刪除，我也練了一下 jq 就順便筆記一下： $ echo '{}' | jq 'now' 1506504885.298058 $ echo '{}' | jq 'now | gmtime ' [ 2017, 8, 27, 9,…

[戲劇] 大王不容易

又有一陣子沒看戲，更別說是大陸戲劇了。被室友推坑看了一下，前面還滿新鮮的，但後面的滋味有點難述 XD 論其喜好，我比較喜歡前半段的安排，酷酷的女主角很正，男主角娘的很流暢。除此之外，也有發現一位台灣女演員袁子芸。我覺得古裝有種像做實驗時，控制變因似的，當大家穿一樣的服裝時，天生麗質的就會被凸顯出…

[Python] 機器學習筆記 - 使用 Pandas 處理 CSV 格式、過濾資料與自身 Index 更新問題

使用 Pandas 套件進行分析資料時，它提供的功能包括便利的資料過濾： import seaborn as sns import pandas as pd dataset = sns.load_dataset("tips") print(dataset) print(dataset.shape)…

[Python] 機器學習筆記 - 使用準確率/召回率 (Precision-Recall) 評估分析成果

研究所時，算是第一次接觸這名詞，老闆的研究領域是 Search Engines ，用來評估索引成果好不好。最近則打算用在機器學習的成果分析，卻想不起當時老闆用來解釋索引成果的案例，還是容易忘記 XD 網路上打滾一下，發現這篇寫的廣告投放實際案例很好懂，也不容易忘，建議可以逛一下：準確率（Preci…

[Python] 機器學習筆記 - 使用 ROC 曲線 (receiver operating characteristic curve) 評估分析成果

最近回想起兩年前走跳過的一場黑客松，當年的題目恰好是一個屬性的分類，就是一篇文章屬性給你，請告訴我它是不是 spam！所幸網路上還可以看到其他人的作品，逛了一下也順便研究別人的報告怎麼寫，其中有一組使用了 ROC 曲線來回報自己的分析成果，就來多多認識一下。而 ROC 曲線是什麼？其實在 WIKI…

[MySQL] 從 JSON 抽取資料建立虛擬欄位 @ MySQL 5.7

同事反映 query 很慢，除了改進 SQL 語法外，也小試身手，對 JSON 資料抽出來建立虛擬欄位跟索引，順便筆記一下。 CREATE TABLE my_data ( id int(11) unsigned NOT NULL AUTO_INCREMENT, data text, PR…

[Python] 機器學習筆記 - sklearn.preprocessing 之 LabelEncoder, OneHotEncoder

最近挑一些資料來練習分析，想要用矩陣乘法，第一個念頭就是用 Hash table 把 keyword 轉成數值，接著要符合ㄧ些數學式子，又把數值擴展成 nx1 維，直到強者大大推坑看一些文件，我才發現這種招數很常使用，都有 library/framework 可以直接套用，順便把之前隨手寫的程式架構…

[Python] 機器學習筆記 - 使用 seaborn 呈現資料狀態(數據視覺化)

這陣子被高手推坑 kaggle ，越看越有動力，就順勢把很久以前欠的知識技術順勢補一下：資料視覺化。在數據分析的比賽，默認的資料多是 csv 格式，接著用 panda 讀取，再用 seaborn 和 matplotlib.pyplot 繪圖。透過第一步的視覺化，快速得知數據分佈狀態，甚至在輸入資…

真愛每一天 = 過好每一天

最近工作上的事物又忙碌了起來，許多事交錯著，不只有 coding 的步調，還有跨單位的以及人性管理課題。此外，正逢台灣承辦世大運，社會新聞一樣熱熱鬧鬧著。年過三十後，對於時間有種恐懼和焦慮感，很貴很貴，卻也無法改變什麼 XD 最近也小玩一下數據分析，跑個 SVC 就搞了很久，你瞧，機器不夠力導致時…

[Python] 機器學習筆記 - 透過 sklearn.svm 簡易的數據分析、機器學習萬用框架 @ macOS 10.12, Python36

幾年前有幸參加過數據分析的黑客松，但是太耍廢了 XD 當下只用統計硬幹。最近有些閒情想好好認識一下 SVM 了。目前使用它的方式很粗淺 XD 就是把一堆 feature 湊個成 array 餵進去跑，接著就有報表可以看了（當初還人工去計算 precision / recall），回想起來真是青春啊…

[Python] 機器學習筆記 - 使用 matplotlib.pyplot 快速上手繪圖方式 @ macOS 10.11, 10.12 / Python36

最近想嘗試分析資料，看了一堆教學文都會看到繪圖的函式，如 plt.subplot, plt.plot, plt.show 等等，花了一點時間看看別人的範例，終於看懂了 XD 其實也沒有太複雜。畫一個正弦波： import numpy as np import matplotlib.pyplot a…

[Book] 你要如何衡量你的人生

之前被強者大大的塗鴉牆吸引到，仔細找了書來翻。有興趣的可以參考以下影片：這些影片都提到了書中內容，有興趣可以看看（甚至快轉兩倍速節省時間也行），我覺得比較好玩的是這是以“企業管理”的角度去思索人生規劃，當我跟其他強者大大哈拉時，他們立馬就說：有沒有用“軟工”衡量人生 XD 接著就蹦出一堆搞笑的話題…

[BOOK] 创新工场CEO训练营教材:创业就是要细分垄断

很久沒翻書了，一年可能翻不超過 3 本吧?! 這本書在五月中就看到的，那也沒特別有興趣，直到前陣子重感冒後，人厭厭的，只好找點東西刺激一下，開始亂找書來翻，於是乎就從天貓下單了，買了本實體書，不貴，才賣 25 RMB，貴反而在於台灣的快遞(22 RMB)，結果在中國境內就等了 5 天在運輸，拿到書都…

透過 Nginx proxy_pass 架構，進行 Service migration

有一個舊網站已活了數年，改造的方向不外乎提升 SEO、移除不需要的檔案、增加系統安全、架構拆分，或是基本的 Web Framework 的抽換使用等等。對於一個 IoT 產業來說，包袱多多，像是 device 不見得會更新到新版，更別說會跟隨 HTTP 301/302 去取得新資源，甚至新網站的開發…

AWS 筆記 - AWS ELB 與 Nginx 之 DOS 惡意攻擊者的處理方式

這個緣由是這樣的，有一台 Server 被狂打，但架構是: Remote client <-> AWS ELB <-> Web server (Nginx) <-> Application 當有用戶非常好心地發大量 request 來檢查機器漏洞，若 Nginx 預設都沒多做設定，那 access.…

[Linux] cross compile tmux for Synology DS216play via DSM 6.1 Tool Chains - STMicroelectronics Monaco Linux 3.10.102 @ Ubuntu 16.04 64bit

連假最後一天跑來把玩一下 cross compiler ，想說未來應該會越來越常用 NAS 做事，覺得裡頭沒有個 tmux/screen 很煩，然而，等了很久還是沒人為 DS216play 編譯 tmux ，一直很搞不懂，直到我翻了這張表出來： https://www.synology.com/en…