使用 jq、awk、sort、uniq、tail、diff、comm 處理 JSON 大檔
跟朋友相約參加了黑客松，主要是分析 SPAM 資訊，由於官方提供的是一個很大檔案的 json format，大多操作都適用 jq 指令處理，盡量不寫 code 來分析 XD 首先，只對指定欄位取出資料： $ cat data_set.input [ { "field1":"1" , "field2"…
Posts
AWS 筆記 - 使用 AWS Elastic Beanstalk 發佈 Docker 維護的專案 @ Mac OS X 10.10.4
用 Docker 是有用過，但統一流程發佈出去倒沒幾次，現在就抽空碰一下 AWS Elastic Beanstalk 吧！目標就是只需提供 Docker 維護的 Project 直接交遞到 AWS 上，接著就要生出一台 app service 就是了，過程中可不是要自己先開台 EC2 、裝 Dock…
NetTV4 Pro 網路電視盒
幾年前就看過 NetTV 產品，一直想用 Raspberry Pi + 電視棒自組一台來用，結果一直沒用，這幾天有強需求，就立馬下單添購一台來試試 XD 簡言之，就是一台嵌入式系統，只需給他電源、網路功能、訊號，如此即可。此圖是有 Cable In 跟 Cable Out，其中 Cable Out…
phpBB3 - 使用 OAuth 登入時，自動添加 phpBB3 系統使用者帳號
phpBB3 提供 OAuth 登入的功能，預設有 Bitly、Facebook 跟 Google+ 服務可作為登入系統。只需在外頭管理介面將帳號認證方式從預設的 Db 改成 oauth，接著只要有填寫 api_key, secret_key 後，網頁端在 login 介面下，就會顯示出額外的 OA…
AWS 筆記 - IAM 管理，透過 Condition 語法給予特定 region 權限
管理使用者時，發現系統預設的權限設定都是所有 data center 都開放的。因此小小研究了一下怎樣限定 region 的用法。 例如 AWS EC2 Full: { "Version": "2012-10-17", "Statement": [ { "Action": "ec2:*", "Eff…
IKEA NOT 立燈 / 上照落地燈 / 閱讀燈 (燈架 ONLY)
其實也才去過 IKEA 兩次而已，結果現在買傢俱都會想到它 XD 事情是這樣發展的，想說家中有人常常仰望天花板，時機也差不多到了，該砸點錢買居家用品，以前一張 SDCard、一隻 USB 都不需想太多，花錢就買，現在一台立燈(上照燈)倒讓我想了許多許多。 花了不少學費研究這款燈具（因為買了多顆燈泡…
AWS企業主管高峰會 2015 Taipei / AWS Enterprise Executive Summit 2015 Taipei
今年辦在 W Hotal ，由 Intel 主力贊助，共有四個 talk ，除了第一位大咖跟最後一位偏傳道士外，其實收穫還不少的： http://aws.amazon.com/tw/summits/taipei/agenda/ 第一位是 Stephen Orban, Head of Enterpri…
Google API 筆記 - 使用 Google OAuth 2.0 API @ Ubuntu 14.04, PHP 5.5
準備替服務整合 Google Plus 登入方式，因此研究了一下 Google OAuth 2.0 API 的用法： 在 Google Developer Console 建立一個 Google Project 開啟此 Google Project 的 OAuth 使用，並設置"重新導向 URI"，…
透過 jq, sed, grep 從 wikipedia api 取出台灣地區鄉鎮市區列表 @ Ubuntu 14.04
靈光一想，想到撈一下台灣各地區，看到了這個：wiki 中華民國臺灣地區鄉鎮市區列表 http://zh.wikipedia.org/wiki/%E4%B8%AD%E8%8F%AF%E6%B0%91%E5%9C%8B%E8%87%BA%E7%81%A3%E5%9C%B0%E5%8D%80%E9%84%…
GAE 筆記 - 在 Ubuntu Server 上傳 Google App Engine 程式碼 @ Ubuntu 14.04
最近嘗試在 Ubuntu server 開發，以前常在 Windows 、 Ubuntu Desktop 和 Mac OSX 等視窗介面，最近 Google App engine 也把認證的部分換了，以前是在 Google App engine tools 上輸入帳號密碼，現在都改用 OAuth 認…
Bash 筆記 - 使用時間區間備份 MySQL 資料表
由於資料屬性的關係，剛好有幾個 table 都有 timestamp 這個資訊，拿來備份恰恰好，設計一下備份方式： 一次備份 n 個月 限制每 n 個月一次或是每次執行只備份前面符合條件的 n 個月 例如 n=6 時，在 16 月只能備份去年 712 月資料，在 712 月時，才能 16 月…
AWS 筆記 - 關於 Amazon EC2、Elastic Load Balancer (ELB)、Auto Scaling 與 CPU loading 過低問題 @ Ubuntu 14.04, Apache 2.4
使用 ELB + Auto Scaling 好一陣子了，最近因為服務量變大導致 Web Server 變多，然而，在部署程式方面就累了許多，因此朝 Scaling up 來進行一下，限縮機器數量並提升機器規格。 在這個過程中，從 m3.medium 改到 m3.large 或 m3.xlarge 等…
Javascript 開發筆記 - 使用 Yuotube Player API for iframe Embeds 將 videos 串成 playlist
透過 Youtube Player API 可以動態把一堆 Youtube video 串成一個 playlist 來播放。網路上不少範例，但很少看到處理多則 video 的方式，有也是一則 video 搭配一個 player 架構，摸了一下終於搞懂其設計架構，片段程式碼： <div id="pla…
GAE 筆記 - 將 Google App Engine 之儲存資料 DataStore 匯出處理
前陣子寫小的程式不斷地將資料儲存起來，最近想處理一下，打算用 offline 的方式處理。接著就是要把資料先匯出，再用程式分析每筆資料。 匯出方式很簡單，只需到 Google App Engine -> Application -> YourApp -> Data -> Datastore Admi…
AWS 筆記 - 關於 Load Balancers 之 Health Check 處理心得
若是 web server，通常 Health check 都是定期去請求 /index.html 是否正常，以此來判斷服務是否正常。而檢查 /index.html 有很多含義，例如當 server response time 超過 10 秒，也能標記為不正常等。 最近碰到一個案例，是在處理外包案時…
透過 Script 合併 MPEG2-TS (Transport Stream / TS) 與 ffmpeg 轉檔
因緣際會，處理一些用 M3U 串起來的一堆瑣碎的 .ts 檔案，這些檔案透過 M3U 的格式，可清楚描述第幾秒要播放哪個片段。然而，在一些測試上會略顯麻煩 Orz 所以撰寫一些 script 跟 ffmpeg 來把這些東西在整合成單一檔案 :P 眾多 ts 檔案該怎樣合併成一則？其實單純用 file…
PHP CodeIgniter - 使用 Memcached
官方文件寫得很簡單，簡單的無法看懂: @ https://ellislab.com/codeigniter/user-guide/libraries/caching.html $this->load->driver('cache'); $this->cache->memcached->save('f…
iOS 開發筆記 - 製作 iOS Simulator app 版本送交給 Facebook 進行 review (creating-ios-simulator-build-for-review)
似乎...Facebook SDK 文件沒找到？只好隨意 Google 一些資料 $ cd /path/project $ xcodebuild -showsdks OS X SDKs: OS X 10.9 -sdk macosx10.9 OS X 10.10 -sdk macosx10.10 iO…
PHP 逆向工程 - 列出已定的 function 及相關參數
最近接手一包程式碼，發現這個 php source code 裡頭的 function 定義搞了很多層： <?php if (!function_exists('a')) { function a($input) { $input = base64_decode($input); // ...dec…
AWS 筆記 - 使用 Amazon ElastiCache - Memcached Cluster
由於服務是儲存在 RDBMS ，以此做出許多關聯設計。有朋友分享實際案例，對於線上服務盡量不要用 JOIN 等技術，例如把查詢結果定期儲存一張表上來使用，然而，在開發階段只能一切求快 XD 因此，快速開發後就想一下有沒有快一點的強化服務方式，於是乎就想到透過 memcache 來暫存儲存結果。於是乎…