挑戰一個月內準備完 GCP Cloud Developer

聽說 Cloud Developer 的難度比CA還高,想說趁最近手邊沒有棘手工作來好好準備 🫠,這次打算以這些學習資源為主: CloudSkillsBoost_PCD_learning path 10項活動,估計要花至少 174+hrs awesome-gcp-certification/PCD 包含一些準備策略、心得 ExamTopics 想設計一個簡單的程式,從412題中亂數出50題

〔Debug〕ElasticCloud 上傳type為date的csv檔案

錯誤內容: 當dataset其中一個field看起來像是日期可以分成多個buckets,實際上會拋出以下錯誤 1 2 3 4 5 6 { "error": { "type": "illegal_argument_exception", "reason": "Field [InvoiceDate] of type [keyword] is not supported for aggregation [date_histogram]" } } 問題釐清: 上傳檔案時,3/30/2011 16:34 或者 12/1/2010 9:10 這類的欄位內容被辨識為 "type": "keyword",須要在上傳檔案時點擊 Override settings,勾選 Contains time field 再加上時間戳記格式以及對應的 time field,這樣就能正常做 bucket aggregations 了 實際結果: 看起來 Elastic 幫你增加了一個@timestamp的欄位,而欄位內容確實是與 InvoiceDate 一致 !(https://i.imgur.com/OFv0uCh.png) 重編索引 - 使用Kibana console 先 PUT 建立一個自訂索引,細節參考另一篇Elasticsearch筆記,注意"type":"date"需要再接上原本source index欄位的日期格式,不然會無法重編索引 接著 POST _reindex 加入來源與目標 index 的參數,顯示下圖右結果就成功了

Elasticsearch 從頭開始學習(ELK & Elastic Stack)

2023-07-11 的筆記太簡略粗糙,重新整理 Elastic Search 到底是什麼 ElasticSearch 是一個開源分析工具 (Opensource analytics) 和全文搜尋引擎 (full-text search engine) 通常用於啟用application的搜索功能,有以下特性 如果產品有評價等級,而開發想要提高高評價產品的關聯性 開發要允許用戶過濾結果,例如按照價格範圍、品牌、尺寸、顏色,並依照關聯性排序 ElasticSearch除了全文搜尋之外,還可以查詢結構化數據(e.g. numbers, aggregated data)並且使用ElasticSearch作為分析平台 可以編寫query of aggregated data,並使用結果製作圓餅圖、折線圖etc. 例子: Analyze application logs and system metrics: 存儲來自app的log檔以及各種服務器系統指標,分析並設置告警 (e.g. error and CPU memory usage) Application Performance Management (APM) : 應用程式性能管理 Send events to ElasticSearch: 發送事件至ElasticSearch (e.g. 將實體店銷售業績存到ElasticSearch ) Excellent at analyzing lots of data: 分析大量數據 使用機器學習根據歷史資料,來預測未來銷售額) Anomality Detection 偵測異常 Data is stored as documents, which is just a unit of information

[筆記] OWASP API Security Top 10

What is OWASP Security Top 10 你會學到:API相關弱點的多樣類型、包含的來襲方向(attack vector)、弱點利用可能造成的技術影響 這些人都該來瞭解一下:API生態系的相關人士, bug bunty hunters, 開發人員, 滲透測試人員, 組織領導, 對API Security有興趣的人 (而且現在APISec University有一個certifcation bage提供給CASA 測驗通過的人,好像是個酷東西!) What is OWASP OWASP 是 Open Web Application Security Project 的縮寫,為非營利基金會,目標是改善應用程式的資訊安全。 創立於2001年12月1日,以Top10List的開源工具還有其他安全專案而聞名 創立者:Erez Yalon、Inon Sheedy OWASP API Security Top 10 首次於 2019 年 12 月發佈,基於以下幾點原因而啟動 APIs迅速的興起:不用自己造輪子開發地圖、GPS、付款交易、驗證、溝通相關的程式,可以直接使用其他家專精開發且成熟完善的功能 安全重大缺口:以前用來作為企業級弱點管理的工具與技術(例如:程式、掃描工具與傳統網路資安監控工具)不是專為處理API相關資安風險而設計的,因此存在資料外洩(data breaches) 的風險 新的攻擊方向: 通常公開網路API忽略了所有過去幾十年隨著商機一起成長的資安手法。 攻擊者不用再經歷MITRE網路攻擊鏈(bypass firewall, gain entry to the network, pivot around to a system that contains data, find a way to exfiltrate that data 攻擊者可以利用不穩定的API,直接存取資料源 一些上新聞的 API 意外事件

GCP on board

Mod1_GCP 簡介 什麼是雲端運算? 自助式隨選服務 - 無需人為介入即可取得資源 廣泛的網路存取權 - 隨時隨地都可存取 資源集區 (共享資源的概念) - 提供者可將資源分享給客戶 迅速彈性 - 隨需快速取得更多資源 依使用的服務計費 - 用多少,付多少 雲端技術如何發展而成?未來方向為何? 實體/主機代管:由使用者設定、管理與維護 [Phase2] 虛擬化:由使用者設定,由供應商代管與維護 [Phase3] 無伺服器:全自動化 GCP 運算架構 [採用代管基礎架構] ↔️ [採用動態基礎架構] Compute Engine Kubernetes Engine App Engine Cloud Functions 代管服務 IaaS 混合式 PaaS 無伺服器邏輯 自動 GCP 在全球設立187個網路邊緣位置(POP,網際網路交換中心),並投資鋪設20+條海底電纜 GCP 依區域和可用區劃分 區域region、可用區zone 每個區域裡有多個可用區zone (大部分3個),一個資料中心就是一個區域region Google善盡環保責任 100%落實碳中和政策(自2007年起) Data Center 2030年達成零碳排 全球數一數二的再生能源採購企業 資料中心率先通過 ISO 14001 認證 貼近客戶需求的計價方式 以秒/毫秒計費:適用於運算、資料處理和其他服務 續用折扣:虛擬機器的使用時間超過當月的25%,就會自動套用此折扣 (upto 30%) 承諾使用折扣:以較低的價格取得長期穩定的工作負載 (around 50%off) 先占使用折扣:以較低價格取得可中斷的工作負載 自訂VM執行個體類型:僅為應用程式所需的資源付費 (pricing calculator) 開放式API和開放原始碼讓客戶能改用其他供應商的服務