Charlie Wei Blog

使用GitHub Copilot Agent Mode連線Azure Databricks Genie MCP

Connecting VS Code and GitHub Copilot to the Databricks Managed MCP Server Recently, Databricks released a preview version of the Managed MCP Server. Upon seeing this, I immediately wanted to integrate Databricks Genie with VS Code and GitHub Copilot agent mode. Below, I will briefly share the setup process: Step 1: Prepare Genie on Databricks. In this case, I used the sam...

距離上篇在 Early Access Playground 試用 o1 模型後又過了兩週，今天終於等到 API 開放使用啦！本篇將紀錄如何使用 Python SDK 存取 o1 模型。

【Azure OpenAI】o1 模型與 2024-09-01-preview API 距離上篇在 Early Access Playground 試用 o1 模型後又過了兩週，今天終於等到 API 開放使用啦！本篇將紀錄如何使用 Python SDK 存取 o1 模型。

在 OpenAI 與 Azure OpenAI 同時發佈 o1 系列模型的一週後，我也順利通過 Azure OpenAI 的使用申請啦！本篇就來快速試用一下最新的 o1 系列模型。

【Azure OpenAI】快速試用 o1 模型

【Azure OpenAI】快速試用 o1 模型 興趣使然的隨手紀錄，Microsoft Azure 架構、技術 & 開發 愛好者，衷於分享工作中遇到任何與 Azure 有關的大小問題

我的 azd 模板成功被收錄到微軟的 azd-templates Gallery awesome-azd 了 🎉

https://azure.github.io/awesome-azd/?name=on+your+data

On Your Data 是 Azure OpenAI 中提供的 RAG 工具，主打的是簡單快速地建置自己的 RAG 應用，在先前的分享中，我將 On Your Data 的部署方式寫成 Bicep 來簡化整個設定流程。

【Bicep】自動還要更自動的 AOAI On Your Data
https://www.charliewei.net/2024/07/bicep-with-aoai-on-your-data.html

Azure Developer CLI (azd) 是個更面向開發者的命令列工具，azd 整合 APP (Source Code) 與 Infra (Bicep)，加速應用程式由本地端到上雲的流程，讓開發者在開發期間即可快速搭建所需要的 Azure 環境，簡直就是要把開發跟 Infra 當一個人用，就像我平時上班一樣..

透過 azd 我將純 Python 編寫的網頁框架 Streamlit 結合先前文章中的 Bicep，提供一個基於 On Your Data 的 RAG 應用完整部署流程，現在你可以使用 azd 指令取得這個模板：

azd init -t charliewei0716/on-your-data-with-streamlit

喜歡的話也請不吝給予愛心鼓勵 😍
https://github.com/charliewei0716/on-your-data-with-streamlit

在這個 LLM 時代 RAG 可說是一個非常熱的議題，其中來源資料的品質幾乎決定了整個 RAG 應用的成敗，而在一系列的資料處理流程中，又以 Chunking 做為一個重要的環節，像是常見的固定長度、重疊等等都是基本的 Chunking 策略。

Semantic Chunking 是一種進階的 Chunking 手法，比起基本的固定長度切分，Semantic Chunking 希望藉由語意分析劃分出更具有意義的 Chunk。本篇將使用在 Document Intelligence 中新推出的 Layout Model 文檔分析 API 來實作 Semantic Chunking。

【Document Intelligence】使用 Layout Model 實作 Semantic Chunking

【Document Intelligence】使用 Layout Model 實作 Semantic Chunking 在這個 LLM 時代 RAG 可說是一個非常熱的議題，其中來源資料的品質幾乎決定了整個 RAG 應用的成敗，而在一系列的資料處理流程中，又以 Chunking 做為一個重要的環節，像是常見的固定長度、重疊等等都是基本的 Chunking 策略。

Azure OpenAI 上的 On Your Data 是微軟最早推出的 RAG 架構，沒有太多複雜的 Chunking 手法，甚至直接不處理文件中的圖文夾雜問題，有的就是基本的 Embedding 與向量搜尋機制，主打的是一個快速串接流程。

結合 Bicep 與 Azure OpenAI On Your Data，完全自動地部署了一個具有前端網頁的基本 RAG 系統，其中使用 Bicep 的 Deployment Script 觸發 On Your Data 的 Ingestion Jobs API 來完成服務間的串接，整份 Bicep 精簡到僅需要約 300 行就可以完成整套部署，大大減少了加工與維運成本。

看看我們的 RAG 也知道颱風喔（誤

【Bicep】自動還要更自動的 AOAI On Your Data
https://www.charliewei.net/2024/07/bicep-with-aoai-on-your-data.html

Charlie Wei Blog

Azure 本身推出的 IaC 工具 Bicep，讓使用者以更像程式開發的創作方式來建立 ARM 模板，在 Control Plane 方面完整支援所有的 Azure 資源，但對於 Data Plane 上的操作卻非常不擅長..

本篇以儲存體帳戶為範例，執行在 Control Plane 上的建立資源，與 Data Plane 上的寫入檔案兩種類型的動作，以此展示 Bicep 如何藉由佈署指令來補足 Bicep 或 ARM 模板不擅長的 Data Plane 操作。

【Bicep】使用佈署指令擴充 Bicep 功能

【Bicep】使用佈署指令擴充 Bicep 功能 興趣使然的隨手紀錄，Microsoft Azure 架構、技術 & 開發 愛好者，衷於分享工作中遇到任何與 Azure 有關的大小問題

Provisioned Throughput Units 一直是目前在 Azure OpenAI 對於延遲問題的最有效解法，同時也是官方最推薦的方案，有別於基本的隨付即用，PTU 具有穩定、可預測的延遲等優勢。

但 PTU 的成本是一個不可忽視的問題，在確認是否購買 PTU 時，除了詳細閱讀官方文件並使用官方推出的計算機規劃額度外，以下文章中分享兩點是我們在選購時容易忽略的。

希望能幫助到正在考慮購買 PTU 的朋友們😃

【Azure OpenAI】購買 PTU 時微軟不會告訴你的事

【Azure OpenAI】購買 PTU 時微軟不會告訴你的事 但 PTU 的成本是一個不可忽視的問題，儘管選購最小單位量的 PTU，也是需要應用到達一定規模後才看得出使用效益。在確認是否購買 PTU 時，除了詳細閱讀官方文件並使用官方推出的計算機規劃額度外，以下幾點或許也是你該注....

我們常會將 Azure 虛擬桌面設計為進入 Azure 環境的跳板機或登陸區，這使得 AVD 成為重要的資安保護目標，因此在 AVD 上設定多重要素驗證是非常必要的。

因為先前已開啟的 pre-user MFA 設定對於有加入 Microsoft Entra 的 AVD 主機是不支援的，所以在設定的過程中花了點時間，最後成功使用條件式存取原則在 AVD 上開啟多重要素驗證，立馬整理踩坑紀錄到文章中 🤩

【Azure Virtual Desktop】在 AVD 上設定多重要素驗證

【Azure Virtual Desktop】在 AVD 上設定多重要素驗證 在一些常見的案例中，我們會將 Azure 虛擬桌面設計為進入 Azure 環境的跳板機或登陸區，這將使得 AVD 成為重要的資安保護目標，因此在 AVD 上設定多重要素驗證是非常必要的。

最近有幾個對外服務的網頁準備要上線了，在老闆對於資安的嚴厲要求下，開始看了 Azure web application firewall 這個工具。

出於好奇，一直想知道 WAF 遇到攻擊時到底會如何反應，於是搭配 App Service 建了一個簡易的 WAF 來試試。

測試結果非常完美的擋下了標準的 SQL Injection 與 XSS 攻擊，看來我應該不是當黑客的料 🙃

【Application Gateway】試著攻擊 WAF

【Application Gateway】試著攻擊 WAF 只要討論到 Web 應用程式的資安問題，在 Azure 官方文件中都是唯一推薦使用 Web Application Firewall (WAF)，好奇心驅使下的我一直很想知道 WAF 到底會怎麼防禦這些資安攻擊，於是以下我嘗試了幾種最簡單的攻擊手法，來看看 WAF 會有....

在一次因緣際會下，我們團隊發現了 Azure Databricks 下的 Serverless SQL 在 2024 年 1 月底出現了全球範圍的費用計算異常。

該異常使原先預計在 2024/02/01 結束的 Serverless SQL DBU 七折特價活動提早於 2024/01/20 結束，導致使用者在提早結束的這 10 天中被多收取了 30% 的費用。

比起 Databricks 內常用的 Cluster，是由 DBU 與 Azure VM 做為費用組成， Serverless SQL 是單純以 DBU 計價的，這完全放大了 30% 費用差異所造成的影響，以最低規格的 2X-Small 計算，這 10 天的異常可能被額外多收取了 $250 美金。

本篇文章紀錄了如何使用 Databricks 的 System Tables 追蹤各服務的真實用量，並以此計算使用成本後與 Azure 費用帳單核對。

目前該異常以得到官方支援團隊確認，預計於 7 月陸續進行退款，建議有在使用 Databricks Serverless SQL 的朋友可以透過文章中的方式確認，並另開立 Support Ticket 確保自身退款權益。

【Azure Databricks】使用 Databricks System Tables 找出 2024 年一月的費用重大異常

【Azure Databricks】使用 Databricks System Tables 找出 2024 年一月的費用重大異常 在一次因緣際會下，我們發現 Azure Databricks 下的 Serverless SQL 在 2024 年 1 月底出現了全球範圍的費用計算異常，本篇文章將紀錄如何使用 System Tables 追蹤各服務的真實用量，並藉此計算成本後與 Azure 費用帳單核對，以保障自身權....

近期做了比較多非公司內部的案子，很常會有幾台 VM 要臨時對外開放的需求，於是開始大量使用 Just-In-Time 這個功能。

JIT 可以在有需要時讓 VM 短暫開啟對外存取，並且在一段時間後自動關閉，有效減少對外公開的連接入口與 IT 同事的管理工作，設定與使用上也都很簡單。

文章記錄一下 JIT 的設定方式，並且在使用過程中觀察 NSG 自動添加允許與拒絕規則的行為，提供給大家參考！

【Azure VM】在 VM 上啟用 Just-In-Time 存取 Azure VM 上的 Just-In-Time (JIT) 存取是 Microsoft Defender for Cloud 的其中一項功能，JIT 可以讓我們在需要連線 VM 時，在 NSG 上暫時性地新增一條允許存取規則，並且可以在設定的一段時間後自動失效該存取規則。