北京2020年11月30日 /美通社/ -- 日前，亞馬遜云服務(wù)(AWS)宣布面向Apache Airflow的Amazon Managed Workflows(MWAA)正式可用。這項(xiàng)全新服務(wù)讓數(shù)據(jù)工程師可以更輕松地在云端運(yùn)行數(shù)據(jù)處理工作流。Apache Airflow是一款流行的開(kāi)源工具，可以幫助客戶編寫、調(diào)度和監(jiān)控工作流。通過(guò)Amazon MWAA，客戶可以使用熟悉的Airflow平臺(tái)來(lái)管理工作流，而不改變現(xiàn)有的操作方式，同時(shí)改善可伸縮性、可用性和安全性，又無(wú)需承擔(dān)構(gòu)建、擴(kuò)展和管理底層基礎(chǔ)設(shè)施。Amazon MWAA可根據(jù)客戶需求，擴(kuò)展工作流執(zhí)行能力，并與AWS安全服務(wù)集成，提供安全訪問(wèn)客戶數(shù)據(jù)的入口。使用Amazon MWAA無(wú)需前期投入，客戶只需為使用的資源付費(fèi)。如欲開(kāi)始使用Amazon MWAA，請(qǐng)?jiān)L問(wèn)：https://aws.amazon.com/mwaa。

如今，客戶正使用數(shù)據(jù)分析和機(jī)器學(xué)習(xí)，從大量數(shù)據(jù)中獲得洞察力。為了有效地使用這些數(shù)據(jù)，客戶通常需要首先構(gòu)建一個(gè)工作流，定義一系列連續(xù)的任務(wù)來(lái)準(zhǔn)備和處理這些數(shù)據(jù)。數(shù)以萬(wàn)計(jì)的客戶使用AWS Step Functions，可視地構(gòu)建和運(yùn)行具有成本效益和可伸縮的事件驅(qū)動(dòng)工作流，這些工作流跨多個(gè)AWS服務(wù)執(zhí)行任務(wù)。還有一些客戶想要通過(guò)Apache Airflow來(lái)編排工作流。Apache Airflow有著活躍的開(kāi)源社區(qū)，有大量的庫(kù)，集成了Apache Spark、Hadoop等第三方數(shù)據(jù)處理工具，并可使用Python腳本創(chuàng)建工作流。然而，使用Apache Airflow需要數(shù)據(jù)工程師安裝、維護(hù)、擴(kuò)展和保護(hù)Apache Airflow環(huán)境，這增加了成本和操作復(fù)雜性。此外，為了支持基于角色的身份驗(yàn)證、以實(shí)現(xiàn)安全訪問(wèn)，Apache Airflow通常需要手動(dòng)、反復(fù)地更改配置，有時(shí)要使用命令行命令，在某些情況下，還需要對(duì)Apache Airflow代碼進(jìn)行編輯，容易出錯(cuò)?？蛻暨€必須集成和配置額外的工具，用以對(duì)系統(tǒng)停機(jī)、工作流錯(cuò)誤和任務(wù)執(zhí)行延遲等問(wèn)題發(fā)出告警。雖然客戶確實(shí)喜歡Apache Airflow預(yù)集成第三方工具、使用熟悉的Python編程語(yǔ)言等特性，但他們希望不要增加運(yùn)營(yíng)成本和復(fù)雜性。

Amazon MWAA使得客戶可以很方便地在AWS中構(gòu)建和執(zhí)行Apache Airflow工作流。Amazon MWAA負(fù)責(zé)管理Apache Airflow的配置和日常維護(hù)，客戶不再需要操心補(bǔ)丁、擴(kuò)展，不需要保護(hù)自管理的Apache Airflow部署。使用Amazon MWAA，執(zhí)行任務(wù)的計(jì)算資源可以按需伸縮，為用戶提供一致的性能?？蛻魯?shù)據(jù)默認(rèn)是安全的，因?yàn)楣ぷ髫?fù)載使用Amazon VPC虛擬私有云，運(yùn)行在客戶自己隔離的安全云環(huán)境中，存儲(chǔ)的數(shù)據(jù)使用AWS KMS 密鑰管理服務(wù)加密。Amazon MWAA使得客戶可以很容易地使用任何Apache Airflow的集成來(lái)組合數(shù)據(jù)，可以使用AWS服務(wù)，也可使用Apache Hadoop、Presto、Hive和Spark等流行的第三方工具，從而實(shí)現(xiàn)數(shù)據(jù)處理、機(jī)器學(xué)習(xí)管道以及軟件開(kāi)發(fā)與運(yùn)營(yíng)的自動(dòng)化?？蛻艨梢酝ㄟ^(guò)AWS IAM身份與訪問(wèn)管理服務(wù)，輕松安全地實(shí)現(xiàn)基于角色訪問(wèn)Apache Airflow用戶界面，為調(diào)度和查看工作流執(zhí)行提供用戶單點(diǎn)登錄(SSO)的訪問(wèn)。Amazon MWAA自動(dòng)向AWS監(jiān)控服務(wù)Amazon CloudWatch發(fā)送Apache Airflow系統(tǒng)指標(biāo)和日志，客戶無(wú)需第三方工具，即可輕松查看跨一個(gè)或多個(gè)環(huán)境的任務(wù)執(zhí)行延遲和工作流出錯(cuò)情況。通過(guò)使用Amazon MWAA，數(shù)據(jù)工程師可以獲得Apache Airflow可擴(kuò)展性、可用性和AWS的安全性。

“客戶告訴我們，他們非常喜歡Apache Airflow，因?yàn)樗梢约铀贁?shù)據(jù)處理和機(jī)器學(xué)習(xí)工作流的開(kāi)發(fā)，但希望它沒(méi)有擴(kuò)展、操作和保護(hù)服務(wù)器的負(fù)擔(dān)?！盇WS應(yīng)用集成副總裁Jesse Dougherty表示，“有了Amazon MWAA，客戶就可以和現(xiàn)在一樣地使用Apache Airflow平臺(tái)，同時(shí)獲得AWS的可伸縮性、可用性和安全性?！?/p>

客戶可以從AWS管理控制臺(tái)、CLI、AWS CloudFormation或AWS SDK啟動(dòng)新的Amazon MWAA環(huán)境，并在幾分鐘內(nèi)開(kāi)始運(yùn)行。Amazon MWAA現(xiàn)已在美國(guó)東部（弗吉尼亞北部）、美國(guó)西部（俄勒岡）、美國(guó)東部（俄亥俄）、亞太地區(qū)（新加坡）、亞太地區(qū)（東京）、亞太地區(qū)（悉尼）、歐洲（愛(ài)爾蘭）、歐洲（法蘭克福）和歐洲（斯德哥爾摩）區(qū)域正式推出，其它區(qū)域也將很快推出。