KILL[33.Rus]
Местный
Революция для Serverless или полумера для тяжелых задач?
Amazon Web Services выкатили важное обновление, которое заставит многих пересмотреть свои архитектурные решения: AWS Lambda теперь поддерживает таймаут до 30 минут для асинхронных вызовов (Event Functions). Напомним, что с 2018 года жесткий лимит составлял 15 минут, а до этого — всего 5.
AWS заявляет, что это нововведение позволит разработчикам запускать более длительные и ресурсоемкие задачи без необходимости усложнять архитектуру приложения (например, отказываться от костылей с дроблением задач или переходом на AWS Batch / Fargate).
🛠 Что это меняет прямо сейчас? (Плюсы)
Для адептов serverless-архитектур это открывает двери к задачам, которые раньше в Lambda просто не влезали:- AI/ML инференс: Загрузка тяжелых моделей в память и генерация сложных ответов (например, обработка длинных видео или генерация больших объемов текста) теперь может проходить в рамках одной функции.
- Data Engineering и ETL: Обработка гигантских файлов (парсинг логов, агрегация баз данных) станет проще. Меньше нужды использовать Step Functions для оркестрации сотен мелких чанков.
- Медиа-процессинг: Конвертация тяжелых видео, рендеринг графики или сведение аудио.
- Финансовые симуляции: Долгие математические расчеты (например, метод Монте-Карло), которые не укладывались в 15 минут.
Подводные камни: почему 30 минут может быть мало? (Минусы)
Несмотря на радость, у такого подхода есть очевидные ограничения:- Цена вопроса. Lambda тарифицируется за время выполнения и выделенную память (до 10 ГБ). Запуск функции на 30 минут с максимальными ресурсами может оказаться сильно дороже, чем использование контейнеров в ECS (Fargate) или спотовых инстансов EC2.
- Риск падения на 29-й минуте. Если ваша задача упадет из-за таймаута сети или ошибки в коде на 29-й минуте, вы не только потеряете результат, но и заплатите за всё время выполнения. А потом Lambda попытается сделать retry, и вы заплатите еще раз.
- Архитектурный антипаттерн? Serverless изначально задумывался для коротких, легковесных и stateless микросервисов. Запихивая получасовой монолитный процесс в Lambda, не стреляем ли мы себе в ногу?
- Холодные старты (Cold Starts). Для тяжелых ML-моделей инициализация окружения по-прежнему может занимать время, отъедая драгоценные секунды (или минуты) от лимита.
- Станет ли serverless реально удобнее для тяжелых задач, или 30 минут — это всё равно мало для серьезного ML и Big Data?
- Будете ли вы переносить свои воркеры из ECS/Fargate/Kubernetes обратно в Lambda ради упрощения инфраструктуры?
- Где, по-вашему, сегодня проходит та самая граница между "идеально подходит для Lambda" и "здесь точно нужен нормальный долгоживущий контейнер"?