Episodes

  • 047. Как запустить LLM (generative AI) на AWS
    May 10 2024
    Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM: •Amazon Bedrock - сервис для быстрого запуска популярных моделей •Amazon SageMaker JumpStart - кастомные модели в пару кликов •Hugging Face Estimator - доступ к библиотеке моделей Hugging Face •Развертывание в контейнерах ECS и на GPU-инстансах EC2 •AWS Lambda - какие особенности надо учесть при таком запуске С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте. Слушайте, пробуйте! Ссылки упомянутые во время подкаста:
    • Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
    • Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
    • Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
    • Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
    • Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
    • Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2
    Show more Show less
    31 mins
  • 046. Бережливый архитектор
    Mar 20 2024

    Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике.

    Ссылка на законы https://www.thefrugalarchitect.com/

    Show more Show less
    40 mins
  • 045. Оптимизация и тестирование Serverless в AWS
    Feb 29 2024

    В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций.

    Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке. Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform. Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку.

    Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.

    Ссылки:

    https://awslabs.github.io/aws-lambda-powertools-python

    Show more Show less
    45 mins
  • 044. Кто такой аккаунт-менеджер в AWS?
    Feb 22 2024

    В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

    Show more Show less
    40 mins
  • 043. Разбираем AWS reInvent 2023: часть 3-ая
    Feb 5 2024

    Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.

    🚀 Хаос-инжиниринг

    Мы начинаем с хаос-инжиниринга – методологии, проверяющей стойкость системы к потенциальным сбоям. Рассмотрели новые функции AWS Fault Injector Simulator, добавившиеся сценарии - обрывы питания и кросс-региональные обрывы связи.

    📦 Базы данных и хранилище: Amazon Aurora Limitless и Amazon S3 Express One Zone Storage Class

    Далее переходим к Amazon Aurora Limitless – революционному подходу к масштабированию баз данных. Обсудили, как благодаря новым технологиям синхронизации времени транзакции обрабатываются с невероятной скоростью.

    Важное обновление касается Amazon S3 – новый класс хранения Express One Zone, увеличивающий скорость работы с данными в облаке.

    🔄 Прощай, ETL: Новая эра аналитики (Zero ETL)

    Обсудили концепцию Zero ETL, упрощающую процесс интеграции данных и сокращающую необходимые для этого время и ресурсы. Новые интеграции OpenSearch с S3 и другие открывают новые возможности для аналитических задач.

    📡 Project Kuiper: Интернет из космоса

    И наконец, мы затрагиваем Project Kuiper – амбициозный проект Amazon по созданию спутниковой сети для предоставления высокоскоростного интернета во всем мире.

    Show more Show less
    48 mins
  • 042. Разбираем AWS reInvent 2023: часть 2-ая Generative AI
    Jan 23 2024

    Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖

    Ссылки на обзор всех новостей вы можете найти ниже.

    AWS announces vector search for Amazon MemoryDB for Redis (Preview) Amazon CloudWatch announces AI-powered natural language query generation (in preview) AWS announces Amazon Q (Preview) Boost generative AI application development with Agents for Amazon Bedrock Amazon Q offers help to optimize EC2 instance type selection (preview) Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon Bedrock Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview) Knowledge Bases for Amazon Bedrock is now generally available Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock Stable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon Bedrock Llama 2 70B foundation model from Meta is now available in Amazon Bedrock Claude 2.1 foundation model from Anthropic is now generally available in Amazon Bedrock Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview) Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview)
    Show more Show less
    38 mins
  • 041. Разбираем AWS reInvent 2023: часть 1-ая
    Jan 15 2024

    🎙️ Добро пожаловать в первый подкаст 2024 года, где мы обсуждаем самые свежие и значимые анонсы AWS reInvent 2023. Узнайте о последних инновациях в Kubernetes, роли AI в разработке и как Amazon CodeWhisperer поможет написать CDK, CloudFormation и Terraform код.

    🔍 Мы также глубоко погружаемся в новые стратегии управления и оптимизации затрат AWS, раскрывая, как эти изменения могут повлиять на вашу ежедневную работу. От нового объединенного интерфейса биллинга до улучшенных инструментов для анализа затрат – узнайте, как эффективно управлять ресурсами и сокращать расходы.

    💡 Не пропустите уникальные впечатления от Keynote Вернера и узнайте, как философия "Frugal Architect" может вдохновить вас на новые подходы в разработке. Подключайтесь к нам, чтобы быть в курсе самых актуальных трендов и инноваций в мире AWS!

    Ссылки на обзор всех новостей вы можете найти ниже.

    Amazon Web Services announces Unified Billing and Cost Management console Introducing Cost Optimization Hub Announcing Data Exports for AWS Billing and Cost Management Amazon CloudWatch Application Signals for automatic instrumentation of your applications Announcing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview)

    Amazon EKS introduces EKS Pod Identity

    AWS CloudFormation introduces Git management of stacks Introducing the Amazon CodeCatalyst Enterprise Tier Announcing custom blueprints for Amazon CodeCatalyst AWS Application Composer announces AWS Step Functions Workflow Studio integration Amazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview) Introducing Amazon GuardDuty ECS Runtime Monitoring, including AWS Fargate Amazon Inspector agentless vulnerability assessments for Amazon EC2 now in preview
    Show more Show less
    41 mins
  • 040. Кто же такой Solutions Architect в AWS
    Dec 18 2023

    👨‍💻 В этом выпуске обсуждаем кто же такой Solutions Architects в AWS. Вы узнаете, кто они такие, чем отличаются от других видов архитекторов, чем занимаются и многое-многое другое.

    💡 Основные темы: 1. Кто такой Solutions Architect? - Почему именно Solutions, а не Cloud или Systems Architect. 2. Основные навыки архитектора: - От технической базы до умения вести диалог с бизнесом. 3. Роль Solutions Architect в AWS: - Всё от общения с клиентами до экспертизы и оценки архитектуры. 4. Как стать архитектором? - Практические советы для вашего карьерного роста. 5. Разнообразие архитекторов: - Какие они бывают и в чем их специфика. 6. SA в AWS против Enterprise SA: - Основные различия. 7. Principal Software Engineer и Solutions Architecture: - В чем разница? 8. Можно ли обойтись без архитектора? - Как оценить эффективность SA. 9. Карьерный рост в архитектуре: - От SA до Principal SA.

    🌟 Этот выпуск будет особенно полезен для тех, кто стремится понять, как строится карьера в области архитектуры в IT, какие навыки нужны для успеха, и как Solutions Architect влияют на успех проектов и компаний.

    Show more Show less
    40 mins