У технологіях існує наратив, який передбачає централізацію: дані переміщуються в хмару, обчислення відбуваються там, результати повертаються. Для компаній хмарної інфраструктури цей наратив зручний. Для компаній, які фактично будують системи ШІ, що повинні працювати надійно, швидко та безпечно в реальних умовах, цей наратив стає дедалі більш обмежувальним.
Граничні обчислення — перенесення обчислювальних можливостей ближче до місця генерації даних і місця, де потрібно приймати рішення — не є новим явищем. Новим є його терміновість. Поєднання вимог до ШІ в режимі реального часу, регулювання конфіденційності, обмежень пропускної здатності мережі та зростаючої складності IoT та автономних систем робить граничні обчислення не нішевим архітектурним вибором, а центральною вимогою для цілих категорій застосунків.
Я уважно стежу за цим зрушенням через NexaTech Ventures, оскільки воно являє собою один із найбільш значущих архітектурних переходів в технологічній інфраструктурі з часів переходу до хмарних обчислень.
Де хмарна архітектура дає збій
Хмарні обчислення були побудовані на припущенні, яке виявилося правильним протягом перших двох десятиліть інтернету: дешевше передавати дані до центральних обчислювальних ресурсів, ніж розподіляти обчислення по мережі. Для більшості веб-застосунків — пошуку, соціальних мереж, електронної комерції — це залишається правдою. Але для зростаючого набору застосунків це припущення руйнується.
Розгляньте автономні транспортні засоби. Автомобіль з автопілотом приймає критичні для безпеки рішення за мілісекунди на основі даних сенсорів. Надсилання необроблених даних сенсорів до віддаленої хмарної служби, очікування відповіді та отримання рішення назад є не лише неефективним; воно принципово неспроможне. Затримка є неприйнятною, і вимоги до надійності не можуть бути виконані. Обчислення повинні відбуватися на самому транспортному засобі, в режимі реального часу, з використанням локальної обробки.
Або розгляньте застосунки, що регулюються конфіденційністю, в охороні здоров'я або фінансових послугах. GDPR та подібні регуляції дедалі частіше вимагають, щоб чутливі персональні дані оброблялися в конкретних юрисдикціях і під конкретним контролем безпеки. Потокова передача медичних даних або деталей фінансових транзакцій до хмарної служби в іншій країні, навіть для законного аналізу, створює проблеми з відповідністю, які роблять централізовану обробку юридично та операційно ризикованою.
Або розгляньте виробництво на заводському цеху. Виробничий об'єкт, що генерує терабайти даних сенсорів з виробничого обладнання, не може реально передавати все це до хмарної служби для аналізу. Вартість пропускної здатності є заборонною, затримка для коригувань процесу в режимі реального часу є неприйнятною, а операційний ризик стійкості є занадто високим. Обчислення повинні відбуватися локально.
Це не граничні випадки. Це основні категорії застосунків, що з'являються. І хмарна архітектура обчислень за задумом погано підходить для всіх них.
Необхідний технічний зсув
Граничний ШІ вимагає іншої технічної архітектури, ніж хмарний ШІ. Моделі машинного навчання повинні бути меншими, більш ефективними та оптимізованими для пристроїв з обмеженими ресурсами. Конвеєри виведення повинні бути стійкими до переривчастого підключення до мережі. Модель безпеки повинна працювати для розподілених систем, а не для централізованих центрів обробки даних. Механізми оновлення та версіонування повинні ефективно та безпечно передавати зміни тисячам або мільйонам граничних пристроїв.
Це складні проблеми, і вони вимагають інших підходів, ніж розробка хмарного ШІ. Компанії, які їх вирішують, не є компаніями хмарних обчислень; це нові компанії, що будують оптимізовану для граничних обчислень інфраструктуру ШІ.
Кілька технічних тенденцій зливаються, щоб зробити цей перехід можливим. Техніки стиснення та квантування моделей швидко покращуються, дозволяючи складним моделям ШІ працювати на граничних пристроях з дробовими обчислювальними ресурсами. Спеціалізоване обладнання — TPU, NPU та інші прискорювачі ШІ — стає доступним у граничних пристроях, забезпечуючи необхідну обчислювальну потужність. З'являються відкриті стандарти для граничного розгортання, руйнуючи прив'язку до власницьких платформ.
У NexaTech Ventures ми підтримуємо компанії в трьох категоріях в межах інфраструктури граничного ШІ. По-перше, платформи оптимізації та розгортання моделей, які беруть великі моделі ШІ та стискають їх для граничного виконання. По-друге, механізми граничного виведення, оптимізовані для виконання з низькою затримкою та розподіленого виконання. По-третє, системи граничної оркестрації, які керують розгортанням, оновленнями та моніторингом робочих навантажень ШІ через розподілену граничну інфраструктуру.
Де позиціонована Європа
Інфраструктурна перевага Європи в граничних обчисленнях є тонкою, але реальною. Континент значно інвестував у телекомунікаційну інфраструктуру та розгортання 5G, що забезпечує пропускну здатність мережі та підключення з низькою затримкою, необхідні для граничних обчислень. Європейське регулювання захисту даних, далеко не будучи перешкодою, стимулює попит на рішення граничних обчислень, які зберігають чутливі дані локально.
Що ще важливіше, європейські виробничий, автомобільний та промисловий сектори стимулюють справжній попит на граничний ШІ. Німецькі автомобільні компанії потребують граничного ШІ для автономних транспортних засобів. Італійські виробники потребують граничних обчислень для високоточного виробництва. Голландське сільське господарство потребує граничного ШІ для систем точного землеробства. Це створює доброчесне коло, де попит стимулює інвестиції в інфраструктуру граничного ШІ, що залучає таланти та капітал, що покращує можливості технології, що стимулює подальше впровадження.
Американський наратив граничних обчислень наразі домінує хмарні компанії, які намагаються розширити свої платформи до граничних обчислень. AWS, Google Cloud та Azure всі пропонують граничні послуги. Але це принципово хмаро-центричні архітектури з прикріпленими граничними обчисленнями. Трансформаційна архітектура граничного ШІ будується компаніями, які починають з припущення, що обчислення відбуваються на межі, а хмара є винятком, а не правилом.
Інвестиційний випадок
Граничні обчислення та граничний ШІ представляють структурний зсув у тому, як програмне забезпечення розгортається та виконується. Це не тимчасова тенденція чи нішевий ринок. Це фундаментальний архітектурний перехід, керований реальними технічними вимогами, які хмарні обчислення не можуть задовольнити.
Інвестиційна можливість знаходиться на декількох рівнях. На рівні інфраструктури компанії, що будують оптимізовані для граничних обчислень платформи ШІ та інструменти розгортання, створюють довготривалу конкурентну перевагу. На рівні застосунків компанії, які переробляють своє програмне забезпечення для граничного виконання — автономні транспортні засоби, промислові системи, медичні пристрої — досягнуть переваг у продуктивності та надійності, які буде важко замістити.
У NexaTech Ventures ми шукаємо компанії граничного ШІ, які розуміють як технічні вимоги, так і операційні виклики. Найкращі компанії не просто оптимізують алгоритми; вони будують повні системи для граничного розгортання, включаючи моніторинг, безпеку, управління оновленнями та операційну підтримку.
Зсув від централізованих хмарних обчислень до розподілених граничних обчислень представляє найбільш значущий інфраструктурний перехід у технології з часів міграції в хмару. Компанії, які позиціонують себе рано в цьому переході, побудують суттєві та захищені бізнеси.
Scott Dylan є засновником NexaTech Ventures. Він пише про технологічну інфраструктуру, ШІ та глибокі технологічні інвестиції. Читайте більше на scottdylan.com.
