Inledning
Fastly, Inc., en ledande global leverantör av innehållsnätverk och edgelösningar, har nyligen lanserat Fastly AI Accelerator. Detta är deras första AI-lösning som syftar till att förbättra utvecklares prestanda och minska kostnaderna för applikationer som använder stora språkmodeller (LLM).
AI och stora språkmodeller
AI och stora språkmodeller har revolutionerat techbranschen och förändrat sättet många människor arbetar på. Enligt Stephen O’Grady, chefsanalytiker på RedMonk, har det skett en markant förändring där utvecklare och företag nu allt oftare väljer mindre modeller för att spara både tid och pengar. Mindre modeller kräver mindre resurser och är snabbare att träna, vilket gör dem mer tillgängliga.
Fastly AI Accelerator
Fastly AI Accelerator är utvecklad för att minska API-anrop och kostnader med hjälp av intelligent semantisk cachelagring. Byggd på Fastlys Edge Cloud Platform, använder den avancerad cacheteknik för att intelligent lagra data. Detta minskar behovet av att hämta information från externa källor, vilket optimerar prestandan för applikationer som använder stora språkmodeller. ChatGPT är den första modellen som stöds, men fler modeller kommer att läggas till i framtiden.
Fördelarna med semantisk cachelagring
Populära AI-applikationer hanterar hundratusentals API-anrop varje dag, varav många är mycket lika varandra. Utan semantisk cachning kräver varje anrop en direktkontakt med leverantören, något som både kostar tid och pengar. Med semantisk cachelagring kan Fastly AI Accelerator spara och återanvända svar på liknande frågor direkt från bolagets edge-plattform, vilket leder till betydande tids- och kostnadsbesparingar.
Lyssna på utvecklarnas behov
– Fastly tycker det är viktigt att alltid lyssna på utvecklare för att förstå både vad de är entusiastiska över och vilka deras utmaningar är, säger Anil Dash, Vice President of Developer Experience på Fastly.
Utvecklare behöver bara uppdatera sin applikation för att använda en ny API-slutpunkt, vilket oftast innebär att ändra en enda rad kod. Fastly AI Accelerator implementerar sedan semantisk cachelagring för OpenAI-kompatibla API, vilket innebär att den förstår sammanhanget i förfrågningar och kan ge liknande svar på liknande frågor.
– Med Fastly AI Accelerator hjälper vi utvecklare att göra deras språkmodeller snabbare och effektivare, så att de kan fokusera på det som gör deras app eller webbplats unik, avslutar Anil Dash.
Fastly AI Accelerator representerar ett betydande framsteg inom AI-teknologi, och genom att lyssna på och förstå utvecklarnas behov, fortsätter Fastly att förbättra internetupplevelsen för alla.
