Palantir Foundry, het AI / Data besturingssysteem voor de moderne onderneming.
Aan de hand van een fictief project laten we zien waarom Palantir Foundry het AI/Data besturingssysteem is voor de moderne onderneming.
Begin met een duidelijk resultaatgericht doel
Het slagen van een data gedreven project vereist creativiteit en bedachtzaamheid, omdat er vaak meerdere oplossingen zijn voor een bepaalde analytische vraag, workflow of operationele behoefte. Drie factoren moeten tegen elkaar afwogen worden: het gewenste resultaat, de beschikbare gegevens en de tooling van het platform.
Een duidelijk resultaatgericht doel is belangrijk omdat het dan gemakkelijker is het project op te splitsen in kleine, logische stappen, aangezien meerdere gegevensbronnen en verschillende tooling moeten samenwerken. Afzonderlijke stappen maken het gemakkelijker om het resultaat, de gegevens en de tooling op elkaar af te stemmen.
Het planningsproces
Nu de doelstelling van het project duidelijk is, wordt er gepland welke data nodig is om het project te realiseren. De brondata is geïdentificeerd en deze moet actueel blijven als de data bij de bron wordt ververst. De data moet worden opgeschoond, verrijkt en zo nodig samengevoegd om bruikbaar te zijn in het project. In ons voorbeeld, heeft het project een omgeving nodig voor analyse, een dashboard voor rapportagedoeleinden en een UI module die het mogelijk maakt om data terug te schrijven die tijdens de operatie wordt gewijzigd, de zogenaamde writebacks.
De bouw van de datapijplijn
De Data Engineers van ORMDA zijn verantwoordelijk voor het bouwen van een datapijplijn en de transformaties die nodig zijn van de brondata naar de Ontologiestructuur. We onderscheiden de volgende projectenprocessen.
- Data verbinding: Synchroniseert ruwe data van bronsystemen naar het Foundry platform, het zogenaamde “datasource project”.
- Datasource Project: In deze fase worden de stappen voor het opschonen van de gegevens gedefinieerd voor elke logische gegevensbron, waarbij een consistent schema wordt toegepast.
- Transformatie Project: Nadat de datasets zijn opgeschoond in het datasource project wordt data die cruciaal is voor het project geïmporteerd uit een of meerdere databronnen en getransformeerd zodat entiteiten ontstaan die zich houden aan een reeks regels, criteria en principes, zodat deze datasets herbruikbaar zijn.
- Ontologie Project: In deze fase worden datasets uit de transformatieprojecten geïmporteerd en getransformeerd tot tabellen met gegevens die alleen discrete (bepaalde) waarden aannemen die bedrijfsobjecten vertegenwoordigen. Een enkel Ontologieproject groepeert vaak gerelateerde objectdatasets voor een bepaald bedrijfsdomein (vliegtuigen, verzekeringen, klanten) om het beheer te vergemakkelijken.
- Workflow Project: Nu in de Ontologielaag tabellen met discrete gegevens zijn gecreëerd, importeert het workflowproject gegevens uit deze laag om de use case op te lossen waarvoor het project is gestart. Dit kan een operationele workflow zijn, een data science project, business intelligence analyse en/of rapport, of de ontwikkeling van een specifieke applicatie.
Schematische weergave van de Data connectie, de projecten datasource, transformatie, Ontology en workflow.
Domein specifieke (on)gestructureerde data van de bron wordt zodanig getransformeerd dat er in de Ontologielaag data aanwezig is die de objecten van de onderneming zoals machines, klanten, orders, vertegenwoordigt.
De laag van de workflow zorgt ervoor dat er één backend is voor de gebruiker.
Door het gebruik van de oplossing treden er continue veranderingen van de gegevens op. Deze nieuwe gegevens worden in zogenaamde writeback dataset terug geleverd zodat het systeem continue van de handelingen leert.
In detail:
Ontologie bestaat uit drie lagen; Semantische, kinetische en de dynamische laag.
Semantisch / Laag 01
Dynamische bedrijfsobjecten en relaties
Integratie van de verschillende gegevens- en modelbronnen in een real-time, en creëert een interactief integraal beeld van de organisatie activiteiten ( productie, verkoop, of logistieke diensten, etc)
Genereren van kenmerken
Hier worden kenmerken genereert uit (on)gestructureerde data, streaming data, geospatiale data, en van elk ander model of databron. Ook is het mogelijk om nog rijkere semantische details te configureren uit eigenschappen, afgeleid van modellen.
Ontologie basisbeginselen
Eigenschappen, gedragingen en onderlinge afhankelijkheden van activiteiten, zoals bijvoorbeeld de productieplanning, kunnen makkelijk en snel worden geconfigureerd. Door gebruik te maken van standaard programmeertalen in combinatie met de low-code interface, wordt het resultaat via een aantal klikken gegenereerd.
Kinetisch / Laag 02
AI-gestuurde acties en functies
Deze laag visualiseert het gedrag van de onderneming in een real-time interactieve grafiek,
van acties in transactionele systemen tot acties die gekoppeld zijn aan modellen in branche specifieke tooling. Deze acties worden gekoppeld aan semantische objecten en dit vormt de basis voor de AI-gedreven activiteiten. Het proces wordt gemonitord en verbind modellen aan processen voor een continue optimalisatie.
Orkestreren van acties
Het uitvoeren van acties die de onderneming besturen op een stabiele, gecontroleerde manier door te leren van de dat die door de gebruikers worden gewijzigd. Bedrijfsprocessen worden aangepast doordat wijzigingen in data en modellen worden door gegeven aan de databronnen die als input door Foundry worden gebruikt, (zoals edge-, taakstellende en transactiesystemen).
Real-time monitoren
Niet-technische teams worden in staat gesteld om belangrijke operaties in real-time te monitoren. Low-code tooling maakt het makkelijk om regels te schrijven voor objecten, acties en processen, inclusief voor objecten waar miljarden of triljoenen streaming datapunten zorgen voor real-time procesmonitoring en alerts.
Dynamisch / Laag 03
AI-gestuurde beslissingen
Hier worden AI-modellen verbonden aan objecten en acties om beslissingen aan te sturen en processen te automatiseren. De modellen gebruiken semantische en kinetische variabelen van de organisatie, zodat deze waar ook ter wereld optimale aanbevelingen kunnen doen.
Simulaties in meerdere stappen
Een wordt een live koppeling gerealiseerd tussen strategie en operatie door beslissingen te simuleren op verschillende kenmerken, zoals winstgevendheid, productie of klantwaarde. Simulaties kunnen worden gekoppeld aan onderliggende modellen, zodat de teams alle mogelijkheden kunnen verkennen als reactie op nieuwe gebeurtenissen en veranderende omstandigheden.
Vastleggen en leren van beslissingen
Hier worden beslissingen binnen workflows en in reactie op simulaties vastgelegd als nieuwe data, en deze is volledig traceerbaar. De data waarop beslissingen worden genomen “vloeit” terug naar de LLM/AI/ML modellen, waardoor de de lus tussen operatie en analytics wordt gesloten. Hierdoor verbetert de voorspellende waarde van de simulaties substantieel.
In detail:
Workflow project; Operationele workflow, Rapportage & applicatie ontwikkeling, Analytics en Data Science
Foundry ondersteunt operationele workflows zoals gedefinieerd in de bedrijfsprocessen. De workflows tonen de statische en/of dynamische operationele processen en hoe deze zich verhouden tot vastgestelde KPI's. Foundry ondersteunt een consistente werking, standaarden, het plannen en testen van de impact van bepaalde kritieke scenario's en het testen van nieuwe conceptuele bedrijfsmodellen.
Out of the box biedt Foundry analytische mogelijkheden, gebaseerd op zowel point-and-click als op code gebaseerde tooling die analyse van alle mogelijke gegevens mogelijk maakt (tabellen, top-down visualisatie, geospatiale, tijdreeksen, enz.) Foundry is zo ontworpen dat er veel meer mogelijk is dan het "alleen lezen" van de gegevens door de gebruiker. Wijzigingen van de gebruiker worden teruggekoppeld naar de Ontologie, waardoor de modellen met nieuwe gegevens waardevolle nieuwe inzichten genereren binnen de veilige, bestuurlijke modellen.
Applicatie voorbeelden
Foundry's toekomstige ontwikkelingen
Palantir nieuws
