Business Intelligence - Data Mining

Re: help cu prima incercare de data mining

bogdan — Wed, 22 Oct 2008 06:46:55 GMT

Forecasting merge si cu 2005, dar algoritmul e mult imbunatatit in 2008.

Re: help cu prima incercare de data mining

ignatandrei — Tue, 21 Oct 2008 12:31:00 GMT

bogdan:
pentru SQL 2008 -- http://www.microsoft.com/downloads/details.aspx?FamilyId=896A493A-2502-4795-94AE-E00632BA6DE7&displaylang=en

pentru SQL 2005 -- http://www.microsoft.com/downloads/details.aspx?FamilyId=7c76e8df-8674-4c3b-a99b-55b17f3c4c51&displaylang=en

Si care sunt diferentele ? Forecast merge si pe 2005 - sau e inventie de 2008?
Scuze ca te tot innebunesc cu intrebarile... dar sunt la inceput ...si esti singurul care mi-a raspuns ...

Re: help cu prima incercare de data mining

bogdan — Tue, 21 Oct 2008 12:18:45 GMT

pentru SQL 2008 -- http://www.microsoft.com/downloads/details.aspx?FamilyId=896A493A-2502-4795-94AE-E00632BA6DE7&displaylang=en

pentru SQL 2005 -- http://www.microsoft.com/downloads/details.aspx?FamilyId=7c76e8df-8674-4c3b-a99b-55b17f3c4c51&displaylang=en

Re: help cu prima incercare de data mining

ignatandrei — Tue, 21 Oct 2008 12:13:42 GMT

bogdan:
cel mai simplu lucru e sa instalezi add-in-ul de Excel (produsul oficial, nu prototipul de Cloud) si sa rulezi Forecasting in Table Analysis Tools.

Multumesc. Imi poti da si linkul lui ?

Re: help cu prima incercare de data mining

bogdan — Tue, 21 Oct 2008 10:56:17 GMT

cel mai simplu lucru e sa instalezi add-in-ul de Excel (produsul oficial, nu prototipul de Cloud) si sa rulezi Forecasting in Table Analysis Tools. Apoi, in ribbon-ul de Data Mining, apasa butonul Tracer si vei vedea exact tot continutul DMX trimis catre server.

Pas cu pas, cam astea sunt comenzile (scuze daca gresesc sintaxa, scriu din memorie)

// 1 -- structura
CREATE MINING STRUCTURE TSStruct
(
Data DATE KEY TIME,
[Value] DOUBLE CONTINUOUS
)

// 2 -- modelul --- missing value substitution acopera gaurile de weekend
ALTER MINING STRUCTURE TSStruct
ADD MINING MODEL TSModel
(
Data,
[Value] PREDICT
) USING Microsoft_Time_Series(Missing_Value_Substitution="Previous")

Antrenarea e un pic mai complicata. Fie creezi un obiect Data Source in Analysis Services care indica baza ta de date sau fisierul Excel, fie folosesti OPENROWSET ca sa citesti direct din Excel (sau alta sursa)
// 3 -- antrenare cu Data Source numit MyDS
INSERT INTO TSStruct (Data, [Value])
OPENQUERY(MyDS, 'SELECT Data, Value FROM MyTable ORDER BY Data')

// sau, direct din Excel, cu OPENROWSET
INSERT INTO TSStruct (Data, [Value])
OPENROWSET('Microsoft.Jet.OLEDB.4.0','Excel 8.0;Database=C:\test\xltest.xls', [Data$])

Pentru asta:
- datele in Excel trebuie sa fie sortate dupa coloana Data
- Analysis Services trebuie configurat sa permita OPENROWSET si Jet :
- Allow Ad Hoc OpenRowset queries sa fie True
- Providers allowed in Openowset (sau asa ceva) trebuie fie sa includa Microsoft.jet..., fie sa contina exact "[All]"

In final, query de forecast pentru 56 de zile:
SELECT FLATTENED PredictTimeSeries([Value], 56) FROM TSModel

PS -- pentru executie din C# -- totul e exact ca in Ado.Net pentru SQL, doar ca in loc de System.Data.SqlClient se foloseste Microsoft.AnalysisServices.AdomdClient, conexiunea se numeste AdomdConnection iar obiectul comanda AdomdCommand. Si trebuie adaugata o referinta explicita la AdomdClient (System.data e default)

Re: help cu prima incercare de data mining

ignatandrei — Tue, 21 Oct 2008 10:33:46 GMT

bogdan:
Doriti sa scrieti o aplicatie in C# pentru data mining sau vreti un set de comenzi DMX care sa creeze/antreneze/utilizeze un model de Forecasting?

Serverul este analysis services, nu SQL Server, asa ca limbajul nu este chiar SQL

Bogdan
In primul rind multumesc mult pentru post.
Stiu ca limbajul nu este chiar SQL - de aceea nu m-am descurcat

Vreau setul de comeniz DMX pentru forecasting -sigur ca da ... Pentru a transpune in C# ma descurc eu ( presupun ca nu exista extensie pentru ele - ci pur si simplu le trimiti la analysis server ...)

Ca date de intrare :
Presupunem ca avem o tabela in SQL Server de forma Data - datetime, Value - echivalentul in Eur a RON. ( vezi si http://serviciipeweb.ro/iafblog/content/binary/curs20081012.xlsx)
Data este completata pentru zile lucratoare minus sarbatorile legale.
Ca date de iesire:
Ce se obtine ( aproape la fel ... ) din aceeasi tabela cu Add-inul de Excel 2007 pina la 1 ian 2009 .

Ca proces : ce trebuie incarcat in Analysis din tabela din SQL Server, ce comenzi DMX se dau pentru analiza, orice altceva ce ar fi folositor de stiut ...
Imi pare rau ca nu am fost la intilnire - dar aveam intilnirea de 20 de ani de la terminarea liceului ... Sper sa ne vedem cindva...

Multumesc,

Re: help cu prima incercare de data mining

bogdan — Tue, 21 Oct 2008 10:20:00 GMT

Doriti sa scrieti o aplicatie in C# pentru data mining sau vreti un set de comenzi DMX care sa creeze/antreneze/utilizeze un model de Forecasting?

Serverul este analysis services, nu SQL Server, asa ca limbajul nu este chiar SQL

help cu prima incercare de data mining

ignatandrei — Thu, 16 Oct 2008 03:25:34 GMT

Am facut si eu o incercare trivial de data mining - vezi http://serviciipeweb.ro/iafblog/2008/10/13/Cloud+Curs+Valutar+Forecast+Si+SQL+Server.aspx
Datele sunt aici:
http://serviciipeweb.ro/iafblog/content/binary/curs20081012.xlsx
Vi le pot da in orice format(mdb, csv, etc)
Ma ajuta careva cu pasii care trebuie facuti pentru a face acest data mining programatic( adica - cum se incarca in analysis, ce sql trebuie sa rulezi ca sa obtii output-ul, etc)?

Multumesc,