Welcome to Sign in | Help
in Search

help cu prima incercare de data mining

Last post 10-22-2008, 9:46 AM by bogdan. 7 replies.
Sort Posts: Previous Next
  •  10-16-2008, 6:25 AM 5838

    help cu prima incercare de data mining

    Am facut si eu o incercare trivial de data mining - vezi http://serviciipeweb.ro/iafblog/2008/10/13/Cloud+Curs+Valutar+Forecast+Si+SQL+Server.aspx
    Datele sunt aici:
    http://serviciipeweb.ro/iafblog/content/binary/curs20081012.xlsx
    Vi le pot da in orice format(mdb, csv, etc)
    Ma ajuta careva cu pasii care trebuie facuti pentru a face acest data mining programatic( adica - cum se incarca in analysis, ce sql trebuie sa rulezi ca sa obtii output-ul, etc)?

    Multumesc,



    Ignat Andrei
    http://serviciipeweb.ro/iafblog
  •  10-21-2008, 1:20 PM 5894 in reply to 5838

    Re: help cu prima incercare de data mining

    Doriti sa scrieti o aplicatie in C# pentru data mining sau vreti un set de comenzi DMX care sa creeze/antreneze/utilizeze un model de Forecasting?

    Serverul este analysis services, nu SQL Server, asa ca limbajul nu este chiar SQL

     


    b o g d a n c r i v a t
    [sql server|data mining]
  •  10-21-2008, 1:33 PM 5895 in reply to 5894

    Re: help cu prima incercare de data mining

    bogdan:

    Doriti sa scrieti o aplicatie in C# pentru data mining sau vreti un set de comenzi DMX care sa creeze/antreneze/utilizeze un model de Forecasting?

    Serverul este analysis services, nu SQL Server, asa ca limbajul nu este chiar SQL


    Bogdan
    In primul rind multumesc mult pentru post.
    Stiu ca limbajul nu este chiar SQL   -  de aceea nu m-am descurcat Embarrassed

    Vreau setul de comeniz DMX pentru forecasting -sigur ca da ... Pentru a transpune in C# ma descurc eu ( presupun ca nu exista extensie pentru ele - ci pur si simplu le trimiti la analysis server ...)

    Ca date de intrare :
    Presupunem ca avem o tabela in SQL Server de forma Data - datetime, Value - echivalentul in Eur a RON. ( vezi si http://serviciipeweb.ro/iafblog/content/binary/curs20081012.xlsx)
    Data este completata pentru zile lucratoare minus sarbatorile legale.
    Ca date de iesire:
    Ce se obtine ( aproape la fel ... ) din aceeasi tabela cu Add-inul de Excel 2007 pina la 1 ian 2009 .

    Ca proces : ce trebuie incarcat in Analysis din tabela din SQL Server, ce comenzi DMX se dau pentru analiza, orice altceva ce ar fi folositor de stiut ...
    Imi pare rau ca nu am fost la intilnire - dar aveam intilnirea de 20 de ani de la terminarea liceului ... Sper sa ne vedem cindva...

    Multumesc,



      

    Ignat Andrei
    http://serviciipeweb.ro/iafblog
  •  10-21-2008, 1:56 PM 5896 in reply to 5895

    Re: help cu prima incercare de data mining

    cel mai simplu lucru e sa instalezi add-in-ul de Excel (produsul oficial, nu prototipul de Cloud) si sa rulezi Forecasting in Table Analysis Tools. Apoi, in ribbon-ul de Data Mining, apasa butonul Tracer si vei vedea exact tot continutul DMX trimis catre server.

    Pas cu pas, cam astea sunt comenzile (scuze daca gresesc sintaxa, scriu din memorie)

    // 1 -- structura
    CREATE MINING STRUCTURE TSStruct
    (
     Data DATE KEY TIME,
     [Value] DOUBLE CONTINUOUS
    )

    // 2 -- modelul --- missing value substitution acopera gaurile de weekend
    ALTER MINING STRUCTURE TSStruct
    ADD MINING MODEL TSModel
    (
      Data,
     [Value] PREDICT 
    ) USING Microsoft_Time_Series(Missing_Value_Substitution="Previous")

     

    Antrenarea e un pic mai complicata. Fie creezi un obiect Data Source in Analysis Services care indica baza ta de date sau fisierul Excel, fie folosesti OPENROWSET ca sa citesti direct din Excel (sau alta sursa)
    // 3 -- antrenare cu Data Source numit MyDS
    INSERT INTO TSStruct (Data,  [Value])
    OPENQUERY(MyDS, 'SELECT Data, Value FROM MyTable ORDER BY Data')

    // sau, direct din Excel, cu OPENROWSET
    INSERT INTO TSStruct (Data,  [Value])
    OPENROWSET('Microsoft.Jet.OLEDB.4.0','Excel 8.0;Database=C:\test\xltest.xls', [Data$])

    Pentru asta:
    - datele in Excel trebuie sa fie sortate dupa coloana Data
    - Analysis Services trebuie configurat sa permita OPENROWSET si Jet :
                 - Allow Ad Hoc OpenRowset queries sa fie True
                 - Providers allowed in Openowset (sau asa ceva) trebuie fie sa includa Microsoft.jet..., fie sa contina exact "[All]"

    In final, query de forecast pentru 56 de zile:
    SELECT FLATTENED PredictTimeSeries([Value], 56) FROM TSModel

    PS -- pentru executie din C# -- totul e exact ca in Ado.Net pentru SQL, doar ca in loc de System.Data.SqlClient se foloseste Microsoft.AnalysisServices.AdomdClient, conexiunea se numeste AdomdConnection iar obiectul comanda AdomdCommand. Si trebuie adaugata o referinta explicita la AdomdClient (System.data e default)


    b o g d a n c r i v a t
    [sql server|data mining]
  •  10-21-2008, 3:13 PM 5897 in reply to 5896

    Re: help cu prima incercare de data mining

    bogdan:

    cel mai simplu lucru e sa instalezi add-in-ul de Excel (produsul oficial, nu prototipul de Cloud) si sa rulezi Forecasting in Table Analysis Tools.


    Multumesc. Imi poti da si linkul lui ?

    Ignat Andrei
    http://serviciipeweb.ro/iafblog
  •  10-21-2008, 3:18 PM 5899 in reply to 5897

    Re: help cu prima incercare de data mining

  •  10-21-2008, 3:31 PM 5901 in reply to 5899

    Re: help cu prima incercare de data mining

    bogdan:

    Si care sunt diferentele ? Forecast merge si pe 2005 - sau e inventie de 2008?
    Scuze ca te tot innebunesc cu intrebarile... dar sunt la inceput ...si esti singurul care mi-a raspuns ...

    Ignat Andrei
    http://serviciipeweb.ro/iafblog
  •  10-22-2008, 9:46 AM 5909 in reply to 5901

    Re: help cu prima incercare de data mining

    Forecasting merge si cu 2005, dar algoritmul e mult imbunatatit in 2008.

     


    b o g d a n c r i v a t
    [sql server|data mining]
View as RSS news feed in XML
Powered by Community Server (Commercial Edition), by Telligent Systems