Forum Think Finance - Bolsa e Forex
Geral => Sistemas Automáticos => Tópico iniciado por: Mystery em 2013-12-02 12:32:48
-
CallTech Machine Learning Video Library
http://work.caltech.edu/library/ (http://work.caltech.edu/library/)
-
Muito bom!
Se tiveres mais infos sobre estes assuntos, pf coloca.
-
SAMOA
Yahoo!’s distributed streaming machine learning (ML) framework that contains a programming abstraction for distributed streaming ML algorithms.
http://yahooeng.tumblr.com/post/65453012905/introducing-samoa-an-open-source-platform-for-mining (http://yahooeng.tumblr.com/post/65453012905/introducing-samoa-an-open-source-platform-for-mining)
https://github.com/yahoo/samoa (https://github.com/yahoo/samoa)
-
como eh que se faz dinheiro com isto ?
-
provavelmente tenho de ler um calhamaco sobre o assunto, mas nao sei se valera o investimento
gostava que alguem me dissesse que esta a fazer dinheiro, ehhe
-
ninguém te vai dizer se está a fazer dinheiro
http://en.wikipedia.org/wiki/Adaptive_market_hypothesis (http://en.wikipedia.org/wiki/Adaptive_market_hypothesis)
-
ninguém te vai dizer se está a fazer dinheiro
[url]http://en.wikipedia.org/wiki/Adaptive_market_hypothesis[/url] ([url]http://en.wikipedia.org/wiki/Adaptive_market_hypothesis[/url])
assisti a aulas com o andrew lo no mit, era dos poucos que nao ensinava tangadas de mercado eficiente como se fosse a biblia
bom, fazer dinheiro com regras simples adaptativas nao duvido que resulte mas com regras complicadas eh que gostaria de saber, pelo que sei as redes neuronais nunca funcionaram bem no mercado
-
as NN nunca funcionaram bem porque eram apenas price based e eram aplicadas numa lógica de previsão
a tecnologia está hoje noutra fase, os recursos são utilizados no tratamento de big data, robótica, etc
em investimentos isso passa por exemplo em transformar informação de documentos em time series e depois aplicar regras
o edge está em usar machine learning para obter data series que mais ninguém tem ou de forma mais barata que a concorrência
-
as coisas que vocês sabem...
-
Hebel
https://github.com/hannes-brt/hebel
GPU-Accelerated Deep Learning Library in Python
(redes neuronais)
-
ninguém te vai dizer se está a fazer dinheiro
[url]http://en.wikipedia.org/wiki/Adaptive_market_hypothesis[/url] ([url]http://en.wikipedia.org/wiki/Adaptive_market_hypothesis[/url])
assisti a aulas com o andrew lo no mit, era dos poucos que nao ensinava tangadas de mercado eficiente como se fosse a biblia
bom, fazer dinheiro com regras simples adaptativas nao duvido que resulte mas com regras complicadas eh que gostaria de saber, pelo que sei as redes neuronais nunca funcionaram bem no mercado
eu acho que daria para fazer algo que funcionasse no mercado...principalmente se fosse a ter inputs de dados válidos dos relatórios de contas e que fossem comparáveis...mas isso são coisas que dariam anos de trabalho e que iam demorar muito a fazer testes
Mas as redes neurais não funcionarem com certas pessoas/empresas não significa nada...a Microsoft andou anos a tentar que o Windows reconhecesse comandos de voz, e de repente a Siri que era uma startup meteu isso a funcionar, provavelmente a Microsoft estava a tentar dar um passo maior que a perna e a tentar que aquilo funcionasse para todos os países/sotaques diferentes, mas a culpa não era da tecnologia...
eu agora ando a ouvir uns videos de um curso do coursera sobre isso, é muito teórico e é o ideal para passar para mp3 e ouvir durante as viagens casa-trabalho e trabalho-casa
https://class.coursera.org/neuralnets-2012-001/lecture/index
-
O curso de introdução a ML no coursera é porreiro, e vai haver outra sessao em breve. É algo simplificado, muito focado na prática e naturalmente ignora muitas subtilezas, mas é excelente para começar ou para ter uma overview:
https://www.coursera.org/course/ml (https://www.coursera.org/course/ml)
No site do curso em Stanford está material mais detalhado: http://cs229.stanford.edu/materials.html (http://cs229.stanford.edu/materials.html)
Outro igualmente porreiro, mas muiiito mais duro é o PGM:
https://www.coursera.org/course/pgm (https://www.coursera.org/course/pgm)
É muito completo, mas é duro, e é focado em modelos graficos probabilisticos. Um tipo para retirar algo daqui tem que penar um pouco, mas é algo com muito potencial.
Em termos de soluções, vale a pena olhar para o que a scikit-learn tem (em python): http://scikit-learn.org/stable/ (http://scikit-learn.org/stable/)
-
obrigado pela info
ja fizeste algum sistema baseado em ML ?
-
Nada de jeito. Estou a explorar isso.
-
http://www.kdnuggets.com/2014/03/machine-learning-7-pictures.html (http://www.kdnuggets.com/2014/03/machine-learning-7-pictures.html)
-
Um exemplo interessante de machine learning.
http://static.googleusercontent.com/media/www.google.com/pt-PT//about/datacenters/efficiency/internal/assets/machine-learning-applicationsfor-datacenter-optimization-finalv2.pdf (http://static.googleusercontent.com/media/www.google.com/pt-PT//about/datacenters/efficiency/internal/assets/machine-learning-applicationsfor-datacenter-optimization-finalv2.pdf)
-
estou a aprender python e vou fazer umas coisas com machine learning, alguem fez com sucesso ?
-
apenas se tiveres uma quantidade massiva de dados para processar
-
apenas se tiveres uma quantidade massiva de dados para processar
isso eh a tua experiencia pessoal ou uma afirmacao mais teorica ?
-
estou a aprender python e vou fazer umas coisas com machine learning, alguem fez com sucesso ?
Eu também estou a aprender, pelo Cursera. Mas é o básico.
-
apenas se tiveres uma quantidade massiva de dados para processar
Do pouco que sei e testei, também acho isso.
Mas se for para testes em séries temporais de minutos... penso que facilmente arranjas muitos dados.
De momento estou fora dessa onda. Mas penso voltar daqui a 1 ano.
Contudo sugeria que visses o R, porque começam a haver muitos packages que poderás usar no início e depois adaptares ou fazer novos...
Contudo a aliança Python e R é outra sugestão e não somente Python.
Faz algumas pesquisas nestas duas áreas.
-
o python tem o r.py e outros, neste momento nao me parece haver vantagem no R
-
o python tem o r.py e outros, neste momento nao me parece haver vantagem no R
tem a vantagem de ser free e conseguirem-se fazer coisas que anteriormente só eram feitas no Ninja, quantshare...etc...cada vez mais há packages para isso. Mas com a partilha de packages a nível académico, etc... cada vez mais está acessível a outros...
Mas ainda não me dediquei ... pois ando, infelizmente... obrigado, noutra onda este ano.
Aliás, o bigmike, que já referi várias vezes por este fórum...como sendo a "bíblia" de fóruns para o Ninja, neste momento, há 1 mês +-...implementou em R algo muito interessante para o trading.
-
mas o python tb eh gratuito
-
mas o python tb eh gratuito
Sim, mas não há tanto desenvolvimento como no R. Somente por isso. Há muito mais pessoas a trabalhar no R porque não exige, no começo, tanto trabalho como no Pyton.
Aliás, muitos do Pyton ou fizeram ligações ao R e/u voltaram-se somente para o R.
Mas claro há os puristas...
Para quem quiser ler algumas opiniões sobre estes assuntos, Py e R:
http://www.quora.com/Which-is-better-for-data-analysis-R-or-Python (http://www.quora.com/Which-is-better-for-data-analysis-R-or-Python)
Estive a gora a ler concordo com algumas coisas... mas claro depende da experiência de cada um em programação... se pouca ... eu acho mais fácil e há mais materiais em R... e se têm muita experiência em programação...
Claro está, que se enveredarem por uma estatística mais "clássica" o R é mais robusto.
-
O que escrevi antes foi com base na minha experiência em 2013/14 em coisas nada complexas..., mas terminei de ler o que está na ligação que deixei em cima, e para quem está, quer... iniciar... e usar estas "coisas" a leitura é muito educativa. Sugiro que leiam.
-
mas o python tb eh gratuito
Sim, mas não há tanto desenvolvimento como no R. Somente por isso. Há muito mais pessoas a trabalhar no R porque não exige, no começo, tanto trabalho como no Pyton.
Aliás, muitos do Pyton ou fizeram ligações ao R e/u voltaram-se somente para o R.
Mas claro há os puristas...
Para quem quiser ler algumas opiniões sobre estes assuntos, Py e R:
[url]http://www.quora.com/Which-is-better-for-data-analysis-R-or-Python[/url] ([url]http://www.quora.com/Which-is-better-for-data-analysis-R-or-Python[/url])
Estive a gora a ler concordo com algumas coisas... mas claro depende da experiência de cada um em programação... se pouca ... eu acho mais fácil e há mais materiais em R... e se têm muita experiência em programação...
Claro está, que se enveredarem por uma estatística mais "clássica" o R é mais robusto.
ainda nao estou a um nivel que note qual eh o mais completo, mas pelo que tenho lido o python tem acesso as libraries do R com o r.py... logo nao eh um problema
-
apenas se tiveres uma quantidade massiva de dados para processar
Do pouco que sei e testei, também acho isso.
Mas se for para testes em séries temporais de minutos... penso que facilmente arranjas muitos dados.
De momento estou fora dessa onda. Mas penso voltar daqui a 1 ano.
Contudo sugeria que visses o R, porque começam a haver muitos packages que poderás usar no início e depois adaptares ou fazer novos...
Contudo a aliança Python e R é outra sugestão e não somente Python.
Faz algumas pesquisas nestas duas áreas.
com quantidade massiva de dados não me referia propriamente a séries univariadas...
-
python é uma linguagem de utilização geral e comparativamente fácil de aprender face ao R que é muito mais complexo
-
com quantidade massiva de dados não me referia propriamente a séries univariadas...
Pois... como eu só trabalhei com o preço... e precisei de muito dados...
ah... e fiz combinação de métodos clássicos com Data Mining... por isso usei como partida o R e depois programei, em R, alguns algoritmos de machine learning...
-
a minha experiencia eh que a facilidade de criacao eh fundamental, qd passei de wealth lab para o afl dei um salto na qualidade dos meus sistemas
duvido que o python nao seja melhor que o R apenas por isso... pelo menos para mim que sou meio deficiente e preguicoso
-
Olá,
Vi o tópico, e em particular a questao do Python que me levou a contribuir.
Do que me tenho apercebido, algumas linguagens/ferramentas nos últimos anos tem ganho nome e protagonismo no mundo trading, onde outras linguagens estavam establecidas (C, etc.), nomeadamente o Matlab, R, Java e Python.
No final do ano passado, por motivos académicos decidi aprender uma linguagem de programaçao e cheguei a conclusao que para mim que já tinha conhecimentos de programaçao, seria o Python a escolha mais acertada. A razao que me levou a escolher o python em detrimento das outras, é que além dos módulos cientificos (estitistica, probabilidades, etc) o python tem tambem aplicaçao pratica em muitos outros campos como por exemplo na electronica, ou web, ou...do meu ponto de vista é uma linguagem muito high level (portanto facil de aprender), versatil e com grande suporte da comunidade. Hoje em dia encontram-se na net exemplos de tudo.
Mesmo a nivel de trading da alta finança, existem já aplicaçoes a funcionar baseadas em Python:
https://www.quora.com/When-why-and-to-what-extent-did-Bank-of-America-rebuild-its-entire-tech-stack-with-Python (https://www.quora.com/When-why-and-to-what-extent-did-Bank-of-America-rebuild-its-entire-tech-stack-with-Python)
Se juntarem as peças todas que andam por ai dispersas pela net, facilmente se controi uma base de dados, sistema para backtests e etc.
(Nao, ainda nao cheguei ai...)
Cumprimentos
-
Já agora, e no espirito da partilha, para aqueles que estao a buscar inspiraçao para começar a aprender:
http://pythonprogramming.net/ (http://pythonprogramming.net/)
Também da autoria do mesmo:
http://seaofbtc.com/bitcoin-trading-client (http://seaofbtc.com/bitcoin-trading-client)
Vá, já chega de ideias, bom fim de semana!
-
Brilhante , empresa de tugas ... os novos descobridores...Portugal nao chega
https://www.definedcrowd.com/en-us/ (https://www.definedcrowd.com/en-us/)
-
Deve ser muito interessante programar operações, saber programar.
Se fosse mais novo, muito possível, seguiria esse caminho profissional.
Interrogo-me como poderemos nós viventes, ter uma vantagem
sobre os programas mais sofisticados de computação?...
A minha experiência é nula. Sei como estudo um assunto.
Sei como ordeno uma série de cálculos. Sei formar
um sistema de cálculo dependente de premissas
autónomas, numa folha de cálculo.
E até sei ganhar ao computador num jogo de xadrez
de dificuldade média, desde que volte
atrás e corrija erros óbvios;
nesses termos, consigo
ganhar ao programa,
ousando surpreendê-lo
com movimentos imprevisíveis
para os quais, mantendo eu a agressividade,
deixo o computador em desvantagem e consigo
assim ganhar!
Mas como podemos nós viventes
ser superiores aos programas?
Corrigindo os nossos erros
e criando situações inesperadas?
Haverá mais formas?
-
Deve ser muito interessante programar operações, saber programar.
Se fosse mais novo, muito possível, seguiria esse caminho profissional.
Interrogo-me como poderemos nós viventes, ter uma vantagem
sobre os programas mais sofisticados de computação?...
A minha experiência é nula. Sei como estudo um assunto.
Sei como ordeno uma série de cálculos. Sei formar
um sistema de cálculo dependente de premissas
autónomas, numa folha de cálculo.
E até sei ganhar ao computador num jogo de xadrez
de dificuldade média, desde que volte
atrás e corrija erros óbvios;
nesses termos, consigo
ganhar ao programa,
ousando surpreendê-lo
com movimentos imprevisíveis
para os quais, mantendo eu a agressividade,
deixo o computador em desvantagem e consigo
assim ganhar!
Mas como podemos nós viventes
ser superiores aos programas?
Corrigindo os nossos erros
e criando situações inesperadas?
Haverá mais formas?
No futuro, não poderás ser...a menos que te fundas com a IA. ;)
-
De minha experiência,
só venço programas,
corrigindo erros meus,
e surpreendendo com
novos, inesperadas
situações.
'Fundir-me' com a IA,
é possivelmente metade
do meu método: a correcção
de erros; achas que a IA enfrentará
a pura e surpreendente alteração
de condições no meio!?
Custa-me imaginar,
não sermos melhores
do que uma programada
aprendizagem maquinal!
(Por muito 'máquina' que nós próprios
sejamos enquanto corpos naturais!
Aliás, se não sobrevivermos
a surpresas de ambientes,
somos mesmo eliminados!)
-
Descansa vbm, isso não vai acontecer nem no nosso tempo, nem dos nossos filhos, e é pouco provável que aconteça no tempo dos nossos netos.
Mas vai acontecer...
-
-:))
Como agora li algumas BD's do Valerian e Laureline
do "Público", que ficcionam galáxias povoadas
por viventes inteligentes das mais variadas
espécies inumanas - incluindo, porém,
semelhantes-mulheres humanas
mas providas de três seios,
o que me impressiona,
- logo eu que tive
quatro mães, a
biológica, duas
suas irmãs e
a mãe das
três! -
fico apreensivo
se uma máquina
fica mais inteligente,
espontâneo e imprevisível
do que eu próprio!*
-:))
* Ou do que a minha descendência!
-
Daqui a 30 anos vamos ter IA a responder-nos em verso...e a fazer mais sentido...(brincadeirinha) :D
SoftBank CEO promises "super artificial intelligences" with IQ of 10,000 in 30 years (https://futurism.com/softbank-ceo-promises-super-artificial-intelligences-with-iq-of-10000-in-30-years)
-
lol
-
Boas,
estava aqui de volta deste tópico e acho que posso dar algumas dicas.
Vou tentar ser um bocado leigo só mesmo porque sou de informática e por vezes é complicado perceber o conhecimento das outras pessoas sobre o tema. Vou tentar fazer algumas analogias também para deixar claro.
1) Linguagem de programação
O Python é simplesmente uma linguagem de programação. Há N linguagens de programação cada uma com as suas caracteristícas. Assim como os automóveis. Podemos ter um carro que anda muito bebe pouco e é desconfortável; podemos ter outro que é super confortável, consumos baixos e não anda muito. E é com base nisto que vou falar do Python.
- Claramente o Python é o primeiro carro. É "leve" e é capaz de processar toneladas de dados num piscar de olhos. Por outro lado peca noutros lados como a facilidade de compreensão do código em si. As contribuições online. O facto de haver poucas contribuições online vai obrigar-vos a terem que se sentar e a aprender a fazer... tudo! de raiz. É doloroso. É como montar um carro em versão planeta Agostini: vai ser custoso.
- Depois há outras linguagens que são mais "humanas", mais perceptíveis de se trabalhar. E eu venho falar-vos aqui um bocado do Java.
Que fique claro o seguinte: Eu não sou de todo defensor/Evangelista do Java. O Java tem N particularidades que o fazem muito mais lento que muitas das outras linguagem de programação mas para malta que gosta de chegar rápido aos seus objetivos (como eu :P) é simplesmente o trade-off: Que se lixe a velocidade de execução, prefiro perceber o que faço.
Então vá: Não vou explicar como programar Java, vou explicar como esta conversa pode ajudar-vos no que querem.
O Java é uma linguagem modular.
Eu programo uma Classe. Meto a Class num Pacote/biblioteca (ficheiro de extensão .jar) e depois reutilizo noutro projecto.
Ou seja, imaginem hipoteticamente que eu faço uma biblioteca que vai ao googlefinance e dado o <Código-Mercado><Código-empresa> eu obtenho o histórico de 1 ano para trás.
A seguir posso pegar nesta biblioteca e usa-la num outro projecto que use esses dados para alguma coisa. Mais uma analogia: neste modelo não vamos montar um carro à planeta agostini, vamos montar um carro à IKEA: temos 1 motor, 1 chassis, 4 portas, 4 rodas, etc. e é "só" seguir o manual para montar.
Para além disto, o Java tem uma comunidade gigante. É daquelas comunidades que dá a sensação do: "Já tudo foi inventado" e os developers querem publicar os seus trabalhos, as suas bibliotecas, e ver o mundo a usa-las. E aqui é que está a magia. Toda a gente publica as coisas num repositório online (chamado Maven). Basta meter 1 linha de texto num ficheiro e automaticamente temos a biblioteca do gajo no pc pronta a usar.
Imaginem o seguinte cenário de construção <Frase de Necessidade> -> <Pesquisa pela solução> -> <Solução>
Necessidade: "Preciso de algo para ler sites e sacar algumas infos de tabelas e afins"
Pesquisa: No google: Java how to parse a website
Solução: https://stackoverflow.com/questions/2835505/how-to-scan-a-website-or-page-for-info-and-bring-it-into-my-program (https://stackoverflow.com/questions/2835505/how-to-scan-a-website-or-page-for-info-and-bring-it-into-my-program)
A resposta a este gajo diz: "Usa uma biblioteca como o JSOUP". vou ao site, vejo meia duzia de exemplos, meto a biblioteca no meu projeto e está feito: já tenho uma base para ler outros sites.
Necessidade: "Preciso de algo para ler texto de imagens porque nem todos os sites publicam em texto"
Pesquisa: No google: Java how to read text from image
Solução: https://stackoverflow.com/questions/22531656/api-to-read-text-from-image-file-using-ocr (https://stackoverflow.com/questions/22531656/api-to-read-text-from-image-file-using-ocr)
na Resposta o gajo sugere, mais uma vez, uma biblioteca. Lia meia duzia de exemplos, integrava no meu projeto e: done.
Ok até agora dei exemplos da tanga. Vou agora focar no que aqui se fala.
Necessidade: "preciso de machine learning em java"
Pesquisa: no google: java machine learning libraries
Solução: https://jaxenter.com/weka-collection-of-ml-algorithms-java-128964.html (https://jaxenter.com/weka-collection-of-ml-algorithms-java-128964.html)
Não tenho solução porque estou a falar disto agora :D Mas o que faria: vi o Weka aí e vou pegar por aí.
Vou ver se a biblioteca é publica: (Google: Maven weka -> https://mvnrepository.com/artifact/nz.ac.waikato.cms.weka/weka-stable/3.8.0 (https://mvnrepository.com/artifact/nz.ac.waikato.cms.weka/weka-stable/3.8.0) -> Afirmativo)
Vou procurar exemplos (Google: weka tutorial (Não, isto não vai mostrar resultados da Shakira)) e se fizerem isto vão ver a quantidade de resultados que sai.
Qual a vantagem então de usar o Weka??
o Weka foi desenvolvido por um gajo que queria fazer machine learning (neste caso, até foi uma faculdade), e possivelmente o Weka ja tem funcionalidades tipo:
Injetam dados na aplicação, chamam um método qualquer e aquilo cospe logo resultados com base em histórico. Às vezes a dificuldade mesmo é perceber o que realmente queremos após vermos a quantidade de funcionalidades disponiveis.
Mas vá, só para concluir.
Vamos analisar um exemplo do Weka. Oh wait.. Não é preciso, basta ir ao youtube: https://www.youtube.com/watch?v=m7kpIBGEdkI (https://www.youtube.com/watch?v=m7kpIBGEdkI)
Portanto, conclusão:
Não escolham uma linguagem por ser rápida mas sim uma que vos deixe confortável. Procurem sempre linguagens que exista comunidades de suporte gigantes para vos minimizar o esforço. Usem o stackoverflow porque metade do que precisam de saber foi perguntado por alguém no passado. Se não são programadores, tentem escolher uma linguagem em que "se fale em inglês com o computador", ie, linguagem de alto nível, se forem para uma que é só operações ( tipo $3 - {Div($2,3) ... ) rapidamente vão se cansar.
Abraços
-
Agradeço o que escreveste sobre o Python. Talvez aprenda um pouco lá para o ano.
Java, para mim não.
Prefiro algo feito e algo que possa "mexer" e acrescentar. Como R e Python.
Qual a tua opinião sobre o R?
Os excelentes packages dele... para mim são algo que o faz distinguir pela positiva e ser cada vez mais usado academicamente.
edit: já nem me lembrava que tinha aberto um tópico sobre o R.
Se puderes deixar lá o teu comentário, agradeço: http://www.thinkfn.com/forumbolsaforex/index.php/topic,4899.0.html (http://www.thinkfn.com/forumbolsaforex/index.php/topic,4899.0.html)