feature/add-actions (#9)

Co-authored-by: kjuulh <contact@kjuulh.io>
Reviewed-on: kjuulh/kraken#9

_examples/actions/write_a_readme/kraken.yml

@@ -3,8 +3,143 @@ name: write-a-readme
 select:
   repositories:
     - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
+    - git@git.front.kjuulh.io:kjuulh/kraken-test.git
   providers:
     - gitea: git.front.kjuulh.io/kraken
       organisation: "kraken"
 actions:
-  - "go run main.go"
+  - type: go
+    entry: "main.go"

_examples/actions/write_a_readme/main.go

@@ -3,7 +3,10 @@ package main
 import "github.com/bitfield/script"
 
 func main() {
-	script.
+	_, err := script.
 		Echo("# Readme").
 		WriteFile("README.md")
+	if err != nil {
+		panic(err)
+	}
 }

cmd/kraken/commands/process.go

@@ -11,7 +11,7 @@ import (
 func CreateKrakenProcessCmd() *cobra.Command {
 	cmd := &cobra.Command{
 		Use: "process",
-		Run: func(cmd *cobra.Command, args []string) {
+		Run: func(cmd *cobra.Command, _ []string) {
 			client := http.Client{}
 
 			var buf bytes.Buffer
@@ -22,8 +22,8 @@ func CreateKrakenProcessCmd() *cobra.Command {
 					Path       string `json:"path"`
 				}{
 					Repository: "git@git.front.kjuulh.io:kjuulh/kraken.git",
-					Branch:     "v0.1",
+					Branch:     "feature/add-actions",
-					Path:       "_examples/actions/write_a_readme/kraken.yml",
+					Path:       "_examples/actions/write_a_readme/",
 				})
 			if err != nil {
 				panic(err)

cmd/server/server.go

@@ -15,6 +15,8 @@ func main() {
 	}
 	_ = logger.Sync()
 
+	zap.ReplaceGlobals(logger)
+
 	Execute(logger)
 }
 

internal/actions/action.go

@@ -2,15 +2,38 @@ package actions
 
 import (
 	"context"
+	"errors"
 
+	"git.front.kjuulh.io/kjuulh/kraken/internal/actions/builders"
 	"git.front.kjuulh.io/kjuulh/kraken/internal/schema"
 	"git.front.kjuulh.io/kjuulh/kraken/internal/services/storage"
+	"go.uber.org/zap"
 )
 
 type Action struct {
-	Schema *schema.KrakenSchema
+	Schema     *schema.KrakenSchema
+	SchemaPath string
 }
 
 func (a *Action) Execute(ctx context.Context, area *storage.Area) error {
+	for _, action := range a.Schema.Actions {
+		switch action.Type {
+		case "go":
+			exe, err := builders.NewGo(zap.L()).Build(ctx, a.SchemaPath, action.Entry)
+			if err != nil {
+				return err
+			}
+			err = exe(ctx, area.Path)
+			if err != nil {
+				return err
+			}
+
+			zap.L().Debug("Execution done")
+
+		default:
+			return errors.New("could not determine action type")
+		}
+	}
+
 	return nil
 }

internal/actions/action_creator.go

@@ -47,18 +47,13 @@ func (ac *ActionCreator) Prepare(ctx context.Context, ops *ActionCreatorOps) (*A
 		return nil, err
 	}
 
-	cloneCtx, _ := context.WithTimeout(ctx, time.Second*5)
+	cloneCtx, _ := context.WithTimeout(ctx, time.Second*10)
-	repo, err := ac.git.Clone(cloneCtx, area, ops.RepositoryUrl)
+	_, err = ac.git.CloneBranch(cloneCtx, area, ops.RepositoryUrl, ops.Branch)
 	if err != nil {
 		ac.logger.Error("could not clone repo", zap.Error(err))
 		return nil, err
 	}
 
-	err = ac.git.Checkout(ctx, repo, ops.Branch)
-	if err != nil {
-		return nil, err
-	}
-
 	executorUrl := path.Join(area.Path, ops.Path)
 	if _, err = os.Stat(executorUrl); os.IsNotExist(err) {
 		return nil, fmt.Errorf("path is invalid: %s", ops.Path)
@@ -74,8 +69,10 @@ func (ac *ActionCreator) Prepare(ctx context.Context, ops *ActionCreatorOps) (*A
 		return nil, err
 	}
 
+	ac.logger.Debug("Action creator done")
 	return &Action{
-		Schema: krakenSchema,
+		Schema:     krakenSchema,
+		SchemaPath: executorUrl,
 	}, nil
 }
 

internal/actions/builders/go.go

@@ -0,0 +1,46 @@
+package builders
+
+import (
+	"context"
+	"errors"
+	"fmt"
+	"os"
+	"os/exec"
+
+	"go.uber.org/zap"
+)
+
+type Go struct {
+	logger *zap.Logger
+}
+
+func NewGo(logger *zap.Logger) *Go {
+	return &Go{logger: logger}
+}
+
+type GoExecutable func(ctx context.Context, victimPath string) error
+
+func (g *Go) Build(ctx context.Context, modulePath, entryPath string) (GoExecutable, error) {
+	g.logger.Debug("Building go binary", zap.String("actiondir", modulePath), zap.String("entry", entryPath))
+
+	if _, err := os.Stat(fmt.Sprintf("%s/%s", modulePath, entryPath)); os.IsNotExist(err) {
+		return nil, errors.New("could not find entry")
+	}
+
+	err := exec.CommandContext(
+		ctx,
+		"/bin/bash",
+		"-c",
+		fmt.Sprintf("(cd %s; go build -o main %s)", modulePath, entryPath),
+	).Run()
+	if err != nil {
+		return nil, err
+	}
+
+	g.logger.Debug("Go binary built!")
+
+	return func(ctx context.Context, victimPath string) error {
+		g.logger.Debug("Executing script", zap.String("victim", victimPath))
+		return exec.CommandContext(ctx, "/bin/bash", "-c", fmt.Sprintf("(cd %s; %s/main)", victimPath, modulePath)).Run()
+	}, nil
+}

internal/api/process_command.go

@@ -34,6 +34,9 @@ func CommandRoute(logger *zap.Logger, app *gin.Engine, deps *serverdeps.ServerDe
 			ctx := context.WithValue(context.Background(), jobs.JobId{}, jobId)
 			processRepos := commands.NewProcessRepos(logger, deps)
 			err = processRepos.Process(ctx, repository, branch, path)
+			if err != nil {
+				logger.Error("could not process repo", zap.Error(err))
+			}
 		}(request.Repository, request.Branch, request.Path, jobId)
 
 		c.Status(http.StatusAccepted)

internal/commands/process_repos.go

@@ -48,7 +48,7 @@ func (pr *ProcessRepos) Process(ctx context.Context, repository string, branch s
 		return err
 	}
 
-	repositoryUrls := make([]string, 0)
+	repositoryUrls := action.Schema.Select.Repositories
 
 	wg := sync.WaitGroup{}
 	wg.Add(len(repositoryUrls))
@@ -60,7 +60,6 @@ func (pr *ProcessRepos) Process(ctx context.Context, repository string, branch s
 			}()
 			err := pr.processRepo(ctx, repoUrl, action)
 			if err != nil {
-				pr.logger.Error("could not process repo", zap.Error(err))
 				errChan <- err
 			}
 		}(ctx, repoUrl)
@@ -113,7 +112,6 @@ func (pr *ProcessRepos) prepareAction(
 	pr.logger.Debug("Creating area")
 	area, err := pr.storage.CreateArea(ctx)
 	if err != nil {
-		pr.logger.Error("failed to allocate area", zap.Error(err))
 		return nil, nil, err
 	}
 
@@ -133,13 +131,11 @@ func (pr *ProcessRepos) clone(ctx context.Context, area *storage.Area, repoUrl s
 	cloneCtx, _ := context.WithTimeout(ctx, time.Second*5)
 	repo, err := pr.git.Clone(cloneCtx, area, repoUrl)
 	if err != nil {
-		pr.logger.Error("could not clone repo", zap.Error(err))
 		return nil, err
 	}
 
 	err = pr.git.CreateBranch(ctx, repo)
 	if err != nil {
-		pr.logger.Error("could not create branch", zap.Error(err))
 		return nil, err
 	}
 
@@ -157,9 +153,12 @@ func (pr *ProcessRepos) commit(ctx context.Context, area *storage.Area, repo *pr
 		return fmt.Errorf("could not get diff: %w", err)
 	}
 
-	err = pr.git.Push(ctx, repo)
+	dryrun := true
-	if err != nil {
+	if !dryrun {
-		return fmt.Errorf("could not push to repo: %w", err)
+		err = pr.git.Push(ctx, repo)
+		if err != nil {
+			return fmt.Errorf("could not push to repo: %w", err)
+		}
 	}
 	return nil
 }

internal/schema/kraken.go

@@ -12,7 +12,10 @@ type KrakenSchema struct {
 			Organisation string `yaml:"organisation"`
 		} `yaml:"providers"`
 	} `yaml:"select"`
-	Actions []string `yaml:"actions"`
+	Actions []struct {
+		Type  string `yaml:"type"`
+		Entry string `yaml:"entry"`
+	} `yaml:"actions"`
 }
 
 func Unmarshal(raw string) (*KrakenSchema, error) {

internal/services/providers/git.go

@@ -53,7 +53,7 @@ func NewGit(logger *zap.Logger, gitConfig *GitConfig, openPGP *signer.OpenPGP) *
 	return &Git{logger: logger, gitConfig: gitConfig, openPGP: openPGP}
 }
 
-func (g *Git) Clone(ctx context.Context, storageArea *storage.Area, repoUrl string) (*GitRepo, error) {
+func (g *Git) CloneBranch(ctx context.Context, storageArea *storage.Area, repoUrl string, branch string) (*GitRepo, error) {
 	g.logger.Debug(
 		"cloning repository",
 		zap.String("repoUrl", repoUrl),
@@ -69,8 +69,8 @@ func (g *Git) Clone(ctx context.Context, storageArea *storage.Area, repoUrl stri
 		URL:               repoUrl,
 		Auth:              auth,
 		RemoteName:        "origin",
-		ReferenceName:     "refs/heads/main",
+		ReferenceName:     plumbing.NewBranchReferenceName(branch),
-		SingleBranch:      false,
+		SingleBranch:      true,
 		NoCheckout:        false,
 		Depth:             1,
 		RecurseSubmodules: 1,
@@ -90,19 +90,41 @@ func (g *Git) Clone(ctx context.Context, storageArea *storage.Area, repoUrl stri
 	return &GitRepo{repo: repo}, nil
 }
 
-func (g *Git) Checkout(ctx context.Context, gitRepo *GitRepo, branch string) error {
+func (g *Git) Clone(ctx context.Context, storageArea *storage.Area, repoUrl string) (*GitRepo, error) {
-	wt, err := gitRepo.repo.Worktree()
+	g.logger.Debug(
+		"cloning repository",
+		zap.String("repoUrl", repoUrl),
+		zap.String("path", storageArea.Path),
+	)
+
+	auth, err := g.GetAuth()
 	if err != nil {
-		return err
+		return nil, err
 	}
 
-	return wt.Checkout(&git.CheckoutOptions{
+	cloneOptions := git.CloneOptions{
-		Hash:   [20]byte{},
+		URL:               repoUrl,
-		Branch: plumbing.NewBranchReferenceName(branch),
+		Auth:              auth,
-		Create: false,
+		RemoteName:        "origin",
-		Force:  false,
+		ReferenceName:     "refs/heads/main",
-		Keep:   false,
+		SingleBranch:      true,
-	})
+		NoCheckout:        false,
+		Depth:             1,
+		RecurseSubmodules: 1,
+		Progress:          g.getProgressWriter(),
+		Tags:              0,
+		InsecureSkipTLS:   false,
+		CABundle:          []byte{},
+	}
+
+	repo, err := git.PlainCloneContext(ctx, storageArea.Path, false, &cloneOptions)
+	if err != nil {
+		return nil, err
+	}
+
+	g.logger.Debug("done cloning repo")
+
+	return &GitRepo{repo: repo}, nil
 }
 
 func (g *Git) getProgressWriter() *zapio.Writer {

roadmap.md

@@ -11,15 +11,15 @@
 
 ### Not in scope
 
-- [ ] Pooled runners
+- Pooled runners
-- [ ] CLI with options
+- CLI with options
-- [ ] Server app
+- Server app
-- [ ] Git hosting providers
+- Git hosting providers
 
 ## Version 0.1
 
-- [ ] Setup a way to choose actions and predicates
+- [x] Setup a way to choose actions and predicates
-- [ ] Allow instantiation of actions, kraken template repo etc.
+- [x] Allow instantiation of actions, kraken template repo etc.
 - [ ] Create pr for gitea provider
 - [ ] Think about some sort of isolation
 - [ ] Create CLI to trigger action